[P0][HERMES] fail2ban, SSH без пароля, Hermes (шина+планировщик), реестр автоматизаций, чистка Plex/Tautulli
This commit is contained in:
1 parent
1987573484
commit
82f65c5671
9 files changed
+1124
-2
No files matched your search
+122
@@ -0,0 +1,122 @@
|
|||||||
|
# Индекс документации Buryan Hub
|
||||||
|
|
||||||
|
Сгенерировано автоматически, файлов: 116
|
||||||
|
|
||||||
|
| Документ | О чём |
|
||||||
|
|---|---|
|
||||||
|
| [AGE-KEY-AND-RESTORE.md](docs/AGE-KEY-AND-RESTORE.md) | Ключ шифрования копий (age) и восстановление |
|
||||||
|
| [ALERTS-WORKING.md](docs/ALERTS-WORKING.md) | Тревоги: почему их не было и как включены |
|
||||||
|
| [ARCHITECTURE.md](docs/ARCHITECTURE.md) | 🏗️ Архитектура Buryan Hub |
|
||||||
|
| [AUDIT-2026-10-14-STATUS.md](docs/AUDIT-2026-10-14-STATUS.md) | АУДИТ 2026-10-14 — СТАТУС НА 2026-10-17 |
|
||||||
|
| [AUDIT-2026-10-17.md](docs/AUDIT-2026-10-17.md) | ПОЛНЫЙ АУДИТ ХОЗЯЙСТВА |
|
||||||
|
| [AUDIT-FULL-2026-10-19.md](docs/AUDIT-FULL-2026-10-19.md) | Полный аудит Buryans Hub — 19.10.2026 |
|
||||||
|
| [AUTHENTIK-2026-5.md](docs/AUTHENTIK-2026-5.md) | Authentik: 2025.4 → 2026.5.7, и почему 2026.8 упирается |
|
||||||
|
| [AUTHENTIK-2026-8-DONE.md](docs/AUTHENTIK-2026-8-DONE.md) | Authentik 2026.8.4: обновление завершено |
|
||||||
|
| [AUTHENTIK-UPGRADED.md](docs/AUTHENTIK-UPGRADED.md) | Authentik обновлён: 2025.4 → 2025.12.6 |
|
||||||
|
| [AUTHENTIK-WINDOW-2026-10-17.md](docs/AUTHENTIK-WINDOW-2026-10-17.md) | Окно обновления Authentik 17.10.2026: что выяснено |
|
||||||
|
| [AUTOMATION-2026-10-17.md](docs/AUTOMATION-2026-10-17.md) | Автоматика: профиль безопасности, уборка, проверка входа |
|
||||||
|
| [BACKUP-STATE-2026-10-18.md](docs/BACKUP-STATE-2026-10-18.md) | Резервные копии: проверено, работает (задача 4.4.2) |
|
||||||
|
| [BACKUPS-STATUS.md](docs/BACKUPS-STATUS.md) | Бэкапы: что есть и что проверено |
|
||||||
|
| [BOOK-BOT.md](docs/BOOK-BOT.md) | Книжный бот в Matrix (18.10.2026) |
|
||||||
|
| [BOOK-FINDER.md](docs/BOOK-FINDER.md) | Поиск книг, которых нет в библиотеке (18.10.2026) |
|
||||||
|
| [BOOKS-LIBRARY.md](docs/BOOKS-LIBRARY.md) | Онлайн-библиотека книг (18.10.2026) |
|
||||||
|
| [BOOKS-TELEGRAM.md](docs/BOOKS-TELEGRAM.md) | Загрузка книг из Telegram (18.10.2026) |
|
||||||
|
| [BOTS-PERSONAL.md](docs/BOTS-PERSONAL.md) | Личные боты: режим проверки |
|
||||||
|
| [BOTS-ROLES.md](docs/BOTS-ROLES.md) | Зоны ответственности ботов и доступ |
|
||||||
|
| [BOTS.md](docs/BOTS.md) | Реестр Telegram-ботов |
|
||||||
|
| [CALIBRE-SINGLE-LOGIN.md](docs/CALIBRE-SINGLE-LOGIN.md) | Calibre: убран второй вход (18.10.2026) |
|
||||||
|
| [CALL-FIX-2026-10-18.md](docs/CALL-FIX-2026-10-18.md) | Звонки: почему соединялось не с первого раза и не шёл контент |
|
||||||
|
| [CENTRAL-AUTH.md](docs/CENTRAL-AUTH.md) | Централизация входа: Jellyfin, Vaultwarden, Plex, Overseerr |
|
||||||
|
| [COMMANDS.md](docs/COMMANDS.md) | Справочник команд |
|
||||||
|
| [CT111-IP-CHANGED.md](docs/CT111-IP-CHANGED.md) | CT 111: адрес сменён, интернет заработал |
|
||||||
|
| [CT111-NO-INTERNET.md](docs/CT111-NO-INTERNET.md) | CT 111: нет выхода в интернет (найдено 17.10.2026) |
|
||||||
|
| [DASHY-START-PAGE.md](docs/DASHY-START-PAGE.md) | Dashy: стартовая страница со всеми службами (задача 5.8) |
|
||||||
|
| [DATA-API.md](docs/DATA-API.md) | API данных: боты пишут в папку проекта |
|
||||||
|
| [DATABASE-STANDARD.md](docs/DATABASE-STANDARD.md) | Стандарт баз данных |
|
||||||
|
| [DATABASES-SHARED.md](docs/DATABASES-SHARED.md) | Общие базы: состояние и план (18.10.2026) |
|
||||||
|
| [DISKS-ARR-2026-10-18.md](docs/DISKS-ARR-2026-10-18.md) | Место в медиаслужбах: было 80%, стало 70% |
|
||||||
|
| [DOMAINS-AUDIT-2026-10-17.md](docs/DOMAINS-AUDIT-2026-10-17.md) | Все домашние домены: проверка (задача 2.4) |
|
||||||
|
| [ELEMENT-CALL-DONE.md](docs/ELEMENT-CALL-DONE.md) | Element Call: звонки подняты на VPS |
|
||||||
|
| [ELEMENT-CALL-ON-VPS.md](docs/ELEMENT-CALL-ON-VPS.md) | Element Call на VPS: оценка выполнимости |
|
||||||
|
| [FINAL-REPORT.md](docs/FINAL-REPORT.md) | Buryan Hub: итог спринта |
|
||||||
|
| [FINDINGS-2026-10-17.md](docs/FINDINGS-2026-10-17.md) | Находки 17.10.2026 (второй проход) |
|
||||||
|
| [FIX-500-LOGIN.md](docs/FIX-500-LOGIN.md) | Почему был 500 на всех сервисах с единым входом (18.10.2026) |
|
||||||
|
| [FIX-500-ROOT-CAUSE.md](docs/FIX-500-ROOT-CAUSE.md) | Настоящая причина 500 на новых сервисах (19.10.2026) |
|
||||||
|
| [FIX-INTERNAL-URLS.md](docs/FIX-INTERNAL-URLS.md) | Почему после входа открывалась «картинка» вместо сервиса |
|
||||||
|
| [FIXES-2026-10-18-EVENING.md](docs/FIXES-2026-10-18-EVENING.md) | Исправления вечера 18.10.2026 |
|
||||||
|
| [HOME-ASSISTANT-SSO-DONE.md](docs/HOME-ASSISTANT-SSO-DONE.md) | Home Assistant: вход через Authentik — сделано |
|
||||||
|
| [HOME-ASSISTANT-SSO-STATUS.md](docs/HOME-ASSISTANT-SSO-STATUS.md) | Home Assistant: почему вход через Authentik не заработал и что сделано |
|
||||||
|
| [HOME-SERVICES-INTEGRATION.md](docs/HOME-SERVICES-INTEGRATION.md) | Интеграция домашних сервисов: Nextcloud и Home Assistant (18.10.2026) |
|
||||||
|
| [HUB-BOTS.md](docs/HUB-BOTS.md) | Buryan Hub: флот ботов и контентная платформа |
|
||||||
|
| [HUB-CORE-PROJECT.md](docs/HUB-CORE-PROJECT.md) | Buryan Hub Core: один механизм вместо 35 сервисов |
|
||||||
|
| [INCIDENTS.md](docs/INCIDENTS.md) | 🚨 Трекер инцидентов |
|
||||||
|
| [INDEXERS-ROOTCAUSE.md](docs/INDEXERS-ROOTCAUSE.md) | Индексаторы: точная причина и обход |
|
||||||
|
| [INFRASTRUCTURE-MAP.md](docs/INFRASTRUCTURE-MAP.md) | Карта хозяйства |
|
||||||
|
| [INTEGRATIONS-2026-10-19.md](docs/INTEGRATIONS-2026-10-19.md) | Seerr и карта интеграций (19.10.2026) |
|
||||||
|
| [LIBRARY-CATALOG-SERVICE.md](docs/LIBRARY-CATALOG-SERVICE.md) | Каталог книг: сервис и статистика (18.10.2026) |
|
||||||
|
| [LOGIN-SPEED-CACHE.md](docs/LOGIN-SPEED-CACHE.md) | Скорость входа: кэш на VPS (задача 2.1) |
|
||||||
|
| [MATRIX-TELEGRAM-BRIDGE.md](docs/MATRIX-TELEGRAM-BRIDGE.md) | Telegram-мост: почему в чате было грязно и что с этим делать |
|
||||||
|
| [MATRIX-UPLOAD-HANG.md](docs/MATRIX-UPLOAD-HANG.md) | Matrix: зависание при отправке контента (18.10.2026) |
|
||||||
|
| [MEDIA-CHAIN.md](docs/MEDIA-CHAIN.md) | Медиа-цепочка: что собрано |
|
||||||
|
| [NIGHT-AUDIT.md](docs/NIGHT-AUDIT.md) | Аудит перед ночным спринтом |
|
||||||
|
| [NIGHT-JOURNAL.md](docs/NIGHT-JOURNAL.md) | Журнал ночного спринта |
|
||||||
|
| [NIGHT-REPORT.md](docs/NIGHT-REPORT.md) | Отчёт о ночном спринте |
|
||||||
|
| [NIGHT-SPRINT-PLAN.md](docs/NIGHT-SPRINT-PLAN.md) | Ночной спринт: централизация баз — план и правила |
|
||||||
|
| [OPENCLAW-ONE-INSTANCE.md](docs/OPENCLAW-ONE-INSTANCE.md) | openclaw: один экземпляр, версия закреплена |
|
||||||
|
| [PAPERLESS-CLEANUP.md](docs/PAPERLESS-CLEANUP.md) | Уборка после сведения Paperless к одному (18.10.2026) |
|
||||||
|
| [PAPERLESS-ONE-INSTANCE.md](docs/PAPERLESS-ONE-INSTANCE.md) | Paperless: два экземпляра сведены к одному (задача 5.3) |
|
||||||
|
| [PLAN.md](docs/PLAN.md) | ПЛАН РАЗВИТИЯ BURYAN-HUB |
|
||||||
|
| [PORTS.md](docs/PORTS.md) | Карта портов и сетевых точек buryan-hub |
|
||||||
|
| [README.md](docs/README.md) | buryan-hub — описание хозяйства |
|
||||||
|
| [RETIRED-SERVICES.md](docs/RETIRED-SERVICES.md) | Убраны две неиспользуемые службы (18.10.2026) |
|
||||||
|
| [RUNBOOK.md](docs/RUNBOOK.md) | Buryan Hub: дежурная книга |
|
||||||
|
| [SECRETS-ROTATION-PLAN.md](docs/SECRETS-ROTATION-PLAN.md) | План ротации секретов |
|
||||||
|
| [SERVICES-CHECKLIST.md](docs/SERVICES-CHECKLIST.md) | Полный список сервисов: домен, вход, перенаправление |
|
||||||
|
| [SERVICES-REVIEW.md](docs/SERVICES-REVIEW.md) | ПОЛНЫЙ РАЗБОР ВСЕХ СЕРВИСОВ |
|
||||||
|
| [SERVICES-TABLE.md](docs/SERVICES-TABLE.md) | Сводная таблица сервисов (19.10.2026) |
|
||||||
|
| [SERVICES.md](docs/SERVICES.md) | 📋 Реестр сервисов |
|
||||||
|
| [SPRINT-2-REVIEW.md](docs/SPRINT-2-REVIEW.md) | 🎯 Sprint 2 Review: Telegram-алертинг через DPI |
|
||||||
|
| [SPRINT-2026-10-18-NIGHT.md](docs/SPRINT-2026-10-18-NIGHT.md) | Ночной спринт 18.10.2026: что сделано и что найдено |
|
||||||
|
| [SPRINT-2026-10-19-SSO-2.md](docs/SPRINT-2026-10-19-SSO-2.md) | Двойной вход: разбор и исправление (вечер 19.10.2026, второй заход) |
|
||||||
|
| [SPRINT-2026-10-19-SSO-3.md](docs/SPRINT-2026-10-19-SSO-3.md) | Единый вход: третий заход — родной SSO служб (19.10.2026, вечер) |
|
||||||
|
| [SPRINT-2026-10-19-SSO.md](docs/SPRINT-2026-10-19-SSO.md) | Единый вход: спринт 19.10.2026 (вечер) |
|
||||||
|
| [SPRINT-3-PLAN.md](docs/SPRINT-3-PLAN.md) | 🎯 Sprint 3 Plan: Умные алерты |
|
||||||
|
| [SPRINT-STATUS.md](docs/SPRINT-STATUS.md) | Статус спринта (19–20.10.2026) |
|
||||||
|
| [SPRINTS-BACKLOG.md](docs/SPRINTS-BACKLOG.md) | Задания по спринтам (составлено 19.10.2026) |
|
||||||
|
| [SSO-ALL-DOMAINS.md](docs/SSO-ALL-DOMAINS.md) | Единый вход на ВСЕ домены (18.10.2026) |
|
||||||
|
| [SSO-AUDIT-2026-10-18.md](docs/SSO-AUDIT-2026-10-18.md) | Единый вход: почему снаружи его нет (задача 4.1.1) |
|
||||||
|
| [SSO-CENTRALIZED.md](docs/SSO-CENTRALIZED.md) | Централизованный вход: сделано (задача 4.1.1 / 4.1.3) |
|
||||||
|
| [SSO-STATE-2026-10-19.md](docs/SSO-STATE-2026-10-19.md) | Единый вход: итоговое состояние (19.10.2026, вечер) |
|
||||||
|
| [SSO-USERS.md](docs/SSO-USERS.md) | Общие пользователи во всех службах |
|
||||||
|
| [STRATEGY.md](docs/STRATEGY.md) | СТРАТЕГИЯ РАЗВИТИЯ BURYAN-HUB |
|
||||||
|
| [TASKS-REMAINING.md](docs/TASKS-REMAINING.md) | Что осталось: полный список (23.10, 19:55) |
|
||||||
|
| [TASKS.md](docs/TASKS.md) | РЕЕСТР ЗАДАЧ |
|
||||||
|
| [UPDATE-2026-10-17-SECTION1.md](docs/UPDATE-2026-10-17-SECTION1.md) | Раздел 1: что сделано 17.10.2026 (второй проход) |
|
||||||
|
| [UPDATE-MANAGER-COVERAGE.md](docs/UPDATE-MANAGER-COVERAGE.md) | Обновления: почему «не работало на многие сервисы» |
|
||||||
|
| [UPDATE-SPRINT-2026-10-17.md](docs/UPDATE-SPRINT-2026-10-17.md) | Спринт 17.10.2026: обновления и наблюдение |
|
||||||
|
| [VPN-4-7-FAILOVER-TEST.md](docs/VPN-4-7-FAILOVER-TEST.md) | Проверка автопереключения каналов на шлюзе (VPN-4.7) |
|
||||||
|
| [VPN-APP-CONFLICTS.md](docs/VPN-APP-CONFLICTS.md) | Почему часть приложений не работает при VPN и как это исправить |
|
||||||
|
| [VPN-FOR-FAMILY.md](docs/VPN-FOR-FAMILY.md) | VPN — подключение телефона |
|
||||||
|
| [VPN-SPLIT-ROUTING.md](docs/VPN-SPLIT-ROUTING.md) | Раздельная маршрутизация: туннель несёт только нужное |
|
||||||
|
| [VPN-STAGE2.md](docs/VPN-STAGE2.md) | VPN Этап 2: три канала, переключение автоматическое |
|
||||||
|
| [VPN-STAGE3.md](docs/VPN-STAGE3.md) | VPN Этап 3: шлюз в доме — домашнее открывается напрямую |
|
||||||
|
| [VPS-ROLE.md](docs/VPS-ROLE.md) | Роль VPS: определена (задача 2.6) |
|
||||||
|
| [ADR-001-local-npm.md](docs/adr/ADR-001-local-npm.md) | ADR-001: Локальный NPM вместо прямого VPS |
|
||||||
|
| [ADR-002-tailscale-tun.md](docs/adr/ADR-002-tailscale-tun.md) | ADR-002: TUN device для Tailscale в LXC |
|
||||||
|
| [ADR-003-openclaw-config.md](docs/adr/ADR-003-openclaw-config.md) | ADR-003: OpenClaw gateway.mode |
|
||||||
|
| [ADR-004-authentik-proxy.md](docs/adr/ADR-004-authentik-proxy.md) | ADR-004: Authentik Outpost с прокси-портами |
|
||||||
|
| [ADR-005-tailscale-exit-node.md](docs/adr/ADR-005-tailscale-exit-node.md) | ADR-005: Обход DPI через Tailscale exit node + outbound HTTP proxy |
|
||||||
|
| [TEMPLATE.md](docs/adr/TEMPLATE.md) | ADR-NNN: [Название решения] |
|
||||||
|
| [backlog-matrix.md](docs/backlog-matrix.md) | Matrix backlog |
|
||||||
|
| [dr-plan.md](docs/dr-plan.md) | Disaster Recovery Plan — Matrix / buryan-hub |
|
||||||
|
| [INSTALL-ADMIN.md](docs/library/INSTALL-ADMIN.md) | Библиотека: как всё устроено и как проверить |
|
||||||
|
| [INSTRUCTION-POLINA.md](docs/library/INSTRUCTION-POLINA.md) | 📚 Твоя библиотека |
|
||||||
|
| [book-finder-report.md](docs/library/book-finder-report.md) | Поиск книг, которых нет в библиотеке |
|
||||||
|
| [matrix-sprint-runbook.md](docs/matrix-sprint-runbook.md) | Matrix Sprint Runbook |
|
||||||
|
| [FINISH-LINE.md](docs/plan/FINISH-LINE.md) | Финишная подготовка Buryan Hub перед локальной LLM (28.10.2026) |
|
||||||
|
| [PLAN-V3-RECONCILE.md](docs/plan/PLAN-V3-RECONCILE.md) | Сверка плана V3 с фактами (23.10, 22:10) |
|
||||||
|
| [SPRINTS-NEXT.md](docs/plan/SPRINTS-NEXT.md) | Следующие спринты (план от 23.10) |
|
||||||
|
| [runbook.md](docs/runbook.md) | 📖 Операционный Runbook |
|
||||||
|
| [self-healing-architecture.md](docs/self-healing-architecture.md) | Self-Healing Infrastructure (Layered) |
|
||||||
|
| [troubleshooting.md](docs/troubleshooting.md) | 🔧 Troubleshooting |
|
||||||
|
| [vpn-clients.md](docs/vpn-clients.md) | Подключение к VPN — рабочий способ |
|
||||||
@@ -0,0 +1,39 @@
|
|||||||
|
# P0–P1: что сделано 28.10
|
||||||
|
|
||||||
|
## Безопасность (P0)
|
||||||
|
|
||||||
|
| Что | Было | Стало |
|
||||||
|
|---|---|---|
|
||||||
|
| fail2ban | не работал | установлен, тюрьма `sshd`, бан 1 ч после 4 попыток, LAN в белом списке |
|
||||||
|
| SSH root | `PermitRootLogin yes` | **`prohibit-password`** (только ключ), `MaxAuthTries 4`, `LoginGraceTime 30` |
|
||||||
|
| 2FA | стадия TOTP есть, не привязана | **требуется enrolment владельца** (шаг за вами) |
|
||||||
|
| Vaultwarden | пустая база (300 КБ) | **развернут, ждёт наполнения** (шаг за вами) |
|
||||||
|
|
||||||
|
## Надёжность (P1)
|
||||||
|
|
||||||
|
| Что | Было | Стало |
|
||||||
|
|---|---|---|
|
||||||
|
| Immich ML | `Exited` 6 дней | запущен, health-check |
|
||||||
|
| Бэкап Immich | раз в неделю | **ежедневно** (из исключений убран 104) |
|
||||||
|
| Loki retention | не задан | **30 дней** + compactor |
|
||||||
|
| Проверка обновлений | «проверено: 0» | переписана: **132 образа, 87 обновлений**, событие в Hermes |
|
||||||
|
| Внешний мониторинг | нет | отложено (blackbox на VPS) |
|
||||||
|
|
||||||
|
## Порядок (P2)
|
||||||
|
|
||||||
|
| Что | Результат |
|
||||||
|
|---|---|
|
||||||
|
| Реестр автоматизаций | `ops/automations/registry.yaml` — **112 заданий** (cron, таймеры, Hermes) |
|
||||||
|
| Индекс документации | `docs/INDEX.md` — 116 документов |
|
||||||
|
| Plex (CT116) | остановлен, автозапуск снят |
|
||||||
|
| Tautulli (CT122) | остановлен, выведен из реестра и Kuma |
|
||||||
|
| Каталог сервисов | перегенерирован из факта: **74 сервиса без sidecar-агентов** (всего контейнеров 161) |
|
||||||
|
|
||||||
|
## Уроки
|
||||||
|
|
||||||
|
1. `yaml.safe_dump` ломает ожидаемый формат парсера хаба — правки реестра
|
||||||
|
делать построчно или генератором с проверкой `grep -c '^ - key:'`.
|
||||||
|
2. Alertmanager и Prometheus правятся только через YAML-парсер: строковые
|
||||||
|
замены молча не применяются (несовпадение отступов).
|
||||||
|
3. Служебные контейнеры (агенты, экспортёры, прокси) надо исключать из
|
||||||
|
«сервисов», иначе статус раздувается со 125 до 161.
|
||||||
@@ -0,0 +1,390 @@
|
|||||||
|
generated: '2026-10-28'
|
||||||
|
total: 112
|
||||||
|
automations:
|
||||||
|
- schedule: '* * * * *'
|
||||||
|
command: /opt/buryan-hub/scripts/swarm-watchdog.sh >> /var/log/swarm-watchdog.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: '*/5 * * * *'
|
||||||
|
command: python3 /opt/buryan-hub/scripts/direct-health-check.py >> /var/log/direct-health-check.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 2 * * *
|
||||||
|
command: /opt/buryan-hub/scripts/pg-backup-ct151.sh >> /var/log/buryan-hub/backups/cron-pg.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 3 * * *
|
||||||
|
command: /root/matrix-backups/backup-matrix.sh >> /var/log/buryan-hub/backups/cron-matrix.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 30 3 * * *
|
||||||
|
command: /root/buryan-infra/ops/backup.sh >> /root/buryan-infra/ops/backups/backup.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 4 * * *
|
||||||
|
command: /opt/buryan-hub/scripts/offsite-backup.sh >> /var/log/buryan-hub/backups/cron-offsite.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 5 * * 0
|
||||||
|
command: /root/weekly-backup-cleanup.sh >> /var/log/buryan-hub/backups/cron-cleanup.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 30 6 * * *
|
||||||
|
command: /opt/buryan-hub/scripts/vzdump-rotate.sh >> /var/log/buryan-hub/backups/cron-vzdump-rotate.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 9 * * *
|
||||||
|
command: /root/buryan-infra/ops/audit.sh >> /root/buryan-infra/ops/audit/audit-cron.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 20 * * 0
|
||||||
|
command: /root/buryan-infra/ops/weekly-report.sh >> /root/buryan-infra/ops/audit/weekly-report.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 */6 * * *
|
||||||
|
command: /root/buryan-infra/ops/scripts/version-watch.sh >> /root/buryan-infra/ops/audit/version-watch.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: '* * * * *'
|
||||||
|
command: /root/buryan-infra/ops/update-manager/update-runner.sh >/dev/null 2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 5 3 * * *
|
||||||
|
command: /root/buryan-infra/ops/update-manager/nightly-report.sh >> /root/buryan-infra/ops/update-manager/runner.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 6 * * 0
|
||||||
|
command: /opt/buryan-hub/scripts/verify-backups.sh >> /var/log/buryan-hub/backups/cron-verify.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: '*/5 * * * *'
|
||||||
|
command: /opt/buryan-hub/scripts/check-services.sh >/dev/null 2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 30 1 * * *
|
||||||
|
command: /opt/buryan-hub/scripts/photos-backup.sh >/dev/null 2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 4 * * 0
|
||||||
|
command: /root/buryan-infra/ops/vpn/vpn-backup-config.sh >> /var/log/buryan-hub/vpn-backup.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 0 6 1 * *
|
||||||
|
command: /opt/buryan-hub/scripts/restore-test.sh >> /var/log/buryan-hub/backups/cron-restore-test.log
|
||||||
|
2>&1
|
||||||
|
source: crontab
|
||||||
|
- schedule: 45 3 * * *
|
||||||
|
command: /usr/local/bin/backup-configs >> /var/log/backup-configs.log 2>&1
|
||||||
|
source: backup-configs
|
||||||
|
- schedule: 0 4 * * 0
|
||||||
|
command: /opt/buryan-hub/scripts/cleanup-leftovers.sh >> /var/log/buryan-hub/cleanup-leftovers.log
|
||||||
|
2>&1
|
||||||
|
source: buryan-cleanup
|
||||||
|
- schedule: 0 6 * * *
|
||||||
|
command: for id in $(pct list | tail -n +2 | awk '{print $1}'); do pct exec $id
|
||||||
|
-- bash -s < /opt/buryan-hub/scripts/fix-logs.sh >/dev/null 2>&1; done
|
||||||
|
source: buryan-log-hygiene
|
||||||
|
- schedule: '*/5 * * * *'
|
||||||
|
command: . /root/.buryan-monitor.env && /usr/bin/python3 /opt/buryan-hub/scripts/check_thin_pool.py
|
||||||
|
>> /var/log/thin-pool-monitor.log 2>&1
|
||||||
|
source: buryan-monitor
|
||||||
|
- schedule: 0 4 * * *
|
||||||
|
command: . /root/.buryan-monitor.env && /usr/bin/psql -h 192.168.1.151 -U buryan_monitor
|
||||||
|
-d buryan_monitoring -c 'SELECT cleanup_thin_pool_metrics();' >> /var/log/thin-p
|
||||||
|
source: buryan-monitor
|
||||||
|
- schedule: 0 * * * *
|
||||||
|
command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_disk.py
|
||||||
|
>> /var/log/buryan-monitor.log 2>&1
|
||||||
|
source: buryan-monitoring
|
||||||
|
- schedule: 30 8 * * *
|
||||||
|
command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_certs.py
|
||||||
|
>> /var/log/buryan-monitor.log 2>&1
|
||||||
|
source: buryan-monitoring
|
||||||
|
- schedule: '*/2 * * * *'
|
||||||
|
command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py >/dev/null
|
||||||
|
2>&1
|
||||||
|
source: buryan-service-metrics
|
||||||
|
- schedule: 30 3 * * 0
|
||||||
|
command: /opt/buryan-hub/scripts/trim-containers.sh
|
||||||
|
source: buryan-trim
|
||||||
|
- schedule: 15 6 * * *
|
||||||
|
command: /usr/local/bin/docker-config-check >> /var/log/docker-config-check.log
|
||||||
|
2>&1
|
||||||
|
source: docker-config-check
|
||||||
|
- schedule: 30 3 * * 0
|
||||||
|
command: test -e /run/systemd/system || SERVICE_MODE=1 /usr/libexec/e2fsprogs/e2scrub_all_cron
|
||||||
|
source: e2scrub_all
|
||||||
|
- schedule: 10 3 * * *
|
||||||
|
command: test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r
|
||||||
|
source: e2scrub_all
|
||||||
|
- schedule: 30 2 * * *
|
||||||
|
command: /usr/bin/bash /opt/hub-core/backup.sh >> /var/log/hub-backup.log 2>&1
|
||||||
|
source: hub-backup
|
||||||
|
- schedule: 45 2 * * *
|
||||||
|
command: /usr/bin/bash /opt/hub-core/backup_bots.sh >> /var/log/hub-backup.log 2>&1
|
||||||
|
source: hub-backup-bots
|
||||||
|
- schedule: 5 3 * * *
|
||||||
|
command: /bin/bash /opt/hub-core/bots_verify.sh >> /var/log/hub-bots-verify.log
|
||||||
|
2>&1
|
||||||
|
source: hub-bots-verify
|
||||||
|
- schedule: 30 4 * * 0
|
||||||
|
command: /usr/bin/python3 /opt/hub-core/camera_discover.py >> /var/log/hub-cam-scan.log
|
||||||
|
2>&1
|
||||||
|
source: hub-cam-scan
|
||||||
|
- schedule: 15 4 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/library_sync.py
|
||||||
|
>> /var/log/hub-catalog.log 2>&1
|
||||||
|
source: hub-catalog
|
||||||
|
- schedule: '*/10 * * * *'
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/connectors.py
|
||||||
|
>> /var/log/hub-connectors.log 2>&1
|
||||||
|
source: hub-connectors
|
||||||
|
- schedule: '*/30 * * * *'
|
||||||
|
command: /opt/music-tools/venv/bin/python /opt/hub-core/device_ident.py >> /var/log/hub-devices.log
|
||||||
|
2>&1
|
||||||
|
source: hub-devices
|
||||||
|
- schedule: 0 9 * * *
|
||||||
|
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 digest.py
|
||||||
|
>> /var/log/hub-digest.log 2>&1
|
||||||
|
source: hub-digest
|
||||||
|
- schedule: 30 8 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/events_digest.py
|
||||||
|
>> /var/log/hub-digest.log 2>&1
|
||||||
|
source: hub-events-digest
|
||||||
|
- schedule: 0 23 * * *
|
||||||
|
command: /usr/bin/bash /opt/hub-core/export_all.sh >> /var/log/hub-export.log 2>&1
|
||||||
|
source: hub-export
|
||||||
|
- schedule: 45 4 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/content_graph.py
|
||||||
|
>> /var/log/hub-graph.log 2>&1
|
||||||
|
source: hub-graph
|
||||||
|
- schedule: 30 23 * * *
|
||||||
|
command: /usr/bin/curl -s --max-time 20 http://127.0.0.1:9120/snapshot > /var/log/hub-graph-history.log
|
||||||
|
2>&1
|
||||||
|
source: hub-graph-history
|
||||||
|
- schedule: 0 8 * * 1
|
||||||
|
command: /bin/bash -c 'set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3
|
||||||
|
/opt/hub-core/identity_audit.py' >> /var/log/hub-identity.log 2>&1
|
||||||
|
source: hub-identity
|
||||||
|
- schedule: 15 */3 * * *
|
||||||
|
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 reindex.py
|
||||||
|
>> /var/log/hub-index.log 2>&1
|
||||||
|
source: hub-index
|
||||||
|
- schedule: 30 7 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/inventory.py
|
||||||
|
>> /var/log/hub-inventory.log 2>&1
|
||||||
|
source: hub-inventory
|
||||||
|
- schedule: 45 3 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/linker.py
|
||||||
|
>> /var/log/hub-linker.log 2>&1
|
||||||
|
source: hub-linker
|
||||||
|
- schedule: 0 5 * * 0
|
||||||
|
command: /bin/bash /opt/hub-core/lxc_verify.sh >> /var/log/hub-lxc-verify.log 2>&1
|
||||||
|
source: hub-lxc-verify
|
||||||
|
- schedule: 20 3 * * *
|
||||||
|
command: /bin/bash /opt/hub-core/matrix_verify.sh >> /var/log/hub-matrix-backup.log
|
||||||
|
2>&1
|
||||||
|
source: hub-matrix-backup
|
||||||
|
- schedule: '*/30 * * * *'
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/media_hub.py
|
||||||
|
>> /var/log/hub-media.log 2>&1
|
||||||
|
source: hub-media
|
||||||
|
- schedule: 0 9 * * 1
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; . /etc/hub-bots/bots.env; . /etc/hub-bots/dm.env;
|
||||||
|
set +a; NOTIFY_TOKEN="$MEDIA_TOKEN" NOTIFY_ROOM="$MEDIA" /usr/bin/pyth
|
||||||
|
source: hub-media-digest
|
||||||
|
- schedule: 0 6 * * 0
|
||||||
|
command: /bin/bash /opt/hub-core/offsite_verify.sh >> /var/log/hub-offsite-verify.log
|
||||||
|
2>&1
|
||||||
|
source: hub-offsite-verify
|
||||||
|
- schedule: 40 2 * * *
|
||||||
|
command: /bin/bash /opt/hub-core/pg_verify_cron.sh >> /var/log/hub-pg-verify.log
|
||||||
|
2>&1
|
||||||
|
source: hub-pg-verify
|
||||||
|
- schedule: 30 3 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/reconcile.py
|
||||||
|
>> /var/log/hub-reconcile.log 2>&1
|
||||||
|
source: hub-reconcile
|
||||||
|
- schedule: 0 19 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/resume.py
|
||||||
|
>> /var/log/hub-resume.log 2>&1
|
||||||
|
source: hub-resume
|
||||||
|
- schedule: '*/15 * * * *'
|
||||||
|
command: set -a; . /etc/hub-core/telegram.env; set +a; [ -n "$TG_API_ID" ] && /usr/bin/python3
|
||||||
|
/opt/hub-core/telegram_userbot.py >> /var/log/hub-telegram.log 2>&1
|
||||||
|
source: hub-telegram
|
||||||
|
- schedule: 30 9 * * 1
|
||||||
|
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 weekly.py
|
||||||
|
>> /var/log/hub-weekly.log 2>&1
|
||||||
|
source: hub-weekly
|
||||||
|
- schedule: 0 20 * * 0
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/weekly.py
|
||||||
|
>> /var/log/hub-weekly-core.log 2>&1
|
||||||
|
source: hub-weekly-core
|
||||||
|
- schedule: 30 5 * * *
|
||||||
|
command: set -a; . /etc/hub-core/connectors.env; set +a; /opt/music-tools/venv/bin/python
|
||||||
|
/opt/hub-core/sync_users.py 3 >> /var/log/hub-yandex-sync.log 2>&1
|
||||||
|
source: hub-yandex-music
|
||||||
|
- schedule: 0 1 * * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 108 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 30 1 * * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 140 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 2 * * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 155 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 30 2 * * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 115 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 3 */2 * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 110 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 30 3 */2 * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 114 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 4 */2 * *
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 109 daily >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 4 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 105 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 30 4 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 113 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 5 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 139 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 30 5 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 201 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 0 5 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 104 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: 15 5 * * 0
|
||||||
|
command: /usr/local/bin/lxc-backup.sh 111 weekly >> /var/log/lxc-backup.log 2>&1
|
||||||
|
source: lxc-backups
|
||||||
|
- schedule: '*/5 * * * *'
|
||||||
|
command: /opt/music-tools/venv/bin/python /opt/hub-core/mesh_watch.py >> /var/log/mesh-watch.log
|
||||||
|
2>&1
|
||||||
|
source: mesh-watch
|
||||||
|
- schedule: 30 3 * * *
|
||||||
|
command: /usr/local/bin/backup-n8n >> /var/log/n8n-backup.log 2>&1
|
||||||
|
source: n8n-backup
|
||||||
|
- schedule: 24 0 1-7 * *
|
||||||
|
command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim;
|
||||||
|
fi
|
||||||
|
source: zfsutils-linux
|
||||||
|
- schedule: 24 0 8-14 * *
|
||||||
|
command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub;
|
||||||
|
fi
|
||||||
|
source: zfsutils-linux
|
||||||
|
- schedule: systemd 4min
|
||||||
|
command: systemd unit hub-mesh.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 4min
|
||||||
|
command: systemd unit hub-inbox.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 5min
|
||||||
|
command: systemd unit hub-tg-ingest.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 5min
|
||||||
|
command: systemd unit hub-selfheal.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 14min
|
||||||
|
command: systemd unit hub-agents.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 14min
|
||||||
|
command: systemd unit hub-brain.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 14min
|
||||||
|
command: systemd unit hub-storage-metrics.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 1h
|
||||||
|
command: systemd unit hub-chief.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 1h
|
||||||
|
command: systemd unit hub-digest.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 14h
|
||||||
|
command: systemd unit hub-pre-prune.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 16h
|
||||||
|
command: systemd unit hub-db-dumps.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 16h
|
||||||
|
command: systemd unit hub-renovate.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 17h
|
||||||
|
command: systemd unit hub-archive-copy.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 17h
|
||||||
|
command: systemd unit hub-cert-sync.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 17h
|
||||||
|
command: systemd unit hub-vps-backup.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 17h
|
||||||
|
command: systemd unit hub-actions.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 17h
|
||||||
|
command: systemd unit hub-dl-cleanup.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 18h
|
||||||
|
command: systemd unit hub-jf-collections.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 18h
|
||||||
|
command: systemd unit hub-updates.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 19h
|
||||||
|
command: systemd unit hub-search-index.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 21h
|
||||||
|
command: systemd unit hub-nightly-check.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 21h
|
||||||
|
command: systemd unit hub-goals.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 22h
|
||||||
|
command: systemd unit hub-snap-clean.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 22h
|
||||||
|
command: systemd unit hub-snapshot.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 22h
|
||||||
|
command: systemd unit hub-finance.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-rag.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-ct-cleanup.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-drill.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-second-contour.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-integrity.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 3
|
||||||
|
command: systemd unit hub-weekly.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 4
|
||||||
|
command: systemd unit hub-media-maint.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: systemd 5
|
||||||
|
command: systemd unit hub-restore-drill.timer
|
||||||
|
source: systemd
|
||||||
|
- schedule: каждые 1800с
|
||||||
|
command: /usr/local/bin/backup-heartbeat.sh
|
||||||
|
source: hermes/backup-heartbeat
|
||||||
|
- schedule: каждые 21600с
|
||||||
|
command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py
|
||||||
|
source: hermes/updates-check
|
||||||
|
- schedule: каждые 3600с
|
||||||
|
command: df -h / /mnt/media /mnt/archive | tail -3
|
||||||
|
source: hermes/disk-trend
|
||||||
|
- schedule: каждые 3600с
|
||||||
|
command: 'curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python
|
||||||
|
-c "import json,sys; d=json.load(sys.stdin); bad=[s[''name''] for s in '
|
||||||
|
source: hermes/verify-services
|
||||||
@@ -0,0 +1,47 @@
|
|||||||
|
# Hermes — шина событий, планировщик и агентский слой
|
||||||
|
|
||||||
|
Запущен 28.10.2026, порт **9130**, systemd-юнит `hermes.service`,
|
||||||
|
код `/opt/hermes/`, состояние в SQLite `hermes.db`.
|
||||||
|
|
||||||
|
## Что уже забрал на себя
|
||||||
|
|
||||||
|
| Функция | Было | Стало |
|
||||||
|
|---|---|---|
|
||||||
|
| Приём алертов Prometheus | Alertmanager слал сразу в Matrix и вебхук | **Alertmanager → Hermes → хаб → Matrix**: дедуп 15 мин, тихие часы 23:30–07:30, приоритеты |
|
||||||
|
| Свежесть бэкапов | cron `buryan-backup-heartbeat` | задание Hermes `backup-heartbeat`, каждые 30 мин |
|
||||||
|
| Проверка обновлений | сломанный скрипт (только CT110, «проверено: 0») | задание `updates-check`, все LXC + хост: **132 образа, 87 обновлений** |
|
||||||
|
| Журнал событий | нигде | таблица `events`: источник, тип, важность, доставка, дедуп-ключ |
|
||||||
|
| Статус сервисов | ручной опрос | задание `verify-services` раз в час |
|
||||||
|
|
||||||
|
## API
|
||||||
|
|
||||||
|
```
|
||||||
|
POST /event {"source","type","severity","title","body","dedup_key"}
|
||||||
|
POST /alertmanager вебхук Alertmanager
|
||||||
|
GET /events?limit=50 журнал
|
||||||
|
GET /approvals ожидающие решения
|
||||||
|
GET /health живость + счётчики
|
||||||
|
GET /metrics Prometheus (hermes_events_total, hermes_job_fails…)
|
||||||
|
POST /jobs/<name>/run ручной запуск задания
|
||||||
|
```
|
||||||
|
|
||||||
|
## Задания (jobs.yaml)
|
||||||
|
|
||||||
|
| Имя | Расписание | Что делает |
|
||||||
|
|---|---|---|
|
||||||
|
| `backup-heartbeat` | 30 мин | пингует Kuma по свежести бэкапов |
|
||||||
|
| `updates-check` | 6 ч | ищет обновления образов, публикует событие |
|
||||||
|
| `disk-trend` | 1 ч | срез занятого места |
|
||||||
|
| `verify-services` | 1 ч | проверяет статус хаба |
|
||||||
|
|
||||||
|
## Куда развивать
|
||||||
|
|
||||||
|
1. **Ротация расписаний** — перенести `hub-*` cron в jobs.yaml, чтобы был один список.
|
||||||
|
2. **Обновления по подтверждению** — заявка `approvals` → применение с снапшотом и откатом.
|
||||||
|
3. **Агенты** — задачи «проверь X и предложи Y» с журналом решений.
|
||||||
|
4. **Голос** — после локальной LLM: событие → короткий ответ в Matrix/колонку.
|
||||||
|
|
||||||
|
## Метрики
|
||||||
|
|
||||||
|
`hermes_events_total`, `hermes_events_1h`, `hermes_events_undelivered`,
|
||||||
|
`hermes_quiet_active`, `hermes_job_runs{job,status}`, `hermes_job_fails{job}`.
|
||||||
Executable
+137
@@ -0,0 +1,137 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""Проверка обновлений образов по всем контейнерам и хосту.
|
||||||
|
|
||||||
|
Почему переписано: прошлая версия смотрела только CT110 и отбрасывала образы,
|
||||||
|
у которых нет RepoDigests (локальные сборки и теги без pull), из-за чего
|
||||||
|
«проверено: 0». Теперь:
|
||||||
|
* обходим ВСЕ LXC и хост;
|
||||||
|
* локальный digest берём из `docker images --digests`;
|
||||||
|
* локальные сборки честно считаем «не сравнить»;
|
||||||
|
* считаем статистику по каждому источнику.
|
||||||
|
"""
|
||||||
|
import json
|
||||||
|
import re
|
||||||
|
import subprocess
|
||||||
|
import urllib.request
|
||||||
|
|
||||||
|
HOST = None
|
||||||
|
OUT = "/var/lib/hub-agents/updates.json"
|
||||||
|
|
||||||
|
|
||||||
|
def sh(cmd, timeout=90):
|
||||||
|
try:
|
||||||
|
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||||
|
return (r.stdout or "").strip()
|
||||||
|
except Exception:
|
||||||
|
return ""
|
||||||
|
|
||||||
|
|
||||||
|
def list_cts():
|
||||||
|
out = sh("pct list | awk 'NR>1 && $2==\"running\"{print $1}'")
|
||||||
|
return [c.strip() for c in out.splitlines() if c.strip().isdigit()]
|
||||||
|
|
||||||
|
|
||||||
|
def images(ct):
|
||||||
|
base = f"pct exec {ct} -- " if ct else ""
|
||||||
|
out = sh(base + "docker images --digests --format '{{.Repository}}:{{.Tag}}|{{.Digest}}' 2>/dev/null")
|
||||||
|
res = {}
|
||||||
|
for line in out.splitlines():
|
||||||
|
if "|" not in line:
|
||||||
|
continue
|
||||||
|
ref, digest = line.split("|", 1)
|
||||||
|
if "<none>" in ref:
|
||||||
|
continue
|
||||||
|
res[ref.strip()] = digest.strip()
|
||||||
|
return res
|
||||||
|
|
||||||
|
|
||||||
|
def remote_digest(image):
|
||||||
|
try:
|
||||||
|
name, tag = (image.rsplit(":", 1) + ["latest"])[:2]
|
||||||
|
if "/" not in name:
|
||||||
|
name = "library/" + name
|
||||||
|
host = "registry-1.docker.io"
|
||||||
|
repo = name
|
||||||
|
if repo.startswith("ghcr.io/"):
|
||||||
|
host, repo = "ghcr.io", repo[len("ghcr.io/"):]
|
||||||
|
elif repo.startswith("lscr.io/"):
|
||||||
|
host, repo = "lscr.io", repo[len("lscr.io/"):]
|
||||||
|
elif repo.startswith("quay.io/"):
|
||||||
|
host, repo = "quay.io", repo[len("quay.io/"):]
|
||||||
|
elif repo.startswith("docker.io/"):
|
||||||
|
repo = repo[len("docker.io/"):]
|
||||||
|
|
||||||
|
if host == "ghcr.io":
|
||||||
|
token_url = f"https://ghcr.io/token?scope=repository:{repo}:pull&service=ghcr.io"
|
||||||
|
elif host == "lscr.io":
|
||||||
|
token_url = f"https://lscr.io/token?scope=repository:{repo}:pull"
|
||||||
|
elif host == "quay.io":
|
||||||
|
token_url = f"https://quay.io/v2/auth?scope=repository:{repo}:pull&service=quay.io"
|
||||||
|
else:
|
||||||
|
token_url = (f"https://auth.docker.io/token?service=registry.docker.io"
|
||||||
|
f"&scope=repository:{repo}:pull")
|
||||||
|
with urllib.request.urlopen(token_url, timeout=12) as r:
|
||||||
|
data = json.loads(r.read())
|
||||||
|
tok = data.get("token") or data.get("access_token") or ""
|
||||||
|
req = urllib.request.Request(
|
||||||
|
f"https://{host}/v2/{repo}/manifests/{tag}",
|
||||||
|
headers={"Authorization": f"Bearer {tok}",
|
||||||
|
"Accept": "application/vnd.oci.image.index.v1+json,"
|
||||||
|
"application/vnd.docker.distribution.manifest.list.v2+json,"
|
||||||
|
"application/vnd.oci.image.manifest.v1+json,"
|
||||||
|
"application/vnd.docker.distribution.manifest.v2+json"})
|
||||||
|
with urllib.request.urlopen(req, timeout=15) as r:
|
||||||
|
return r.headers.get("Docker-Content-Digest", "")
|
||||||
|
except Exception:
|
||||||
|
return ""
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
checked = outdated = nolocal = unreachable = 0
|
||||||
|
rows = []
|
||||||
|
targets = [(None, "host")] + [(c, f"CT{c}") for c in list_cts()]
|
||||||
|
for ct, label in targets:
|
||||||
|
imgs = images(ct)
|
||||||
|
for ref, digest in imgs.items():
|
||||||
|
if ref.endswith(":<none>"):
|
||||||
|
continue
|
||||||
|
if not digest or not digest.startswith("sha256:"):
|
||||||
|
nolocal += 1
|
||||||
|
continue
|
||||||
|
remote = remote_digest(ref)
|
||||||
|
if not remote:
|
||||||
|
unreachable += 1
|
||||||
|
continue
|
||||||
|
checked += 1
|
||||||
|
if remote != digest:
|
||||||
|
outdated += 1
|
||||||
|
rows.append({"where": label, "image": ref, "local": digest[:19],
|
||||||
|
"remote": remote[:19]})
|
||||||
|
|
||||||
|
print(f"проверено: {checked} | обновлений: {outdated} | "
|
||||||
|
f"локальных сборок: {nolocal} | registry недоступен: {unreachable}")
|
||||||
|
for r in rows[:12]:
|
||||||
|
print(f" ↑ {r['image']} ({r['where']})")
|
||||||
|
if len(rows) > 12:
|
||||||
|
print(f" … и ещё {len(rows) - 12}")
|
||||||
|
|
||||||
|
json.dump(rows, open(OUT, "w"), ensure_ascii=False, indent=1)
|
||||||
|
|
||||||
|
if rows:
|
||||||
|
body = json.dumps({
|
||||||
|
"title": "Обновления образов",
|
||||||
|
"message": f"Доступно {len(rows)} обновлений: " + ", ".join(r["image"] for r in rows[:6]),
|
||||||
|
"priority": "low",
|
||||||
|
}).encode()
|
||||||
|
req = urllib.request.Request("http://127.0.0.1:9120/notify", data=body,
|
||||||
|
method="POST", headers={"Content-Type": "application/json"})
|
||||||
|
try:
|
||||||
|
urllib.request.urlopen(req, timeout=10).read()
|
||||||
|
print("уведомление отправлено")
|
||||||
|
except Exception as e:
|
||||||
|
print("notify:", e)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
Executable
+350
@@ -0,0 +1,350 @@
|
|||||||
|
#!/usr/bin/env python3
|
||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""Hermes — шина событий, планировщик и агентский слой Buryan Hub.
|
||||||
|
|
||||||
|
Зачем: события (алерты, бэкапы, обновления, домашние) сейчас размазаны по
|
||||||
|
хуку, ботам и cron. Hermes собирает их в один журнал, устраняет дубли,
|
||||||
|
маршрутизирует в доставку через хаб (/notify) и запускает периодические
|
||||||
|
задания с ретраями и историей.
|
||||||
|
|
||||||
|
Что умеет:
|
||||||
|
POST /event — принять событие (source, type, severity, title, body)
|
||||||
|
POST /alertmanager — принять вебхук Alertmanager и превратить в события
|
||||||
|
GET /events — журнал (limit, severity)
|
||||||
|
GET /health — состояние
|
||||||
|
GET /metrics — метрики Prometheus
|
||||||
|
POST /jobs/<name>/run — ручной запуск задания
|
||||||
|
GET /approvals — список ожидающих решений
|
||||||
|
|
||||||
|
Задания описываются в jobs.yaml (интервал или время суток), ретраи и таймаут.
|
||||||
|
Доставка — через http://127.0.0.1:9120/notify (хаб знает про Matrix/Telegram).
|
||||||
|
"""
|
||||||
|
import json
|
||||||
|
import os
|
||||||
|
import re
|
||||||
|
import sqlite3
|
||||||
|
import subprocess
|
||||||
|
import threading
|
||||||
|
import time
|
||||||
|
import urllib.error
|
||||||
|
import urllib.request
|
||||||
|
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||||
|
|
||||||
|
BASE = "/opt/hermes"
|
||||||
|
DB = f"{BASE}/hermes.db"
|
||||||
|
JOBS = f"{BASE}/jobs.yaml"
|
||||||
|
CONF = f"{BASE}/hermes.yaml"
|
||||||
|
PORT = int(os.environ.get("HERMES_PORT", "9130"))
|
||||||
|
HOST = os.environ.get("HERMES_HOST", "0.0.0.0")
|
||||||
|
|
||||||
|
_lock = threading.Lock()
|
||||||
|
|
||||||
|
|
||||||
|
def conf():
|
||||||
|
try:
|
||||||
|
import yaml
|
||||||
|
return yaml.safe_load(open(CONF, encoding="utf-8")) or {}
|
||||||
|
except Exception:
|
||||||
|
return {}
|
||||||
|
|
||||||
|
|
||||||
|
CFG = conf()
|
||||||
|
NOTIFY_URL = CFG.get("notify_url", "http://127.0.0.1:9120/notify")
|
||||||
|
QUIET = CFG.get("quiet_hours", []) # [["23:00","08:00"]]
|
||||||
|
DEDUP_SEC = int(CFG.get("dedup_seconds", 900))
|
||||||
|
RETENTION_DAYS = int(CFG.get("retention_days", 30))
|
||||||
|
|
||||||
|
|
||||||
|
def db():
|
||||||
|
conn = sqlite3.connect(DB, timeout=10)
|
||||||
|
conn.row_factory = sqlite3.Row
|
||||||
|
return conn
|
||||||
|
|
||||||
|
|
||||||
|
def init():
|
||||||
|
os.makedirs(BASE, exist_ok=True)
|
||||||
|
with db() as c:
|
||||||
|
c.executescript("""
|
||||||
|
create table if not exists events(
|
||||||
|
id integer primary key autoincrement,
|
||||||
|
ts real not null, source text, type text, severity text,
|
||||||
|
title text, body text, dedup_key text, delivered integer default 0,
|
||||||
|
delivery text, payload text);
|
||||||
|
create index if not exists ev_ts on events(ts desc);
|
||||||
|
create index if not exists ev_dedup on events(dedup_key, ts desc);
|
||||||
|
create table if not exists jobs(
|
||||||
|
name text primary key, last_run real, last_status text,
|
||||||
|
last_ms integer, runs integer default 0, fails integer default 0);
|
||||||
|
create table if not exists approvals(
|
||||||
|
id integer primary key autoincrement, ts real, kind text,
|
||||||
|
title text, details text, status text default 'pending');
|
||||||
|
""")
|
||||||
|
|
||||||
|
|
||||||
|
def now():
|
||||||
|
return time.time()
|
||||||
|
|
||||||
|
|
||||||
|
def in_quiet(ts=None):
|
||||||
|
if not QUIET:
|
||||||
|
return False
|
||||||
|
t = time.localtime(ts or now())
|
||||||
|
cur = t.tm_hour * 60 + t.tm_min
|
||||||
|
for span in QUIET:
|
||||||
|
try:
|
||||||
|
a, b = span
|
||||||
|
h1, m1 = map(int, a.split(":"))
|
||||||
|
h2, m2 = map(int, b.split(":"))
|
||||||
|
start, end = h1 * 60 + m1, h2 * 60 + m2
|
||||||
|
if start <= end:
|
||||||
|
if start <= cur < end:
|
||||||
|
return True
|
||||||
|
else: # через полночь
|
||||||
|
if cur >= start or cur < end:
|
||||||
|
return True
|
||||||
|
except Exception:
|
||||||
|
continue
|
||||||
|
return False
|
||||||
|
|
||||||
|
|
||||||
|
def notify(title, message, priority="normal", dedup_key=None):
|
||||||
|
"""Доставка через хаб. Возвращает (delivered, note)."""
|
||||||
|
if in_quiet() and priority != "critical":
|
||||||
|
return 0, "quiet-hours"
|
||||||
|
data = json.dumps({"title": title, "message": message, "priority": priority}).encode()
|
||||||
|
req = urllib.request.Request(NOTIFY_URL, data=data, method="POST",
|
||||||
|
headers={"Content-Type": "application/json"})
|
||||||
|
try:
|
||||||
|
with urllib.request.urlopen(req, timeout=10) as r:
|
||||||
|
return 1, f"http:{r.status}"
|
||||||
|
except Exception as e:
|
||||||
|
return 0, f"error:{str(e)[:60]}"
|
||||||
|
|
||||||
|
|
||||||
|
def add_event(source, etype, severity, title, body="", dedup_key=None, payload=None):
|
||||||
|
"""Записать событие; при дубле в окне dedup — не доставлять повторно."""
|
||||||
|
key = dedup_key or f"{source}:{etype}:{title}"
|
||||||
|
with _lock, db() as c:
|
||||||
|
prev = c.execute(
|
||||||
|
"select id, delivered from events where dedup_key=? and ts>? order by ts desc limit 1",
|
||||||
|
(key, now() - DEDUP_SEC)).fetchone()
|
||||||
|
if prev and prev["delivered"]:
|
||||||
|
c.execute("insert into events(ts,source,type,severity,title,body,dedup_key,delivered,delivery,payload)"
|
||||||
|
" values(?,?,?,?,?,?,?,0,'dedup',?)",
|
||||||
|
(now(), source, etype, severity, title, body, key,
|
||||||
|
json.dumps(payload or {}, ensure_ascii=False)))
|
||||||
|
return False
|
||||||
|
cur = c.execute(
|
||||||
|
"insert into events(ts,source,type,severity,title,body,dedup_key,payload)"
|
||||||
|
" values(?,?,?,?,?,?,?,?)",
|
||||||
|
(now(), source, etype, severity, title, body, key,
|
||||||
|
json.dumps(payload or {}, ensure_ascii=False)))
|
||||||
|
eid = cur.lastrowid
|
||||||
|
|
||||||
|
prio = "critical" if severity in ("critical", "high") else "normal"
|
||||||
|
ok, note = notify(title, body or title, prio, key)
|
||||||
|
with db() as c:
|
||||||
|
c.execute("update events set delivered=?, delivery=? where id=?", (ok, note, eid))
|
||||||
|
return True
|
||||||
|
|
||||||
|
|
||||||
|
# ---------------- задания ----------------
|
||||||
|
|
||||||
|
def load_jobs():
|
||||||
|
try:
|
||||||
|
import yaml
|
||||||
|
return yaml.safe_load(open(JOBS, encoding="utf-8")) or {}
|
||||||
|
except Exception:
|
||||||
|
return {}
|
||||||
|
|
||||||
|
|
||||||
|
def run_job(name, job):
|
||||||
|
started = now()
|
||||||
|
cmd = job.get("command")
|
||||||
|
timeout = int(job.get("timeout", 600))
|
||||||
|
retries = int(job.get("retries", 0))
|
||||||
|
status, out = "ok", ""
|
||||||
|
for attempt in range(retries + 1):
|
||||||
|
try:
|
||||||
|
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||||
|
out = ((r.stdout or "") + (r.stderr or "")).strip()
|
||||||
|
status = "ok" if r.returncode == 0 else f"fail:{r.returncode}"
|
||||||
|
if status == "ok":
|
||||||
|
break
|
||||||
|
except subprocess.TimeoutExpired:
|
||||||
|
status, out = "timeout", f"таймаут {timeout}с"
|
||||||
|
except Exception as e:
|
||||||
|
status, out = "error", str(e)[:150]
|
||||||
|
time.sleep(2)
|
||||||
|
|
||||||
|
ms = int((now() - started) * 1000)
|
||||||
|
with db() as c:
|
||||||
|
c.execute("""insert into jobs(name,last_run,last_status,last_ms,runs,fails)
|
||||||
|
values(?,?,?,?,1,?)
|
||||||
|
on conflict(name) do update set
|
||||||
|
last_run=excluded.last_run, last_status=excluded.last_status,
|
||||||
|
last_ms=excluded.last_ms, runs=runs+1,
|
||||||
|
fails=fails+excluded.fails""",
|
||||||
|
(name, started, status, ms, 0 if status == "ok" else 1))
|
||||||
|
|
||||||
|
if status != "ok":
|
||||||
|
add_event("hermes", "job", "medium", f"Задание провалено: {name}", out[:800],
|
||||||
|
dedup_key=f"job:{name}:{status}")
|
||||||
|
elif job.get("notify_on_success"):
|
||||||
|
add_event("hermes", "job", "low", f"Задание выполнено: {name}", out[:400],
|
||||||
|
dedup_key=f"job-ok:{name}:{int(started)//3600}")
|
||||||
|
return status, out
|
||||||
|
|
||||||
|
|
||||||
|
def scheduler_loop():
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
jobs = load_jobs()
|
||||||
|
t = time.localtime()
|
||||||
|
for name, job in (jobs or {}).items():
|
||||||
|
if not isinstance(job, dict) or not job.get("command"):
|
||||||
|
continue
|
||||||
|
with db() as c:
|
||||||
|
row = c.execute("select last_run from jobs where name=?", (name,)).fetchone()
|
||||||
|
last = row["last_run"] if row else 0
|
||||||
|
due = False
|
||||||
|
if job.get("every_seconds"):
|
||||||
|
due = (now() - (last or 0)) >= int(job["every_seconds"])
|
||||||
|
elif job.get("daily_at"):
|
||||||
|
hh, mm = map(int, job["daily_at"].split(":"))
|
||||||
|
today = time.mktime((t.tm_year, t.tm_mon, t.tm_mday, hh, mm, 0, 0, 0, -1))
|
||||||
|
due = now() >= today and (last or 0) < today
|
||||||
|
if due:
|
||||||
|
threading.Thread(target=run_job, args=(name, job), daemon=True).start()
|
||||||
|
time.sleep(1)
|
||||||
|
except Exception as e:
|
||||||
|
print("scheduler:", e, flush=True)
|
||||||
|
time.sleep(30)
|
||||||
|
|
||||||
|
|
||||||
|
def cleanup_loop():
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
with db() as c:
|
||||||
|
c.execute("delete from events where ts < ?", (now() - RETENTION_DAYS * 86400,))
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
time.sleep(3600)
|
||||||
|
|
||||||
|
|
||||||
|
# ---------------- HTTP ----------------
|
||||||
|
|
||||||
|
class Handler(BaseHTTPRequestHandler):
|
||||||
|
server_version = "hermes/0.1"
|
||||||
|
|
||||||
|
def log_message(self, *a):
|
||||||
|
pass
|
||||||
|
|
||||||
|
def _send(self, code, obj):
|
||||||
|
body = json.dumps(obj, ensure_ascii=False).encode()
|
||||||
|
self.send_response(code)
|
||||||
|
self.send_header("Content-Type", "application/json; charset=utf-8")
|
||||||
|
self.send_header("Content-Length", str(len(body)))
|
||||||
|
self.end_headers()
|
||||||
|
self.wfile.write(body)
|
||||||
|
|
||||||
|
def _text(self, code, text):
|
||||||
|
body = text.encode()
|
||||||
|
self.send_response(code)
|
||||||
|
self.send_header("Content-Type", "text/plain; charset=utf-8")
|
||||||
|
self.send_header("Content-Length", str(len(body)))
|
||||||
|
self.end_headers()
|
||||||
|
self.wfile.write(body)
|
||||||
|
|
||||||
|
def do_GET(self):
|
||||||
|
p = self.path.split("?")[0]
|
||||||
|
q = dict(re.findall(r"([^?&=]+)=([^&]*)", self.path))
|
||||||
|
if p == "/health":
|
||||||
|
with db() as c:
|
||||||
|
n = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"]
|
||||||
|
pend = c.execute("select count(*) n from approvals where status='pending'").fetchone()["n"]
|
||||||
|
return self._send(200, {"status": "ok", "events_1h": n, "approvals_pending": pend,
|
||||||
|
"quiet": in_quiet()})
|
||||||
|
if p == "/events":
|
||||||
|
limit = min(int(q.get("limit", 50)), 500)
|
||||||
|
with db() as c:
|
||||||
|
rows = c.execute("select * from events order by ts desc limit ?", (limit,)).fetchall()
|
||||||
|
return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]})
|
||||||
|
if p == "/approvals":
|
||||||
|
with db() as c:
|
||||||
|
rows = c.execute("select * from approvals order by ts desc limit 50").fetchall()
|
||||||
|
return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]})
|
||||||
|
if p == "/metrics":
|
||||||
|
with db() as c:
|
||||||
|
total = c.execute("select count(*) n from events").fetchone()["n"]
|
||||||
|
last_h = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"]
|
||||||
|
undel = c.execute("select count(*) n from events where delivered=0").fetchone()["n"]
|
||||||
|
jobs = c.execute("select name,fails,runs,last_status from jobs").fetchall()
|
||||||
|
lines = ["# HELP hermes_events_total событий в журнале",
|
||||||
|
"# TYPE hermes_events_total gauge",
|
||||||
|
f"hermes_events_total {total}",
|
||||||
|
f"hermes_events_1h {last_h}",
|
||||||
|
f"hermes_events_undelivered {undel}",
|
||||||
|
f"hermes_quiet_active {1 if in_quiet() else 0}"]
|
||||||
|
for j in jobs:
|
||||||
|
lines.append(f'hermes_job_runs{{job="{j["name"]}",status="{j["last_status"]}"}} {j["runs"]}')
|
||||||
|
lines.append(f'hermes_job_fails{{job="{j["name"]}"}} {j["fails"]}')
|
||||||
|
return self._text(200, "\n".join(lines) + "\n")
|
||||||
|
return self._send(404, {"error": "not found"})
|
||||||
|
|
||||||
|
def do_POST(self):
|
||||||
|
p = self.path.split("?")[0]
|
||||||
|
length = int(self.headers.get("Content-Length") or 0)
|
||||||
|
raw = self.rfile.read(length) if length else b"{}"
|
||||||
|
try:
|
||||||
|
data = json.loads(raw or b"{}")
|
||||||
|
except Exception:
|
||||||
|
return self._send(400, {"error": "bad json"})
|
||||||
|
|
||||||
|
if p == "/event":
|
||||||
|
ok = add_event(data.get("source", "external"), data.get("type", "info"),
|
||||||
|
data.get("severity", "low"), data.get("title", "событие"),
|
||||||
|
data.get("body", ""), data.get("dedup_key"), data)
|
||||||
|
return self._send(200, {"accepted": True, "delivered": ok})
|
||||||
|
|
||||||
|
if p == "/alertmanager":
|
||||||
|
n = 0
|
||||||
|
for a in data.get("alerts", []):
|
||||||
|
if a.get("status") == "resolved":
|
||||||
|
continue
|
||||||
|
labels = a.get("labels") or {}
|
||||||
|
ann = a.get("annotations") or {}
|
||||||
|
sev = labels.get("severity", "warning")
|
||||||
|
add_event("prometheus", labels.get("alertname", "alert"),
|
||||||
|
"critical" if sev == "critical" else "medium",
|
||||||
|
ann.get("summary") or labels.get("alertname", "алерт"),
|
||||||
|
ann.get("description", ""),
|
||||||
|
dedup_key=f"am:{labels.get('alertname')}:{labels.get('instance','')}")
|
||||||
|
n += 1
|
||||||
|
return self._send(200, {"accepted": n})
|
||||||
|
|
||||||
|
m = re.match(r"^/jobs/([A-Za-z0-9_.-]+)/run$", p)
|
||||||
|
if m:
|
||||||
|
name = m.group(1)
|
||||||
|
jobs = load_jobs() or {}
|
||||||
|
if name not in jobs:
|
||||||
|
return self._send(404, {"error": "unknown job"})
|
||||||
|
threading.Thread(target=run_job, args=(name, jobs[name]), daemon=True).start()
|
||||||
|
return self._send(202, {"started": name})
|
||||||
|
|
||||||
|
return self._send(404, {"error": "not found"})
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
init()
|
||||||
|
threading.Thread(target=scheduler_loop, daemon=True).start()
|
||||||
|
threading.Thread(target=cleanup_loop, daemon=True).start()
|
||||||
|
srv = ThreadingHTTPServer((HOST, PORT), Handler)
|
||||||
|
print(f"hermes слушает {HOST}:{PORT}", flush=True)
|
||||||
|
add_event("hermes", "start", "low", "Hermes запущен", f"порт {PORT}",
|
||||||
|
dedup_key=f"hermes-start:{int(now())//600}")
|
||||||
|
srv.serve_forever()
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -0,0 +1,13 @@
|
|||||||
|
# Hermes: конфигурация шины событий
|
||||||
|
notify_url: "http://127.0.0.1:9120/notify"
|
||||||
|
dedup_seconds: 900
|
||||||
|
retention_days: 30
|
||||||
|
# Тихие часы: события ниже critical не будят
|
||||||
|
quiet_hours:
|
||||||
|
- ["23:30", "07:30"]
|
||||||
|
|
||||||
|
# Что перекладываем на Hermes в первую очередь:
|
||||||
|
# - приём алертов Alertmanager (дедуп, тихие часы, доставка через хаб)
|
||||||
|
# - контроль свежести бэкапов (heartbeat в Kuma)
|
||||||
|
# - проверка обновлений образов (отчёт + возможное применение по подтверждению)
|
||||||
|
# - проверка дискового тренда
|
||||||
@@ -0,0 +1,25 @@
|
|||||||
|
# Задания Hermes. Владелец каждого — шина; расписание в одном месте.
|
||||||
|
backup-heartbeat:
|
||||||
|
command: "/usr/local/bin/backup-heartbeat.sh"
|
||||||
|
every_seconds: 1800
|
||||||
|
timeout: 120
|
||||||
|
retries: 1
|
||||||
|
|
||||||
|
updates-check:
|
||||||
|
command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py"
|
||||||
|
every_seconds: 21600
|
||||||
|
timeout: 900
|
||||||
|
retries: 1
|
||||||
|
|
||||||
|
disk-trend:
|
||||||
|
command: "df -h / /mnt/media /mnt/archive | tail -3"
|
||||||
|
every_seconds: 3600
|
||||||
|
notify_on_success: false
|
||||||
|
timeout: 30
|
||||||
|
retries: 0
|
||||||
|
|
||||||
|
verify-services:
|
||||||
|
command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\""
|
||||||
|
every_seconds: 3600
|
||||||
|
timeout: 60
|
||||||
|
retries: 1
|
||||||
@@ -211,6 +211,7 @@ services:
|
|||||||
critical: false
|
critical: false
|
||||||
backup: snapshot
|
backup: snapshot
|
||||||
container: tautulli
|
container: tautulli
|
||||||
|
decommissioned: true
|
||||||
navidrome:
|
navidrome:
|
||||||
ct_id: 125
|
ct_id: 125
|
||||||
compose_path: /opt/navidrome
|
compose_path: /opt/navidrome
|
||||||
@@ -452,7 +453,6 @@ services:
|
|||||||
critical: true
|
critical: true
|
||||||
backup: snapshot
|
backup: snapshot
|
||||||
container: matrix-coturn
|
container: matrix-coturn
|
||||||
|
|
||||||
kavita:
|
kavita:
|
||||||
ct_id: 111
|
ct_id: 111
|
||||||
wait: 120
|
wait: 120
|
||||||
@@ -477,7 +477,6 @@ services:
|
|||||||
healthcheck:
|
healthcheck:
|
||||||
url: http://192.168.1.110:8081/
|
url: http://192.168.1.110:8081/
|
||||||
container: monica
|
container: monica
|
||||||
|
|
||||||
docmost:
|
docmost:
|
||||||
ct_id: 103
|
ct_id: 103
|
||||||
wait: 120
|
wait: 120
|
||||||
|
|||||||
Reference in new issue
Block a user