[P0][HERMES] fail2ban, SSH без пароля, Hermes (шина+планировщик), реестр автоматизаций, чистка Plex/Tautulli

This commit is contained in:
buryan-agent committed 2026-10-28 10:51:43 +03:00
1 parent 1987573484
commit 82f65c5671
9 files changed
+1124 -2

No files matched your search

+122
View File
@@ -0,0 +1,122 @@
# Индекс документации Buryan Hub
Сгенерировано автоматически, файлов: 116
| Документ | О чём |
|---|---|
| [AGE-KEY-AND-RESTORE.md](docs/AGE-KEY-AND-RESTORE.md) | Ключ шифрования копий (age) и восстановление |
| [ALERTS-WORKING.md](docs/ALERTS-WORKING.md) | Тревоги: почему их не было и как включены |
| [ARCHITECTURE.md](docs/ARCHITECTURE.md) | 🏗️ Архитектура Buryan Hub |
| [AUDIT-2026-10-14-STATUS.md](docs/AUDIT-2026-10-14-STATUS.md) | АУДИТ 2026-10-14 — СТАТУС НА 2026-10-17 |
| [AUDIT-2026-10-17.md](docs/AUDIT-2026-10-17.md) | ПОЛНЫЙ АУДИТ ХОЗЯЙСТВА |
| [AUDIT-FULL-2026-10-19.md](docs/AUDIT-FULL-2026-10-19.md) | Полный аудит Buryans Hub — 19.10.2026 |
| [AUTHENTIK-2026-5.md](docs/AUTHENTIK-2026-5.md) | Authentik: 2025.4 → 2026.5.7, и почему 2026.8 упирается |
| [AUTHENTIK-2026-8-DONE.md](docs/AUTHENTIK-2026-8-DONE.md) | Authentik 2026.8.4: обновление завершено |
| [AUTHENTIK-UPGRADED.md](docs/AUTHENTIK-UPGRADED.md) | Authentik обновлён: 2025.4 → 2025.12.6 |
| [AUTHENTIK-WINDOW-2026-10-17.md](docs/AUTHENTIK-WINDOW-2026-10-17.md) | Окно обновления Authentik 17.10.2026: что выяснено |
| [AUTOMATION-2026-10-17.md](docs/AUTOMATION-2026-10-17.md) | Автоматика: профиль безопасности, уборка, проверка входа |
| [BACKUP-STATE-2026-10-18.md](docs/BACKUP-STATE-2026-10-18.md) | Резервные копии: проверено, работает (задача 4.4.2) |
| [BACKUPS-STATUS.md](docs/BACKUPS-STATUS.md) | Бэкапы: что есть и что проверено |
| [BOOK-BOT.md](docs/BOOK-BOT.md) | Книжный бот в Matrix (18.10.2026) |
| [BOOK-FINDER.md](docs/BOOK-FINDER.md) | Поиск книг, которых нет в библиотеке (18.10.2026) |
| [BOOKS-LIBRARY.md](docs/BOOKS-LIBRARY.md) | Онлайн-библиотека книг (18.10.2026) |
| [BOOKS-TELEGRAM.md](docs/BOOKS-TELEGRAM.md) | Загрузка книг из Telegram (18.10.2026) |
| [BOTS-PERSONAL.md](docs/BOTS-PERSONAL.md) | Личные боты: режим проверки |
| [BOTS-ROLES.md](docs/BOTS-ROLES.md) | Зоны ответственности ботов и доступ |
| [BOTS.md](docs/BOTS.md) | Реестр Telegram-ботов |
| [CALIBRE-SINGLE-LOGIN.md](docs/CALIBRE-SINGLE-LOGIN.md) | Calibre: убран второй вход (18.10.2026) |
| [CALL-FIX-2026-10-18.md](docs/CALL-FIX-2026-10-18.md) | Звонки: почему соединялось не с первого раза и не шёл контент |
| [CENTRAL-AUTH.md](docs/CENTRAL-AUTH.md) | Централизация входа: Jellyfin, Vaultwarden, Plex, Overseerr |
| [COMMANDS.md](docs/COMMANDS.md) | Справочник команд |
| [CT111-IP-CHANGED.md](docs/CT111-IP-CHANGED.md) | CT 111: адрес сменён, интернет заработал |
| [CT111-NO-INTERNET.md](docs/CT111-NO-INTERNET.md) | CT 111: нет выхода в интернет (найдено 17.10.2026) |
| [DASHY-START-PAGE.md](docs/DASHY-START-PAGE.md) | Dashy: стартовая страница со всеми службами (задача 5.8) |
| [DATA-API.md](docs/DATA-API.md) | API данных: боты пишут в папку проекта |
| [DATABASE-STANDARD.md](docs/DATABASE-STANDARD.md) | Стандарт баз данных |
| [DATABASES-SHARED.md](docs/DATABASES-SHARED.md) | Общие базы: состояние и план (18.10.2026) |
| [DISKS-ARR-2026-10-18.md](docs/DISKS-ARR-2026-10-18.md) | Место в медиаслужбах: было 80%, стало 70% |
| [DOMAINS-AUDIT-2026-10-17.md](docs/DOMAINS-AUDIT-2026-10-17.md) | Все домашние домены: проверка (задача 2.4) |
| [ELEMENT-CALL-DONE.md](docs/ELEMENT-CALL-DONE.md) | Element Call: звонки подняты на VPS |
| [ELEMENT-CALL-ON-VPS.md](docs/ELEMENT-CALL-ON-VPS.md) | Element Call на VPS: оценка выполнимости |
| [FINAL-REPORT.md](docs/FINAL-REPORT.md) | Buryan Hub: итог спринта |
| [FINDINGS-2026-10-17.md](docs/FINDINGS-2026-10-17.md) | Находки 17.10.2026 (второй проход) |
| [FIX-500-LOGIN.md](docs/FIX-500-LOGIN.md) | Почему был 500 на всех сервисах с единым входом (18.10.2026) |
| [FIX-500-ROOT-CAUSE.md](docs/FIX-500-ROOT-CAUSE.md) | Настоящая причина 500 на новых сервисах (19.10.2026) |
| [FIX-INTERNAL-URLS.md](docs/FIX-INTERNAL-URLS.md) | Почему после входа открывалась «картинка» вместо сервиса |
| [FIXES-2026-10-18-EVENING.md](docs/FIXES-2026-10-18-EVENING.md) | Исправления вечера 18.10.2026 |
| [HOME-ASSISTANT-SSO-DONE.md](docs/HOME-ASSISTANT-SSO-DONE.md) | Home Assistant: вход через Authentik — сделано |
| [HOME-ASSISTANT-SSO-STATUS.md](docs/HOME-ASSISTANT-SSO-STATUS.md) | Home Assistant: почему вход через Authentik не заработал и что сделано |
| [HOME-SERVICES-INTEGRATION.md](docs/HOME-SERVICES-INTEGRATION.md) | Интеграция домашних сервисов: Nextcloud и Home Assistant (18.10.2026) |
| [HUB-BOTS.md](docs/HUB-BOTS.md) | Buryan Hub: флот ботов и контентная платформа |
| [HUB-CORE-PROJECT.md](docs/HUB-CORE-PROJECT.md) | Buryan Hub Core: один механизм вместо 35 сервисов |
| [INCIDENTS.md](docs/INCIDENTS.md) | 🚨 Трекер инцидентов |
| [INDEXERS-ROOTCAUSE.md](docs/INDEXERS-ROOTCAUSE.md) | Индексаторы: точная причина и обход |
| [INFRASTRUCTURE-MAP.md](docs/INFRASTRUCTURE-MAP.md) | Карта хозяйства |
| [INTEGRATIONS-2026-10-19.md](docs/INTEGRATIONS-2026-10-19.md) | Seerr и карта интеграций (19.10.2026) |
| [LIBRARY-CATALOG-SERVICE.md](docs/LIBRARY-CATALOG-SERVICE.md) | Каталог книг: сервис и статистика (18.10.2026) |
| [LOGIN-SPEED-CACHE.md](docs/LOGIN-SPEED-CACHE.md) | Скорость входа: кэш на VPS (задача 2.1) |
| [MATRIX-TELEGRAM-BRIDGE.md](docs/MATRIX-TELEGRAM-BRIDGE.md) | Telegram-мост: почему в чате было грязно и что с этим делать |
| [MATRIX-UPLOAD-HANG.md](docs/MATRIX-UPLOAD-HANG.md) | Matrix: зависание при отправке контента (18.10.2026) |
| [MEDIA-CHAIN.md](docs/MEDIA-CHAIN.md) | Медиа-цепочка: что собрано |
| [NIGHT-AUDIT.md](docs/NIGHT-AUDIT.md) | Аудит перед ночным спринтом |
| [NIGHT-JOURNAL.md](docs/NIGHT-JOURNAL.md) | Журнал ночного спринта |
| [NIGHT-REPORT.md](docs/NIGHT-REPORT.md) | Отчёт о ночном спринте |
| [NIGHT-SPRINT-PLAN.md](docs/NIGHT-SPRINT-PLAN.md) | Ночной спринт: централизация баз — план и правила |
| [OPENCLAW-ONE-INSTANCE.md](docs/OPENCLAW-ONE-INSTANCE.md) | openclaw: один экземпляр, версия закреплена |
| [PAPERLESS-CLEANUP.md](docs/PAPERLESS-CLEANUP.md) | Уборка после сведения Paperless к одному (18.10.2026) |
| [PAPERLESS-ONE-INSTANCE.md](docs/PAPERLESS-ONE-INSTANCE.md) | Paperless: два экземпляра сведены к одному (задача 5.3) |
| [PLAN.md](docs/PLAN.md) | ПЛАН РАЗВИТИЯ BURYAN-HUB |
| [PORTS.md](docs/PORTS.md) | Карта портов и сетевых точек buryan-hub |
| [README.md](docs/README.md) | buryan-hub — описание хозяйства |
| [RETIRED-SERVICES.md](docs/RETIRED-SERVICES.md) | Убраны две неиспользуемые службы (18.10.2026) |
| [RUNBOOK.md](docs/RUNBOOK.md) | Buryan Hub: дежурная книга |
| [SECRETS-ROTATION-PLAN.md](docs/SECRETS-ROTATION-PLAN.md) | План ротации секретов |
| [SERVICES-CHECKLIST.md](docs/SERVICES-CHECKLIST.md) | Полный список сервисов: домен, вход, перенаправление |
| [SERVICES-REVIEW.md](docs/SERVICES-REVIEW.md) | ПОЛНЫЙ РАЗБОР ВСЕХ СЕРВИСОВ |
| [SERVICES-TABLE.md](docs/SERVICES-TABLE.md) | Сводная таблица сервисов (19.10.2026) |
| [SERVICES.md](docs/SERVICES.md) | 📋 Реестр сервисов |
| [SPRINT-2-REVIEW.md](docs/SPRINT-2-REVIEW.md) | 🎯 Sprint 2 Review: Telegram-алертинг через DPI |
| [SPRINT-2026-10-18-NIGHT.md](docs/SPRINT-2026-10-18-NIGHT.md) | Ночной спринт 18.10.2026: что сделано и что найдено |
| [SPRINT-2026-10-19-SSO-2.md](docs/SPRINT-2026-10-19-SSO-2.md) | Двойной вход: разбор и исправление (вечер 19.10.2026, второй заход) |
| [SPRINT-2026-10-19-SSO-3.md](docs/SPRINT-2026-10-19-SSO-3.md) | Единый вход: третий заход — родной SSO служб (19.10.2026, вечер) |
| [SPRINT-2026-10-19-SSO.md](docs/SPRINT-2026-10-19-SSO.md) | Единый вход: спринт 19.10.2026 (вечер) |
| [SPRINT-3-PLAN.md](docs/SPRINT-3-PLAN.md) | 🎯 Sprint 3 Plan: Умные алерты |
| [SPRINT-STATUS.md](docs/SPRINT-STATUS.md) | Статус спринта (19–20.10.2026) |
| [SPRINTS-BACKLOG.md](docs/SPRINTS-BACKLOG.md) | Задания по спринтам (составлено 19.10.2026) |
| [SSO-ALL-DOMAINS.md](docs/SSO-ALL-DOMAINS.md) | Единый вход на ВСЕ домены (18.10.2026) |
| [SSO-AUDIT-2026-10-18.md](docs/SSO-AUDIT-2026-10-18.md) | Единый вход: почему снаружи его нет (задача 4.1.1) |
| [SSO-CENTRALIZED.md](docs/SSO-CENTRALIZED.md) | Централизованный вход: сделано (задача 4.1.1 / 4.1.3) |
| [SSO-STATE-2026-10-19.md](docs/SSO-STATE-2026-10-19.md) | Единый вход: итоговое состояние (19.10.2026, вечер) |
| [SSO-USERS.md](docs/SSO-USERS.md) | Общие пользователи во всех службах |
| [STRATEGY.md](docs/STRATEGY.md) | СТРАТЕГИЯ РАЗВИТИЯ BURYAN-HUB |
| [TASKS-REMAINING.md](docs/TASKS-REMAINING.md) | Что осталось: полный список (23.10, 19:55) |
| [TASKS.md](docs/TASKS.md) | РЕЕСТР ЗАДАЧ |
| [UPDATE-2026-10-17-SECTION1.md](docs/UPDATE-2026-10-17-SECTION1.md) | Раздел 1: что сделано 17.10.2026 (второй проход) |
| [UPDATE-MANAGER-COVERAGE.md](docs/UPDATE-MANAGER-COVERAGE.md) | Обновления: почему «не работало на многие сервисы» |
| [UPDATE-SPRINT-2026-10-17.md](docs/UPDATE-SPRINT-2026-10-17.md) | Спринт 17.10.2026: обновления и наблюдение |
| [VPN-4-7-FAILOVER-TEST.md](docs/VPN-4-7-FAILOVER-TEST.md) | Проверка автопереключения каналов на шлюзе (VPN-4.7) |
| [VPN-APP-CONFLICTS.md](docs/VPN-APP-CONFLICTS.md) | Почему часть приложений не работает при VPN и как это исправить |
| [VPN-FOR-FAMILY.md](docs/VPN-FOR-FAMILY.md) | VPN — подключение телефона |
| [VPN-SPLIT-ROUTING.md](docs/VPN-SPLIT-ROUTING.md) | Раздельная маршрутизация: туннель несёт только нужное |
| [VPN-STAGE2.md](docs/VPN-STAGE2.md) | VPN Этап 2: три канала, переключение автоматическое |
| [VPN-STAGE3.md](docs/VPN-STAGE3.md) | VPN Этап 3: шлюз в доме — домашнее открывается напрямую |
| [VPS-ROLE.md](docs/VPS-ROLE.md) | Роль VPS: определена (задача 2.6) |
| [ADR-001-local-npm.md](docs/adr/ADR-001-local-npm.md) | ADR-001: Локальный NPM вместо прямого VPS |
| [ADR-002-tailscale-tun.md](docs/adr/ADR-002-tailscale-tun.md) | ADR-002: TUN device для Tailscale в LXC |
| [ADR-003-openclaw-config.md](docs/adr/ADR-003-openclaw-config.md) | ADR-003: OpenClaw gateway.mode |
| [ADR-004-authentik-proxy.md](docs/adr/ADR-004-authentik-proxy.md) | ADR-004: Authentik Outpost с прокси-портами |
| [ADR-005-tailscale-exit-node.md](docs/adr/ADR-005-tailscale-exit-node.md) | ADR-005: Обход DPI через Tailscale exit node + outbound HTTP proxy |
| [TEMPLATE.md](docs/adr/TEMPLATE.md) | ADR-NNN: [Название решения] |
| [backlog-matrix.md](docs/backlog-matrix.md) | Matrix backlog |
| [dr-plan.md](docs/dr-plan.md) | Disaster Recovery Plan — Matrix / buryan-hub |
| [INSTALL-ADMIN.md](docs/library/INSTALL-ADMIN.md) | Библиотека: как всё устроено и как проверить |
| [INSTRUCTION-POLINA.md](docs/library/INSTRUCTION-POLINA.md) | 📚 Твоя библиотека |
| [book-finder-report.md](docs/library/book-finder-report.md) | Поиск книг, которых нет в библиотеке |
| [matrix-sprint-runbook.md](docs/matrix-sprint-runbook.md) | Matrix Sprint Runbook |
| [FINISH-LINE.md](docs/plan/FINISH-LINE.md) | Финишная подготовка Buryan Hub перед локальной LLM (28.10.2026) |
| [PLAN-V3-RECONCILE.md](docs/plan/PLAN-V3-RECONCILE.md) | Сверка плана V3 с фактами (23.10, 22:10) |
| [SPRINTS-NEXT.md](docs/plan/SPRINTS-NEXT.md) | Следующие спринты (план от 23.10) |
| [runbook.md](docs/runbook.md) | 📖 Операционный Runbook |
| [self-healing-architecture.md](docs/self-healing-architecture.md) | Self-Healing Infrastructure (Layered) |
| [troubleshooting.md](docs/troubleshooting.md) | 🔧 Troubleshooting |
| [vpn-clients.md](docs/vpn-clients.md) | Подключение к VPN — рабочий способ |
+39
View File
@@ -0,0 +1,39 @@
# P0–P1: что сделано 28.10
## Безопасность (P0)
| Что | Было | Стало |
|---|---|---|
| fail2ban | не работал | установлен, тюрьма `sshd`, бан 1 ч после 4 попыток, LAN в белом списке |
| SSH root | `PermitRootLogin yes` | **`prohibit-password`** (только ключ), `MaxAuthTries 4`, `LoginGraceTime 30` |
| 2FA | стадия TOTP есть, не привязана | **требуется enrolment владельца** (шаг за вами) |
| Vaultwarden | пустая база (300 КБ) | **развернут, ждёт наполнения** (шаг за вами) |
## Надёжность (P1)
| Что | Было | Стало |
|---|---|---|
| Immich ML | `Exited` 6 дней | запущен, health-check |
| Бэкап Immich | раз в неделю | **ежедневно** (из исключений убран 104) |
| Loki retention | не задан | **30 дней** + compactor |
| Проверка обновлений | «проверено: 0» | переписана: **132 образа, 87 обновлений**, событие в Hermes |
| Внешний мониторинг | нет | отложено (blackbox на VPS) |
## Порядок (P2)
| Что | Результат |
|---|---|
| Реестр автоматизаций | `ops/automations/registry.yaml` — **112 заданий** (cron, таймеры, Hermes) |
| Индекс документации | `docs/INDEX.md` — 116 документов |
| Plex (CT116) | остановлен, автозапуск снят |
| Tautulli (CT122) | остановлен, выведен из реестра и Kuma |
| Каталог сервисов | перегенерирован из факта: **74 сервиса без sidecar-агентов** (всего контейнеров 161) |
## Уроки
1. `yaml.safe_dump` ломает ожидаемый формат парсера хаба — правки реестра
делать построчно или генератором с проверкой `grep -c '^ - key:'`.
2. Alertmanager и Prometheus правятся только через YAML-парсер: строковые
замены молча не применяются (несовпадение отступов).
3. Служебные контейнеры (агенты, экспортёры, прокси) надо исключать из
«сервисов», иначе статус раздувается со 125 до 161.
+390
View File
@@ -0,0 +1,390 @@
generated: '2026-10-28'
total: 112
automations:
- schedule: '* * * * *'
command: /opt/buryan-hub/scripts/swarm-watchdog.sh >> /var/log/swarm-watchdog.log
2>&1
source: crontab
- schedule: '*/5 * * * *'
command: python3 /opt/buryan-hub/scripts/direct-health-check.py >> /var/log/direct-health-check.log
2>&1
source: crontab
- schedule: 0 2 * * *
command: /opt/buryan-hub/scripts/pg-backup-ct151.sh >> /var/log/buryan-hub/backups/cron-pg.log
2>&1
source: crontab
- schedule: 0 3 * * *
command: /root/matrix-backups/backup-matrix.sh >> /var/log/buryan-hub/backups/cron-matrix.log
2>&1
source: crontab
- schedule: 30 3 * * *
command: /root/buryan-infra/ops/backup.sh >> /root/buryan-infra/ops/backups/backup.log
2>&1
source: crontab
- schedule: 0 4 * * *
command: /opt/buryan-hub/scripts/offsite-backup.sh >> /var/log/buryan-hub/backups/cron-offsite.log
2>&1
source: crontab
- schedule: 0 5 * * 0
command: /root/weekly-backup-cleanup.sh >> /var/log/buryan-hub/backups/cron-cleanup.log
2>&1
source: crontab
- schedule: 30 6 * * *
command: /opt/buryan-hub/scripts/vzdump-rotate.sh >> /var/log/buryan-hub/backups/cron-vzdump-rotate.log
2>&1
source: crontab
- schedule: 0 9 * * *
command: /root/buryan-infra/ops/audit.sh >> /root/buryan-infra/ops/audit/audit-cron.log
2>&1
source: crontab
- schedule: 0 20 * * 0
command: /root/buryan-infra/ops/weekly-report.sh >> /root/buryan-infra/ops/audit/weekly-report.log
2>&1
source: crontab
- schedule: 0 */6 * * *
command: /root/buryan-infra/ops/scripts/version-watch.sh >> /root/buryan-infra/ops/audit/version-watch.log
2>&1
source: crontab
- schedule: '* * * * *'
command: /root/buryan-infra/ops/update-manager/update-runner.sh >/dev/null 2>&1
source: crontab
- schedule: 5 3 * * *
command: /root/buryan-infra/ops/update-manager/nightly-report.sh >> /root/buryan-infra/ops/update-manager/runner.log
2>&1
source: crontab
- schedule: 0 6 * * 0
command: /opt/buryan-hub/scripts/verify-backups.sh >> /var/log/buryan-hub/backups/cron-verify.log
2>&1
source: crontab
- schedule: '*/5 * * * *'
command: /opt/buryan-hub/scripts/check-services.sh >/dev/null 2>&1
source: crontab
- schedule: 30 1 * * *
command: /opt/buryan-hub/scripts/photos-backup.sh >/dev/null 2>&1
source: crontab
- schedule: 0 4 * * 0
command: /root/buryan-infra/ops/vpn/vpn-backup-config.sh >> /var/log/buryan-hub/vpn-backup.log
2>&1
source: crontab
- schedule: 0 6 1 * *
command: /opt/buryan-hub/scripts/restore-test.sh >> /var/log/buryan-hub/backups/cron-restore-test.log
2>&1
source: crontab
- schedule: 45 3 * * *
command: /usr/local/bin/backup-configs >> /var/log/backup-configs.log 2>&1
source: backup-configs
- schedule: 0 4 * * 0
command: /opt/buryan-hub/scripts/cleanup-leftovers.sh >> /var/log/buryan-hub/cleanup-leftovers.log
2>&1
source: buryan-cleanup
- schedule: 0 6 * * *
command: for id in $(pct list | tail -n +2 | awk '{print $1}'); do pct exec $id
-- bash -s < /opt/buryan-hub/scripts/fix-logs.sh >/dev/null 2>&1; done
source: buryan-log-hygiene
- schedule: '*/5 * * * *'
command: . /root/.buryan-monitor.env && /usr/bin/python3 /opt/buryan-hub/scripts/check_thin_pool.py
>> /var/log/thin-pool-monitor.log 2>&1
source: buryan-monitor
- schedule: 0 4 * * *
command: . /root/.buryan-monitor.env && /usr/bin/psql -h 192.168.1.151 -U buryan_monitor
-d buryan_monitoring -c 'SELECT cleanup_thin_pool_metrics();' >> /var/log/thin-p
source: buryan-monitor
- schedule: 0 * * * *
command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_disk.py
>> /var/log/buryan-monitor.log 2>&1
source: buryan-monitoring
- schedule: 30 8 * * *
command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_certs.py
>> /var/log/buryan-monitor.log 2>&1
source: buryan-monitoring
- schedule: '*/2 * * * *'
command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py >/dev/null
2>&1
source: buryan-service-metrics
- schedule: 30 3 * * 0
command: /opt/buryan-hub/scripts/trim-containers.sh
source: buryan-trim
- schedule: 15 6 * * *
command: /usr/local/bin/docker-config-check >> /var/log/docker-config-check.log
2>&1
source: docker-config-check
- schedule: 30 3 * * 0
command: test -e /run/systemd/system || SERVICE_MODE=1 /usr/libexec/e2fsprogs/e2scrub_all_cron
source: e2scrub_all
- schedule: 10 3 * * *
command: test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r
source: e2scrub_all
- schedule: 30 2 * * *
command: /usr/bin/bash /opt/hub-core/backup.sh >> /var/log/hub-backup.log 2>&1
source: hub-backup
- schedule: 45 2 * * *
command: /usr/bin/bash /opt/hub-core/backup_bots.sh >> /var/log/hub-backup.log 2>&1
source: hub-backup-bots
- schedule: 5 3 * * *
command: /bin/bash /opt/hub-core/bots_verify.sh >> /var/log/hub-bots-verify.log
2>&1
source: hub-bots-verify
- schedule: 30 4 * * 0
command: /usr/bin/python3 /opt/hub-core/camera_discover.py >> /var/log/hub-cam-scan.log
2>&1
source: hub-cam-scan
- schedule: 15 4 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/library_sync.py
>> /var/log/hub-catalog.log 2>&1
source: hub-catalog
- schedule: '*/10 * * * *'
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/connectors.py
>> /var/log/hub-connectors.log 2>&1
source: hub-connectors
- schedule: '*/30 * * * *'
command: /opt/music-tools/venv/bin/python /opt/hub-core/device_ident.py >> /var/log/hub-devices.log
2>&1
source: hub-devices
- schedule: 0 9 * * *
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 digest.py
>> /var/log/hub-digest.log 2>&1
source: hub-digest
- schedule: 30 8 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/events_digest.py
>> /var/log/hub-digest.log 2>&1
source: hub-events-digest
- schedule: 0 23 * * *
command: /usr/bin/bash /opt/hub-core/export_all.sh >> /var/log/hub-export.log 2>&1
source: hub-export
- schedule: 45 4 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/content_graph.py
>> /var/log/hub-graph.log 2>&1
source: hub-graph
- schedule: 30 23 * * *
command: /usr/bin/curl -s --max-time 20 http://127.0.0.1:9120/snapshot > /var/log/hub-graph-history.log
2>&1
source: hub-graph-history
- schedule: 0 8 * * 1
command: /bin/bash -c 'set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3
/opt/hub-core/identity_audit.py' >> /var/log/hub-identity.log 2>&1
source: hub-identity
- schedule: 15 */3 * * *
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 reindex.py
>> /var/log/hub-index.log 2>&1
source: hub-index
- schedule: 30 7 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/inventory.py
>> /var/log/hub-inventory.log 2>&1
source: hub-inventory
- schedule: 45 3 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/linker.py
>> /var/log/hub-linker.log 2>&1
source: hub-linker
- schedule: 0 5 * * 0
command: /bin/bash /opt/hub-core/lxc_verify.sh >> /var/log/hub-lxc-verify.log 2>&1
source: hub-lxc-verify
- schedule: 20 3 * * *
command: /bin/bash /opt/hub-core/matrix_verify.sh >> /var/log/hub-matrix-backup.log
2>&1
source: hub-matrix-backup
- schedule: '*/30 * * * *'
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/media_hub.py
>> /var/log/hub-media.log 2>&1
source: hub-media
- schedule: 0 9 * * 1
command: set -a; . /etc/hub-core/connectors.env; . /etc/hub-bots/bots.env; . /etc/hub-bots/dm.env;
set +a; NOTIFY_TOKEN="$MEDIA_TOKEN" NOTIFY_ROOM="$MEDIA" /usr/bin/pyth
source: hub-media-digest
- schedule: 0 6 * * 0
command: /bin/bash /opt/hub-core/offsite_verify.sh >> /var/log/hub-offsite-verify.log
2>&1
source: hub-offsite-verify
- schedule: 40 2 * * *
command: /bin/bash /opt/hub-core/pg_verify_cron.sh >> /var/log/hub-pg-verify.log
2>&1
source: hub-pg-verify
- schedule: 30 3 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/reconcile.py
>> /var/log/hub-reconcile.log 2>&1
source: hub-reconcile
- schedule: 0 19 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/resume.py
>> /var/log/hub-resume.log 2>&1
source: hub-resume
- schedule: '*/15 * * * *'
command: set -a; . /etc/hub-core/telegram.env; set +a; [ -n "$TG_API_ID" ] && /usr/bin/python3
/opt/hub-core/telegram_userbot.py >> /var/log/hub-telegram.log 2>&1
source: hub-telegram
- schedule: 30 9 * * 1
command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 weekly.py
>> /var/log/hub-weekly.log 2>&1
source: hub-weekly
- schedule: 0 20 * * 0
command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/weekly.py
>> /var/log/hub-weekly-core.log 2>&1
source: hub-weekly-core
- schedule: 30 5 * * *
command: set -a; . /etc/hub-core/connectors.env; set +a; /opt/music-tools/venv/bin/python
/opt/hub-core/sync_users.py 3 >> /var/log/hub-yandex-sync.log 2>&1
source: hub-yandex-music
- schedule: 0 1 * * *
command: /usr/local/bin/lxc-backup.sh 108 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 30 1 * * *
command: /usr/local/bin/lxc-backup.sh 140 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 2 * * *
command: /usr/local/bin/lxc-backup.sh 155 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 30 2 * * *
command: /usr/local/bin/lxc-backup.sh 115 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 3 */2 * *
command: /usr/local/bin/lxc-backup.sh 110 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 30 3 */2 * *
command: /usr/local/bin/lxc-backup.sh 114 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 4 */2 * *
command: /usr/local/bin/lxc-backup.sh 109 daily >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 4 * * 0
command: /usr/local/bin/lxc-backup.sh 105 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 30 4 * * 0
command: /usr/local/bin/lxc-backup.sh 113 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 5 * * 0
command: /usr/local/bin/lxc-backup.sh 139 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 30 5 * * 0
command: /usr/local/bin/lxc-backup.sh 201 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 0 5 * * 0
command: /usr/local/bin/lxc-backup.sh 104 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: 15 5 * * 0
command: /usr/local/bin/lxc-backup.sh 111 weekly >> /var/log/lxc-backup.log 2>&1
source: lxc-backups
- schedule: '*/5 * * * *'
command: /opt/music-tools/venv/bin/python /opt/hub-core/mesh_watch.py >> /var/log/mesh-watch.log
2>&1
source: mesh-watch
- schedule: 30 3 * * *
command: /usr/local/bin/backup-n8n >> /var/log/n8n-backup.log 2>&1
source: n8n-backup
- schedule: 24 0 1-7 * *
command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim;
fi
source: zfsutils-linux
- schedule: 24 0 8-14 * *
command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub;
fi
source: zfsutils-linux
- schedule: systemd 4min
command: systemd unit hub-mesh.timer
source: systemd
- schedule: systemd 4min
command: systemd unit hub-inbox.timer
source: systemd
- schedule: systemd 5min
command: systemd unit hub-tg-ingest.timer
source: systemd
- schedule: systemd 5min
command: systemd unit hub-selfheal.timer
source: systemd
- schedule: systemd 14min
command: systemd unit hub-agents.timer
source: systemd
- schedule: systemd 14min
command: systemd unit hub-brain.timer
source: systemd
- schedule: systemd 14min
command: systemd unit hub-storage-metrics.timer
source: systemd
- schedule: systemd 1h
command: systemd unit hub-chief.timer
source: systemd
- schedule: systemd 1h
command: systemd unit hub-digest.timer
source: systemd
- schedule: systemd 14h
command: systemd unit hub-pre-prune.timer
source: systemd
- schedule: systemd 16h
command: systemd unit hub-db-dumps.timer
source: systemd
- schedule: systemd 16h
command: systemd unit hub-renovate.timer
source: systemd
- schedule: systemd 17h
command: systemd unit hub-archive-copy.timer
source: systemd
- schedule: systemd 17h
command: systemd unit hub-cert-sync.timer
source: systemd
- schedule: systemd 17h
command: systemd unit hub-vps-backup.timer
source: systemd
- schedule: systemd 17h
command: systemd unit hub-actions.timer
source: systemd
- schedule: systemd 17h
command: systemd unit hub-dl-cleanup.timer
source: systemd
- schedule: systemd 18h
command: systemd unit hub-jf-collections.timer
source: systemd
- schedule: systemd 18h
command: systemd unit hub-updates.timer
source: systemd
- schedule: systemd 19h
command: systemd unit hub-search-index.timer
source: systemd
- schedule: systemd 21h
command: systemd unit hub-nightly-check.timer
source: systemd
- schedule: systemd 21h
command: systemd unit hub-goals.timer
source: systemd
- schedule: systemd 22h
command: systemd unit hub-snap-clean.timer
source: systemd
- schedule: systemd 22h
command: systemd unit hub-snapshot.timer
source: systemd
- schedule: systemd 22h
command: systemd unit hub-finance.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-rag.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-ct-cleanup.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-drill.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-second-contour.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-integrity.timer
source: systemd
- schedule: systemd 3
command: systemd unit hub-weekly.timer
source: systemd
- schedule: systemd 4
command: systemd unit hub-media-maint.timer
source: systemd
- schedule: systemd 5
command: systemd unit hub-restore-drill.timer
source: systemd
- schedule: каждые 1800с
command: /usr/local/bin/backup-heartbeat.sh
source: hermes/backup-heartbeat
- schedule: каждые 21600с
command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py
source: hermes/updates-check
- schedule: каждые 3600с
command: df -h / /mnt/media /mnt/archive | tail -3
source: hermes/disk-trend
- schedule: каждые 3600с
command: 'curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python
-c "import json,sys; d=json.load(sys.stdin); bad=[s[''name''] for s in '
source: hermes/verify-services
+47
View File
@@ -0,0 +1,47 @@
# Hermes — шина событий, планировщик и агентский слой
Запущен 28.10.2026, порт **9130**, systemd-юнит `hermes.service`,
код `/opt/hermes/`, состояние в SQLite `hermes.db`.
## Что уже забрал на себя
| Функция | Было | Стало |
|---|---|---|
| Приём алертов Prometheus | Alertmanager слал сразу в Matrix и вебхук | **Alertmanager → Hermes → хаб → Matrix**: дедуп 15 мин, тихие часы 23:30–07:30, приоритеты |
| Свежесть бэкапов | cron `buryan-backup-heartbeat` | задание Hermes `backup-heartbeat`, каждые 30 мин |
| Проверка обновлений | сломанный скрипт (только CT110, «проверено: 0») | задание `updates-check`, все LXC + хост: **132 образа, 87 обновлений** |
| Журнал событий | нигде | таблица `events`: источник, тип, важность, доставка, дедуп-ключ |
| Статус сервисов | ручной опрос | задание `verify-services` раз в час |
## API
```
POST /event {"source","type","severity","title","body","dedup_key"}
POST /alertmanager вебхук Alertmanager
GET /events?limit=50 журнал
GET /approvals ожидающие решения
GET /health живость + счётчики
GET /metrics Prometheus (hermes_events_total, hermes_job_fails…)
POST /jobs/<name>/run ручной запуск задания
```
## Задания (jobs.yaml)
| Имя | Расписание | Что делает |
|---|---|---|
| `backup-heartbeat` | 30 мин | пингует Kuma по свежести бэкапов |
| `updates-check` | 6 ч | ищет обновления образов, публикует событие |
| `disk-trend` | 1 ч | срез занятого места |
| `verify-services` | 1 ч | проверяет статус хаба |
## Куда развивать
1. **Ротация расписаний** — перенести `hub-*` cron в jobs.yaml, чтобы был один список.
2. **Обновления по подтверждению** — заявка `approvals` → применение с снапшотом и откатом.
3. **Агенты** — задачи «проверь X и предложи Y» с журналом решений.
4. **Голос** — после локальной LLM: событие → короткий ответ в Matrix/колонку.
## Метрики
`hermes_events_total`, `hermes_events_1h`, `hermes_events_undelivered`,
`hermes_quiet_active`, `hermes_job_runs{job,status}`, `hermes_job_fails{job}`.
+137
View File
@@ -0,0 +1,137 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""Проверка обновлений образов по всем контейнерам и хосту.
Почему переписано: прошлая версия смотрела только CT110 и отбрасывала образы,
у которых нет RepoDigests (локальные сборки и теги без pull), из-за чего
«проверено: 0». Теперь:
* обходим ВСЕ LXC и хост;
* локальный digest берём из `docker images --digests`;
* локальные сборки честно считаем «не сравнить»;
* считаем статистику по каждому источнику.
"""
import json
import re
import subprocess
import urllib.request
HOST = None
OUT = "/var/lib/hub-agents/updates.json"
def sh(cmd, timeout=90):
try:
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return (r.stdout or "").strip()
except Exception:
return ""
def list_cts():
out = sh("pct list | awk 'NR>1 && $2==\"running\"{print $1}'")
return [c.strip() for c in out.splitlines() if c.strip().isdigit()]
def images(ct):
base = f"pct exec {ct} -- " if ct else ""
out = sh(base + "docker images --digests --format '{{.Repository}}:{{.Tag}}|{{.Digest}}' 2>/dev/null")
res = {}
for line in out.splitlines():
if "|" not in line:
continue
ref, digest = line.split("|", 1)
if "<none>" in ref:
continue
res[ref.strip()] = digest.strip()
return res
def remote_digest(image):
try:
name, tag = (image.rsplit(":", 1) + ["latest"])[:2]
if "/" not in name:
name = "library/" + name
host = "registry-1.docker.io"
repo = name
if repo.startswith("ghcr.io/"):
host, repo = "ghcr.io", repo[len("ghcr.io/"):]
elif repo.startswith("lscr.io/"):
host, repo = "lscr.io", repo[len("lscr.io/"):]
elif repo.startswith("quay.io/"):
host, repo = "quay.io", repo[len("quay.io/"):]
elif repo.startswith("docker.io/"):
repo = repo[len("docker.io/"):]
if host == "ghcr.io":
token_url = f"https://ghcr.io/token?scope=repository:{repo}:pull&service=ghcr.io"
elif host == "lscr.io":
token_url = f"https://lscr.io/token?scope=repository:{repo}:pull"
elif host == "quay.io":
token_url = f"https://quay.io/v2/auth?scope=repository:{repo}:pull&service=quay.io"
else:
token_url = (f"https://auth.docker.io/token?service=registry.docker.io"
f"&scope=repository:{repo}:pull")
with urllib.request.urlopen(token_url, timeout=12) as r:
data = json.loads(r.read())
tok = data.get("token") or data.get("access_token") or ""
req = urllib.request.Request(
f"https://{host}/v2/{repo}/manifests/{tag}",
headers={"Authorization": f"Bearer {tok}",
"Accept": "application/vnd.oci.image.index.v1+json,"
"application/vnd.docker.distribution.manifest.list.v2+json,"
"application/vnd.oci.image.manifest.v1+json,"
"application/vnd.docker.distribution.manifest.v2+json"})
with urllib.request.urlopen(req, timeout=15) as r:
return r.headers.get("Docker-Content-Digest", "")
except Exception:
return ""
def main():
checked = outdated = nolocal = unreachable = 0
rows = []
targets = [(None, "host")] + [(c, f"CT{c}") for c in list_cts()]
for ct, label in targets:
imgs = images(ct)
for ref, digest in imgs.items():
if ref.endswith(":<none>"):
continue
if not digest or not digest.startswith("sha256:"):
nolocal += 1
continue
remote = remote_digest(ref)
if not remote:
unreachable += 1
continue
checked += 1
if remote != digest:
outdated += 1
rows.append({"where": label, "image": ref, "local": digest[:19],
"remote": remote[:19]})
print(f"проверено: {checked} | обновлений: {outdated} | "
f"локальных сборок: {nolocal} | registry недоступен: {unreachable}")
for r in rows[:12]:
print(f" ↑ {r['image']} ({r['where']})")
if len(rows) > 12:
print(f" … и ещё {len(rows) - 12}")
json.dump(rows, open(OUT, "w"), ensure_ascii=False, indent=1)
if rows:
body = json.dumps({
"title": "Обновления образов",
"message": f"Доступно {len(rows)} обновлений: " + ", ".join(r["image"] for r in rows[:6]),
"priority": "low",
}).encode()
req = urllib.request.Request("http://127.0.0.1:9120/notify", data=body,
method="POST", headers={"Content-Type": "application/json"})
try:
urllib.request.urlopen(req, timeout=10).read()
print("уведомление отправлено")
except Exception as e:
print("notify:", e)
if __name__ == "__main__":
main()
+350
View File
@@ -0,0 +1,350 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""Hermes — шина событий, планировщик и агентский слой Buryan Hub.
Зачем: события (алерты, бэкапы, обновления, домашние) сейчас размазаны по
хуку, ботам и cron. Hermes собирает их в один журнал, устраняет дубли,
маршрутизирует в доставку через хаб (/notify) и запускает периодические
задания с ретраями и историей.
Что умеет:
POST /event — принять событие (source, type, severity, title, body)
POST /alertmanager — принять вебхук Alertmanager и превратить в события
GET /events — журнал (limit, severity)
GET /health — состояние
GET /metrics — метрики Prometheus
POST /jobs/<name>/run — ручной запуск задания
GET /approvals — список ожидающих решений
Задания описываются в jobs.yaml (интервал или время суток), ретраи и таймаут.
Доставка — через http://127.0.0.1:9120/notify (хаб знает про Matrix/Telegram).
"""
import json
import os
import re
import sqlite3
import subprocess
import threading
import time
import urllib.error
import urllib.request
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
BASE = "/opt/hermes"
DB = f"{BASE}/hermes.db"
JOBS = f"{BASE}/jobs.yaml"
CONF = f"{BASE}/hermes.yaml"
PORT = int(os.environ.get("HERMES_PORT", "9130"))
HOST = os.environ.get("HERMES_HOST", "0.0.0.0")
_lock = threading.Lock()
def conf():
try:
import yaml
return yaml.safe_load(open(CONF, encoding="utf-8")) or {}
except Exception:
return {}
CFG = conf()
NOTIFY_URL = CFG.get("notify_url", "http://127.0.0.1:9120/notify")
QUIET = CFG.get("quiet_hours", []) # [["23:00","08:00"]]
DEDUP_SEC = int(CFG.get("dedup_seconds", 900))
RETENTION_DAYS = int(CFG.get("retention_days", 30))
def db():
conn = sqlite3.connect(DB, timeout=10)
conn.row_factory = sqlite3.Row
return conn
def init():
os.makedirs(BASE, exist_ok=True)
with db() as c:
c.executescript("""
create table if not exists events(
id integer primary key autoincrement,
ts real not null, source text, type text, severity text,
title text, body text, dedup_key text, delivered integer default 0,
delivery text, payload text);
create index if not exists ev_ts on events(ts desc);
create index if not exists ev_dedup on events(dedup_key, ts desc);
create table if not exists jobs(
name text primary key, last_run real, last_status text,
last_ms integer, runs integer default 0, fails integer default 0);
create table if not exists approvals(
id integer primary key autoincrement, ts real, kind text,
title text, details text, status text default 'pending');
""")
def now():
return time.time()
def in_quiet(ts=None):
if not QUIET:
return False
t = time.localtime(ts or now())
cur = t.tm_hour * 60 + t.tm_min
for span in QUIET:
try:
a, b = span
h1, m1 = map(int, a.split(":"))
h2, m2 = map(int, b.split(":"))
start, end = h1 * 60 + m1, h2 * 60 + m2
if start <= end:
if start <= cur < end:
return True
else: # через полночь
if cur >= start or cur < end:
return True
except Exception:
continue
return False
def notify(title, message, priority="normal", dedup_key=None):
"""Доставка через хаб. Возвращает (delivered, note)."""
if in_quiet() and priority != "critical":
return 0, "quiet-hours"
data = json.dumps({"title": title, "message": message, "priority": priority}).encode()
req = urllib.request.Request(NOTIFY_URL, data=data, method="POST",
headers={"Content-Type": "application/json"})
try:
with urllib.request.urlopen(req, timeout=10) as r:
return 1, f"http:{r.status}"
except Exception as e:
return 0, f"error:{str(e)[:60]}"
def add_event(source, etype, severity, title, body="", dedup_key=None, payload=None):
"""Записать событие; при дубле в окне dedup — не доставлять повторно."""
key = dedup_key or f"{source}:{etype}:{title}"
with _lock, db() as c:
prev = c.execute(
"select id, delivered from events where dedup_key=? and ts>? order by ts desc limit 1",
(key, now() - DEDUP_SEC)).fetchone()
if prev and prev["delivered"]:
c.execute("insert into events(ts,source,type,severity,title,body,dedup_key,delivered,delivery,payload)"
" values(?,?,?,?,?,?,?,0,'dedup',?)",
(now(), source, etype, severity, title, body, key,
json.dumps(payload or {}, ensure_ascii=False)))
return False
cur = c.execute(
"insert into events(ts,source,type,severity,title,body,dedup_key,payload)"
" values(?,?,?,?,?,?,?,?)",
(now(), source, etype, severity, title, body, key,
json.dumps(payload or {}, ensure_ascii=False)))
eid = cur.lastrowid
prio = "critical" if severity in ("critical", "high") else "normal"
ok, note = notify(title, body or title, prio, key)
with db() as c:
c.execute("update events set delivered=?, delivery=? where id=?", (ok, note, eid))
return True
# ---------------- задания ----------------
def load_jobs():
try:
import yaml
return yaml.safe_load(open(JOBS, encoding="utf-8")) or {}
except Exception:
return {}
def run_job(name, job):
started = now()
cmd = job.get("command")
timeout = int(job.get("timeout", 600))
retries = int(job.get("retries", 0))
status, out = "ok", ""
for attempt in range(retries + 1):
try:
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
out = ((r.stdout or "") + (r.stderr or "")).strip()
status = "ok" if r.returncode == 0 else f"fail:{r.returncode}"
if status == "ok":
break
except subprocess.TimeoutExpired:
status, out = "timeout", f"таймаут {timeout}с"
except Exception as e:
status, out = "error", str(e)[:150]
time.sleep(2)
ms = int((now() - started) * 1000)
with db() as c:
c.execute("""insert into jobs(name,last_run,last_status,last_ms,runs,fails)
values(?,?,?,?,1,?)
on conflict(name) do update set
last_run=excluded.last_run, last_status=excluded.last_status,
last_ms=excluded.last_ms, runs=runs+1,
fails=fails+excluded.fails""",
(name, started, status, ms, 0 if status == "ok" else 1))
if status != "ok":
add_event("hermes", "job", "medium", f"Задание провалено: {name}", out[:800],
dedup_key=f"job:{name}:{status}")
elif job.get("notify_on_success"):
add_event("hermes", "job", "low", f"Задание выполнено: {name}", out[:400],
dedup_key=f"job-ok:{name}:{int(started)//3600}")
return status, out
def scheduler_loop():
while True:
try:
jobs = load_jobs()
t = time.localtime()
for name, job in (jobs or {}).items():
if not isinstance(job, dict) or not job.get("command"):
continue
with db() as c:
row = c.execute("select last_run from jobs where name=?", (name,)).fetchone()
last = row["last_run"] if row else 0
due = False
if job.get("every_seconds"):
due = (now() - (last or 0)) >= int(job["every_seconds"])
elif job.get("daily_at"):
hh, mm = map(int, job["daily_at"].split(":"))
today = time.mktime((t.tm_year, t.tm_mon, t.tm_mday, hh, mm, 0, 0, 0, -1))
due = now() >= today and (last or 0) < today
if due:
threading.Thread(target=run_job, args=(name, job), daemon=True).start()
time.sleep(1)
except Exception as e:
print("scheduler:", e, flush=True)
time.sleep(30)
def cleanup_loop():
while True:
try:
with db() as c:
c.execute("delete from events where ts < ?", (now() - RETENTION_DAYS * 86400,))
except Exception:
pass
time.sleep(3600)
# ---------------- HTTP ----------------
class Handler(BaseHTTPRequestHandler):
server_version = "hermes/0.1"
def log_message(self, *a):
pass
def _send(self, code, obj):
body = json.dumps(obj, ensure_ascii=False).encode()
self.send_response(code)
self.send_header("Content-Type", "application/json; charset=utf-8")
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
def _text(self, code, text):
body = text.encode()
self.send_response(code)
self.send_header("Content-Type", "text/plain; charset=utf-8")
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
def do_GET(self):
p = self.path.split("?")[0]
q = dict(re.findall(r"([^?&=]+)=([^&]*)", self.path))
if p == "/health":
with db() as c:
n = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"]
pend = c.execute("select count(*) n from approvals where status='pending'").fetchone()["n"]
return self._send(200, {"status": "ok", "events_1h": n, "approvals_pending": pend,
"quiet": in_quiet()})
if p == "/events":
limit = min(int(q.get("limit", 50)), 500)
with db() as c:
rows = c.execute("select * from events order by ts desc limit ?", (limit,)).fetchall()
return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]})
if p == "/approvals":
with db() as c:
rows = c.execute("select * from approvals order by ts desc limit 50").fetchall()
return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]})
if p == "/metrics":
with db() as c:
total = c.execute("select count(*) n from events").fetchone()["n"]
last_h = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"]
undel = c.execute("select count(*) n from events where delivered=0").fetchone()["n"]
jobs = c.execute("select name,fails,runs,last_status from jobs").fetchall()
lines = ["# HELP hermes_events_total событий в журнале",
"# TYPE hermes_events_total gauge",
f"hermes_events_total {total}",
f"hermes_events_1h {last_h}",
f"hermes_events_undelivered {undel}",
f"hermes_quiet_active {1 if in_quiet() else 0}"]
for j in jobs:
lines.append(f'hermes_job_runs{{job="{j["name"]}",status="{j["last_status"]}"}} {j["runs"]}')
lines.append(f'hermes_job_fails{{job="{j["name"]}"}} {j["fails"]}')
return self._text(200, "\n".join(lines) + "\n")
return self._send(404, {"error": "not found"})
def do_POST(self):
p = self.path.split("?")[0]
length = int(self.headers.get("Content-Length") or 0)
raw = self.rfile.read(length) if length else b"{}"
try:
data = json.loads(raw or b"{}")
except Exception:
return self._send(400, {"error": "bad json"})
if p == "/event":
ok = add_event(data.get("source", "external"), data.get("type", "info"),
data.get("severity", "low"), data.get("title", "событие"),
data.get("body", ""), data.get("dedup_key"), data)
return self._send(200, {"accepted": True, "delivered": ok})
if p == "/alertmanager":
n = 0
for a in data.get("alerts", []):
if a.get("status") == "resolved":
continue
labels = a.get("labels") or {}
ann = a.get("annotations") or {}
sev = labels.get("severity", "warning")
add_event("prometheus", labels.get("alertname", "alert"),
"critical" if sev == "critical" else "medium",
ann.get("summary") or labels.get("alertname", "алерт"),
ann.get("description", ""),
dedup_key=f"am:{labels.get('alertname')}:{labels.get('instance','')}")
n += 1
return self._send(200, {"accepted": n})
m = re.match(r"^/jobs/([A-Za-z0-9_.-]+)/run$", p)
if m:
name = m.group(1)
jobs = load_jobs() or {}
if name not in jobs:
return self._send(404, {"error": "unknown job"})
threading.Thread(target=run_job, args=(name, jobs[name]), daemon=True).start()
return self._send(202, {"started": name})
return self._send(404, {"error": "not found"})
def main():
init()
threading.Thread(target=scheduler_loop, daemon=True).start()
threading.Thread(target=cleanup_loop, daemon=True).start()
srv = ThreadingHTTPServer((HOST, PORT), Handler)
print(f"hermes слушает {HOST}:{PORT}", flush=True)
add_event("hermes", "start", "low", "Hermes запущен", f"порт {PORT}",
dedup_key=f"hermes-start:{int(now())//600}")
srv.serve_forever()
if __name__ == "__main__":
main()
+13
View File
@@ -0,0 +1,13 @@
# Hermes: конфигурация шины событий
notify_url: "http://127.0.0.1:9120/notify"
dedup_seconds: 900
retention_days: 30
# Тихие часы: события ниже critical не будят
quiet_hours:
- ["23:30", "07:30"]
# Что перекладываем на Hermes в первую очередь:
# - приём алертов Alertmanager (дедуп, тихие часы, доставка через хаб)
# - контроль свежести бэкапов (heartbeat в Kuma)
# - проверка обновлений образов (отчёт + возможное применение по подтверждению)
# - проверка дискового тренда
+25
View File
@@ -0,0 +1,25 @@
# Задания Hermes. Владелец каждого — шина; расписание в одном месте.
backup-heartbeat:
command: "/usr/local/bin/backup-heartbeat.sh"
every_seconds: 1800
timeout: 120
retries: 1
updates-check:
command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py"
every_seconds: 21600
timeout: 900
retries: 1
disk-trend:
command: "df -h / /mnt/media /mnt/archive | tail -3"
every_seconds: 3600
notify_on_success: false
timeout: 30
retries: 0
verify-services:
command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\""
every_seconds: 3600
timeout: 60
retries: 1
+1 -2
View File
@@ -211,6 +211,7 @@ services:
critical: false critical: false
backup: snapshot backup: snapshot
container: tautulli container: tautulli
decommissioned: true
navidrome: navidrome:
ct_id: 125 ct_id: 125
compose_path: /opt/navidrome compose_path: /opt/navidrome
@@ -452,7 +453,6 @@ services:
critical: true critical: true
backup: snapshot backup: snapshot
container: matrix-coturn container: matrix-coturn
kavita: kavita:
ct_id: 111 ct_id: 111
wait: 120 wait: 120
@@ -477,7 +477,6 @@ services:
healthcheck: healthcheck:
url: http://192.168.1.110:8081/ url: http://192.168.1.110:8081/
container: monica container: monica
docmost: docmost:
ct_id: 103 ct_id: 103
wait: 120 wait: 120