diff --git a/docs/INDEX.md b/docs/INDEX.md new file mode 100644 index 0000000..9b665d2 --- /dev/null +++ b/docs/INDEX.md @@ -0,0 +1,122 @@ +# Индекс документации Buryan Hub + +Сгенерировано автоматически, файлов: 116 + +| Документ | О чём | +|---|---| +| [AGE-KEY-AND-RESTORE.md](docs/AGE-KEY-AND-RESTORE.md) | Ключ шифрования копий (age) и восстановление | +| [ALERTS-WORKING.md](docs/ALERTS-WORKING.md) | Тревоги: почему их не было и как включены | +| [ARCHITECTURE.md](docs/ARCHITECTURE.md) | 🏗️ Архитектура Buryan Hub | +| [AUDIT-2026-10-14-STATUS.md](docs/AUDIT-2026-10-14-STATUS.md) | АУДИТ 2026-10-14 — СТАТУС НА 2026-10-17 | +| [AUDIT-2026-10-17.md](docs/AUDIT-2026-10-17.md) | ПОЛНЫЙ АУДИТ ХОЗЯЙСТВА | +| [AUDIT-FULL-2026-10-19.md](docs/AUDIT-FULL-2026-10-19.md) | Полный аудит Buryans Hub — 19.10.2026 | +| [AUTHENTIK-2026-5.md](docs/AUTHENTIK-2026-5.md) | Authentik: 2025.4 → 2026.5.7, и почему 2026.8 упирается | +| [AUTHENTIK-2026-8-DONE.md](docs/AUTHENTIK-2026-8-DONE.md) | Authentik 2026.8.4: обновление завершено | +| [AUTHENTIK-UPGRADED.md](docs/AUTHENTIK-UPGRADED.md) | Authentik обновлён: 2025.4 → 2025.12.6 | +| [AUTHENTIK-WINDOW-2026-10-17.md](docs/AUTHENTIK-WINDOW-2026-10-17.md) | Окно обновления Authentik 17.10.2026: что выяснено | +| [AUTOMATION-2026-10-17.md](docs/AUTOMATION-2026-10-17.md) | Автоматика: профиль безопасности, уборка, проверка входа | +| [BACKUP-STATE-2026-10-18.md](docs/BACKUP-STATE-2026-10-18.md) | Резервные копии: проверено, работает (задача 4.4.2) | +| [BACKUPS-STATUS.md](docs/BACKUPS-STATUS.md) | Бэкапы: что есть и что проверено | +| [BOOK-BOT.md](docs/BOOK-BOT.md) | Книжный бот в Matrix (18.10.2026) | +| [BOOK-FINDER.md](docs/BOOK-FINDER.md) | Поиск книг, которых нет в библиотеке (18.10.2026) | +| [BOOKS-LIBRARY.md](docs/BOOKS-LIBRARY.md) | Онлайн-библиотека книг (18.10.2026) | +| [BOOKS-TELEGRAM.md](docs/BOOKS-TELEGRAM.md) | Загрузка книг из Telegram (18.10.2026) | +| [BOTS-PERSONAL.md](docs/BOTS-PERSONAL.md) | Личные боты: режим проверки | +| [BOTS-ROLES.md](docs/BOTS-ROLES.md) | Зоны ответственности ботов и доступ | +| [BOTS.md](docs/BOTS.md) | Реестр Telegram-ботов | +| [CALIBRE-SINGLE-LOGIN.md](docs/CALIBRE-SINGLE-LOGIN.md) | Calibre: убран второй вход (18.10.2026) | +| [CALL-FIX-2026-10-18.md](docs/CALL-FIX-2026-10-18.md) | Звонки: почему соединялось не с первого раза и не шёл контент | +| [CENTRAL-AUTH.md](docs/CENTRAL-AUTH.md) | Централизация входа: Jellyfin, Vaultwarden, Plex, Overseerr | +| [COMMANDS.md](docs/COMMANDS.md) | Справочник команд | +| [CT111-IP-CHANGED.md](docs/CT111-IP-CHANGED.md) | CT 111: адрес сменён, интернет заработал | +| [CT111-NO-INTERNET.md](docs/CT111-NO-INTERNET.md) | CT 111: нет выхода в интернет (найдено 17.10.2026) | +| [DASHY-START-PAGE.md](docs/DASHY-START-PAGE.md) | Dashy: стартовая страница со всеми службами (задача 5.8) | +| [DATA-API.md](docs/DATA-API.md) | API данных: боты пишут в папку проекта | +| [DATABASE-STANDARD.md](docs/DATABASE-STANDARD.md) | Стандарт баз данных | +| [DATABASES-SHARED.md](docs/DATABASES-SHARED.md) | Общие базы: состояние и план (18.10.2026) | +| [DISKS-ARR-2026-10-18.md](docs/DISKS-ARR-2026-10-18.md) | Место в медиаслужбах: было 80%, стало 70% | +| [DOMAINS-AUDIT-2026-10-17.md](docs/DOMAINS-AUDIT-2026-10-17.md) | Все домашние домены: проверка (задача 2.4) | +| [ELEMENT-CALL-DONE.md](docs/ELEMENT-CALL-DONE.md) | Element Call: звонки подняты на VPS | +| [ELEMENT-CALL-ON-VPS.md](docs/ELEMENT-CALL-ON-VPS.md) | Element Call на VPS: оценка выполнимости | +| [FINAL-REPORT.md](docs/FINAL-REPORT.md) | Buryan Hub: итог спринта | +| [FINDINGS-2026-10-17.md](docs/FINDINGS-2026-10-17.md) | Находки 17.10.2026 (второй проход) | +| [FIX-500-LOGIN.md](docs/FIX-500-LOGIN.md) | Почему был 500 на всех сервисах с единым входом (18.10.2026) | +| [FIX-500-ROOT-CAUSE.md](docs/FIX-500-ROOT-CAUSE.md) | Настоящая причина 500 на новых сервисах (19.10.2026) | +| [FIX-INTERNAL-URLS.md](docs/FIX-INTERNAL-URLS.md) | Почему после входа открывалась «картинка» вместо сервиса | +| [FIXES-2026-10-18-EVENING.md](docs/FIXES-2026-10-18-EVENING.md) | Исправления вечера 18.10.2026 | +| [HOME-ASSISTANT-SSO-DONE.md](docs/HOME-ASSISTANT-SSO-DONE.md) | Home Assistant: вход через Authentik — сделано | +| [HOME-ASSISTANT-SSO-STATUS.md](docs/HOME-ASSISTANT-SSO-STATUS.md) | Home Assistant: почему вход через Authentik не заработал и что сделано | +| [HOME-SERVICES-INTEGRATION.md](docs/HOME-SERVICES-INTEGRATION.md) | Интеграция домашних сервисов: Nextcloud и Home Assistant (18.10.2026) | +| [HUB-BOTS.md](docs/HUB-BOTS.md) | Buryan Hub: флот ботов и контентная платформа | +| [HUB-CORE-PROJECT.md](docs/HUB-CORE-PROJECT.md) | Buryan Hub Core: один механизм вместо 35 сервисов | +| [INCIDENTS.md](docs/INCIDENTS.md) | 🚨 Трекер инцидентов | +| [INDEXERS-ROOTCAUSE.md](docs/INDEXERS-ROOTCAUSE.md) | Индексаторы: точная причина и обход | +| [INFRASTRUCTURE-MAP.md](docs/INFRASTRUCTURE-MAP.md) | Карта хозяйства | +| [INTEGRATIONS-2026-10-19.md](docs/INTEGRATIONS-2026-10-19.md) | Seerr и карта интеграций (19.10.2026) | +| [LIBRARY-CATALOG-SERVICE.md](docs/LIBRARY-CATALOG-SERVICE.md) | Каталог книг: сервис и статистика (18.10.2026) | +| [LOGIN-SPEED-CACHE.md](docs/LOGIN-SPEED-CACHE.md) | Скорость входа: кэш на VPS (задача 2.1) | +| [MATRIX-TELEGRAM-BRIDGE.md](docs/MATRIX-TELEGRAM-BRIDGE.md) | Telegram-мост: почему в чате было грязно и что с этим делать | +| [MATRIX-UPLOAD-HANG.md](docs/MATRIX-UPLOAD-HANG.md) | Matrix: зависание при отправке контента (18.10.2026) | +| [MEDIA-CHAIN.md](docs/MEDIA-CHAIN.md) | Медиа-цепочка: что собрано | +| [NIGHT-AUDIT.md](docs/NIGHT-AUDIT.md) | Аудит перед ночным спринтом | +| [NIGHT-JOURNAL.md](docs/NIGHT-JOURNAL.md) | Журнал ночного спринта | +| [NIGHT-REPORT.md](docs/NIGHT-REPORT.md) | Отчёт о ночном спринте | +| [NIGHT-SPRINT-PLAN.md](docs/NIGHT-SPRINT-PLAN.md) | Ночной спринт: централизация баз — план и правила | +| [OPENCLAW-ONE-INSTANCE.md](docs/OPENCLAW-ONE-INSTANCE.md) | openclaw: один экземпляр, версия закреплена | +| [PAPERLESS-CLEANUP.md](docs/PAPERLESS-CLEANUP.md) | Уборка после сведения Paperless к одному (18.10.2026) | +| [PAPERLESS-ONE-INSTANCE.md](docs/PAPERLESS-ONE-INSTANCE.md) | Paperless: два экземпляра сведены к одному (задача 5.3) | +| [PLAN.md](docs/PLAN.md) | ПЛАН РАЗВИТИЯ BURYAN-HUB | +| [PORTS.md](docs/PORTS.md) | Карта портов и сетевых точек buryan-hub | +| [README.md](docs/README.md) | buryan-hub — описание хозяйства | +| [RETIRED-SERVICES.md](docs/RETIRED-SERVICES.md) | Убраны две неиспользуемые службы (18.10.2026) | +| [RUNBOOK.md](docs/RUNBOOK.md) | Buryan Hub: дежурная книга | +| [SECRETS-ROTATION-PLAN.md](docs/SECRETS-ROTATION-PLAN.md) | План ротации секретов | +| [SERVICES-CHECKLIST.md](docs/SERVICES-CHECKLIST.md) | Полный список сервисов: домен, вход, перенаправление | +| [SERVICES-REVIEW.md](docs/SERVICES-REVIEW.md) | ПОЛНЫЙ РАЗБОР ВСЕХ СЕРВИСОВ | +| [SERVICES-TABLE.md](docs/SERVICES-TABLE.md) | Сводная таблица сервисов (19.10.2026) | +| [SERVICES.md](docs/SERVICES.md) | 📋 Реестр сервисов | +| [SPRINT-2-REVIEW.md](docs/SPRINT-2-REVIEW.md) | 🎯 Sprint 2 Review: Telegram-алертинг через DPI | +| [SPRINT-2026-10-18-NIGHT.md](docs/SPRINT-2026-10-18-NIGHT.md) | Ночной спринт 18.10.2026: что сделано и что найдено | +| [SPRINT-2026-10-19-SSO-2.md](docs/SPRINT-2026-10-19-SSO-2.md) | Двойной вход: разбор и исправление (вечер 19.10.2026, второй заход) | +| [SPRINT-2026-10-19-SSO-3.md](docs/SPRINT-2026-10-19-SSO-3.md) | Единый вход: третий заход — родной SSO служб (19.10.2026, вечер) | +| [SPRINT-2026-10-19-SSO.md](docs/SPRINT-2026-10-19-SSO.md) | Единый вход: спринт 19.10.2026 (вечер) | +| [SPRINT-3-PLAN.md](docs/SPRINT-3-PLAN.md) | 🎯 Sprint 3 Plan: Умные алерты | +| [SPRINT-STATUS.md](docs/SPRINT-STATUS.md) | Статус спринта (19–20.10.2026) | +| [SPRINTS-BACKLOG.md](docs/SPRINTS-BACKLOG.md) | Задания по спринтам (составлено 19.10.2026) | +| [SSO-ALL-DOMAINS.md](docs/SSO-ALL-DOMAINS.md) | Единый вход на ВСЕ домены (18.10.2026) | +| [SSO-AUDIT-2026-10-18.md](docs/SSO-AUDIT-2026-10-18.md) | Единый вход: почему снаружи его нет (задача 4.1.1) | +| [SSO-CENTRALIZED.md](docs/SSO-CENTRALIZED.md) | Централизованный вход: сделано (задача 4.1.1 / 4.1.3) | +| [SSO-STATE-2026-10-19.md](docs/SSO-STATE-2026-10-19.md) | Единый вход: итоговое состояние (19.10.2026, вечер) | +| [SSO-USERS.md](docs/SSO-USERS.md) | Общие пользователи во всех службах | +| [STRATEGY.md](docs/STRATEGY.md) | СТРАТЕГИЯ РАЗВИТИЯ BURYAN-HUB | +| [TASKS-REMAINING.md](docs/TASKS-REMAINING.md) | Что осталось: полный список (23.10, 19:55) | +| [TASKS.md](docs/TASKS.md) | РЕЕСТР ЗАДАЧ | +| [UPDATE-2026-10-17-SECTION1.md](docs/UPDATE-2026-10-17-SECTION1.md) | Раздел 1: что сделано 17.10.2026 (второй проход) | +| [UPDATE-MANAGER-COVERAGE.md](docs/UPDATE-MANAGER-COVERAGE.md) | Обновления: почему «не работало на многие сервисы» | +| [UPDATE-SPRINT-2026-10-17.md](docs/UPDATE-SPRINT-2026-10-17.md) | Спринт 17.10.2026: обновления и наблюдение | +| [VPN-4-7-FAILOVER-TEST.md](docs/VPN-4-7-FAILOVER-TEST.md) | Проверка автопереключения каналов на шлюзе (VPN-4.7) | +| [VPN-APP-CONFLICTS.md](docs/VPN-APP-CONFLICTS.md) | Почему часть приложений не работает при VPN и как это исправить | +| [VPN-FOR-FAMILY.md](docs/VPN-FOR-FAMILY.md) | VPN — подключение телефона | +| [VPN-SPLIT-ROUTING.md](docs/VPN-SPLIT-ROUTING.md) | Раздельная маршрутизация: туннель несёт только нужное | +| [VPN-STAGE2.md](docs/VPN-STAGE2.md) | VPN Этап 2: три канала, переключение автоматическое | +| [VPN-STAGE3.md](docs/VPN-STAGE3.md) | VPN Этап 3: шлюз в доме — домашнее открывается напрямую | +| [VPS-ROLE.md](docs/VPS-ROLE.md) | Роль VPS: определена (задача 2.6) | +| [ADR-001-local-npm.md](docs/adr/ADR-001-local-npm.md) | ADR-001: Локальный NPM вместо прямого VPS | +| [ADR-002-tailscale-tun.md](docs/adr/ADR-002-tailscale-tun.md) | ADR-002: TUN device для Tailscale в LXC | +| [ADR-003-openclaw-config.md](docs/adr/ADR-003-openclaw-config.md) | ADR-003: OpenClaw gateway.mode | +| [ADR-004-authentik-proxy.md](docs/adr/ADR-004-authentik-proxy.md) | ADR-004: Authentik Outpost с прокси-портами | +| [ADR-005-tailscale-exit-node.md](docs/adr/ADR-005-tailscale-exit-node.md) | ADR-005: Обход DPI через Tailscale exit node + outbound HTTP proxy | +| [TEMPLATE.md](docs/adr/TEMPLATE.md) | ADR-NNN: [Название решения] | +| [backlog-matrix.md](docs/backlog-matrix.md) | Matrix backlog | +| [dr-plan.md](docs/dr-plan.md) | Disaster Recovery Plan — Matrix / buryan-hub | +| [INSTALL-ADMIN.md](docs/library/INSTALL-ADMIN.md) | Библиотека: как всё устроено и как проверить | +| [INSTRUCTION-POLINA.md](docs/library/INSTRUCTION-POLINA.md) | 📚 Твоя библиотека | +| [book-finder-report.md](docs/library/book-finder-report.md) | Поиск книг, которых нет в библиотеке | +| [matrix-sprint-runbook.md](docs/matrix-sprint-runbook.md) | Matrix Sprint Runbook | +| [FINISH-LINE.md](docs/plan/FINISH-LINE.md) | Финишная подготовка Buryan Hub перед локальной LLM (28.10.2026) | +| [PLAN-V3-RECONCILE.md](docs/plan/PLAN-V3-RECONCILE.md) | Сверка плана V3 с фактами (23.10, 22:10) | +| [SPRINTS-NEXT.md](docs/plan/SPRINTS-NEXT.md) | Следующие спринты (план от 23.10) | +| [runbook.md](docs/runbook.md) | 📖 Операционный Runbook | +| [self-healing-architecture.md](docs/self-healing-architecture.md) | Self-Healing Infrastructure (Layered) | +| [troubleshooting.md](docs/troubleshooting.md) | 🔧 Troubleshooting | +| [vpn-clients.md](docs/vpn-clients.md) | Подключение к VPN — рабочий способ | diff --git a/docs/P0-P1-2026-10-28.md b/docs/P0-P1-2026-10-28.md new file mode 100644 index 0000000..27dde34 --- /dev/null +++ b/docs/P0-P1-2026-10-28.md @@ -0,0 +1,39 @@ +# P0–P1: что сделано 28.10 + +## Безопасность (P0) + +| Что | Было | Стало | +|---|---|---| +| fail2ban | не работал | установлен, тюрьма `sshd`, бан 1 ч после 4 попыток, LAN в белом списке | +| SSH root | `PermitRootLogin yes` | **`prohibit-password`** (только ключ), `MaxAuthTries 4`, `LoginGraceTime 30` | +| 2FA | стадия TOTP есть, не привязана | **требуется enrolment владельца** (шаг за вами) | +| Vaultwarden | пустая база (300 КБ) | **развернут, ждёт наполнения** (шаг за вами) | + +## Надёжность (P1) + +| Что | Было | Стало | +|---|---|---| +| Immich ML | `Exited` 6 дней | запущен, health-check | +| Бэкап Immich | раз в неделю | **ежедневно** (из исключений убран 104) | +| Loki retention | не задан | **30 дней** + compactor | +| Проверка обновлений | «проверено: 0» | переписана: **132 образа, 87 обновлений**, событие в Hermes | +| Внешний мониторинг | нет | отложено (blackbox на VPS) | + +## Порядок (P2) + +| Что | Результат | +|---|---| +| Реестр автоматизаций | `ops/automations/registry.yaml` — **112 заданий** (cron, таймеры, Hermes) | +| Индекс документации | `docs/INDEX.md` — 116 документов | +| Plex (CT116) | остановлен, автозапуск снят | +| Tautulli (CT122) | остановлен, выведен из реестра и Kuma | +| Каталог сервисов | перегенерирован из факта: **74 сервиса без sidecar-агентов** (всего контейнеров 161) | + +## Уроки + +1. `yaml.safe_dump` ломает ожидаемый формат парсера хаба — правки реестра + делать построчно или генератором с проверкой `grep -c '^ - key:'`. +2. Alertmanager и Prometheus правятся только через YAML-парсер: строковые + замены молча не применяются (несовпадение отступов). +3. Служебные контейнеры (агенты, экспортёры, прокси) надо исключать из + «сервисов», иначе статус раздувается со 125 до 161. diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml new file mode 100644 index 0000000..42941c8 --- /dev/null +++ b/ops/automations/registry.yaml @@ -0,0 +1,390 @@ +generated: '2026-10-28' +total: 112 +automations: +- schedule: '* * * * *' + command: /opt/buryan-hub/scripts/swarm-watchdog.sh >> /var/log/swarm-watchdog.log + 2>&1 + source: crontab +- schedule: '*/5 * * * *' + command: python3 /opt/buryan-hub/scripts/direct-health-check.py >> /var/log/direct-health-check.log + 2>&1 + source: crontab +- schedule: 0 2 * * * + command: /opt/buryan-hub/scripts/pg-backup-ct151.sh >> /var/log/buryan-hub/backups/cron-pg.log + 2>&1 + source: crontab +- schedule: 0 3 * * * + command: /root/matrix-backups/backup-matrix.sh >> /var/log/buryan-hub/backups/cron-matrix.log + 2>&1 + source: crontab +- schedule: 30 3 * * * + command: /root/buryan-infra/ops/backup.sh >> /root/buryan-infra/ops/backups/backup.log + 2>&1 + source: crontab +- schedule: 0 4 * * * + command: /opt/buryan-hub/scripts/offsite-backup.sh >> /var/log/buryan-hub/backups/cron-offsite.log + 2>&1 + source: crontab +- schedule: 0 5 * * 0 + command: /root/weekly-backup-cleanup.sh >> /var/log/buryan-hub/backups/cron-cleanup.log + 2>&1 + source: crontab +- schedule: 30 6 * * * + command: /opt/buryan-hub/scripts/vzdump-rotate.sh >> /var/log/buryan-hub/backups/cron-vzdump-rotate.log + 2>&1 + source: crontab +- schedule: 0 9 * * * + command: /root/buryan-infra/ops/audit.sh >> /root/buryan-infra/ops/audit/audit-cron.log + 2>&1 + source: crontab +- schedule: 0 20 * * 0 + command: /root/buryan-infra/ops/weekly-report.sh >> /root/buryan-infra/ops/audit/weekly-report.log + 2>&1 + source: crontab +- schedule: 0 */6 * * * + command: /root/buryan-infra/ops/scripts/version-watch.sh >> /root/buryan-infra/ops/audit/version-watch.log + 2>&1 + source: crontab +- schedule: '* * * * *' + command: /root/buryan-infra/ops/update-manager/update-runner.sh >/dev/null 2>&1 + source: crontab +- schedule: 5 3 * * * + command: /root/buryan-infra/ops/update-manager/nightly-report.sh >> /root/buryan-infra/ops/update-manager/runner.log + 2>&1 + source: crontab +- schedule: 0 6 * * 0 + command: /opt/buryan-hub/scripts/verify-backups.sh >> /var/log/buryan-hub/backups/cron-verify.log + 2>&1 + source: crontab +- schedule: '*/5 * * * *' + command: /opt/buryan-hub/scripts/check-services.sh >/dev/null 2>&1 + source: crontab +- schedule: 30 1 * * * + command: /opt/buryan-hub/scripts/photos-backup.sh >/dev/null 2>&1 + source: crontab +- schedule: 0 4 * * 0 + command: /root/buryan-infra/ops/vpn/vpn-backup-config.sh >> /var/log/buryan-hub/vpn-backup.log + 2>&1 + source: crontab +- schedule: 0 6 1 * * + command: /opt/buryan-hub/scripts/restore-test.sh >> /var/log/buryan-hub/backups/cron-restore-test.log + 2>&1 + source: crontab +- schedule: 45 3 * * * + command: /usr/local/bin/backup-configs >> /var/log/backup-configs.log 2>&1 + source: backup-configs +- schedule: 0 4 * * 0 + command: /opt/buryan-hub/scripts/cleanup-leftovers.sh >> /var/log/buryan-hub/cleanup-leftovers.log + 2>&1 + source: buryan-cleanup +- schedule: 0 6 * * * + command: for id in $(pct list | tail -n +2 | awk '{print $1}'); do pct exec $id + -- bash -s < /opt/buryan-hub/scripts/fix-logs.sh >/dev/null 2>&1; done + source: buryan-log-hygiene +- schedule: '*/5 * * * *' + command: . /root/.buryan-monitor.env && /usr/bin/python3 /opt/buryan-hub/scripts/check_thin_pool.py + >> /var/log/thin-pool-monitor.log 2>&1 + source: buryan-monitor +- schedule: 0 4 * * * + command: . /root/.buryan-monitor.env && /usr/bin/psql -h 192.168.1.151 -U buryan_monitor + -d buryan_monitoring -c 'SELECT cleanup_thin_pool_metrics();' >> /var/log/thin-p + source: buryan-monitor +- schedule: 0 * * * * + command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_disk.py + >> /var/log/buryan-monitor.log 2>&1 + source: buryan-monitoring +- schedule: 30 8 * * * + command: . /root/.buryan-monitor.env && python3 /opt/buryan-hub/scripts/check_certs.py + >> /var/log/buryan-monitor.log 2>&1 + source: buryan-monitoring +- schedule: '*/2 * * * *' + command: /usr/bin/python3 /opt/buryan-hub/scripts/export-service-metrics.py >/dev/null + 2>&1 + source: buryan-service-metrics +- schedule: 30 3 * * 0 + command: /opt/buryan-hub/scripts/trim-containers.sh + source: buryan-trim +- schedule: 15 6 * * * + command: /usr/local/bin/docker-config-check >> /var/log/docker-config-check.log + 2>&1 + source: docker-config-check +- schedule: 30 3 * * 0 + command: test -e /run/systemd/system || SERVICE_MODE=1 /usr/libexec/e2fsprogs/e2scrub_all_cron + source: e2scrub_all +- schedule: 10 3 * * * + command: test -e /run/systemd/system || SERVICE_MODE=1 /sbin/e2scrub_all -A -r + source: e2scrub_all +- schedule: 30 2 * * * + command: /usr/bin/bash /opt/hub-core/backup.sh >> /var/log/hub-backup.log 2>&1 + source: hub-backup +- schedule: 45 2 * * * + command: /usr/bin/bash /opt/hub-core/backup_bots.sh >> /var/log/hub-backup.log 2>&1 + source: hub-backup-bots +- schedule: 5 3 * * * + command: /bin/bash /opt/hub-core/bots_verify.sh >> /var/log/hub-bots-verify.log + 2>&1 + source: hub-bots-verify +- schedule: 30 4 * * 0 + command: /usr/bin/python3 /opt/hub-core/camera_discover.py >> /var/log/hub-cam-scan.log + 2>&1 + source: hub-cam-scan +- schedule: 15 4 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/library_sync.py + >> /var/log/hub-catalog.log 2>&1 + source: hub-catalog +- schedule: '*/10 * * * *' + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/connectors.py + >> /var/log/hub-connectors.log 2>&1 + source: hub-connectors +- schedule: '*/30 * * * *' + command: /opt/music-tools/venv/bin/python /opt/hub-core/device_ident.py >> /var/log/hub-devices.log + 2>&1 + source: hub-devices +- schedule: 0 9 * * * + command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 digest.py + >> /var/log/hub-digest.log 2>&1 + source: hub-digest +- schedule: 30 8 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/events_digest.py + >> /var/log/hub-digest.log 2>&1 + source: hub-events-digest +- schedule: 0 23 * * * + command: /usr/bin/bash /opt/hub-core/export_all.sh >> /var/log/hub-export.log 2>&1 + source: hub-export +- schedule: 45 4 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/content_graph.py + >> /var/log/hub-graph.log 2>&1 + source: hub-graph +- schedule: 30 23 * * * + command: /usr/bin/curl -s --max-time 20 http://127.0.0.1:9120/snapshot > /var/log/hub-graph-history.log + 2>&1 + source: hub-graph-history +- schedule: 0 8 * * 1 + command: /bin/bash -c 'set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 + /opt/hub-core/identity_audit.py' >> /var/log/hub-identity.log 2>&1 + source: hub-identity +- schedule: 15 */3 * * * + command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 reindex.py + >> /var/log/hub-index.log 2>&1 + source: hub-index +- schedule: 30 7 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/inventory.py + >> /var/log/hub-inventory.log 2>&1 + source: hub-inventory +- schedule: 45 3 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/linker.py + >> /var/log/hub-linker.log 2>&1 + source: hub-linker +- schedule: 0 5 * * 0 + command: /bin/bash /opt/hub-core/lxc_verify.sh >> /var/log/hub-lxc-verify.log 2>&1 + source: hub-lxc-verify +- schedule: 20 3 * * * + command: /bin/bash /opt/hub-core/matrix_verify.sh >> /var/log/hub-matrix-backup.log + 2>&1 + source: hub-matrix-backup +- schedule: '*/30 * * * *' + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/media_hub.py + >> /var/log/hub-media.log 2>&1 + source: hub-media +- schedule: 0 9 * * 1 + command: set -a; . /etc/hub-core/connectors.env; . /etc/hub-bots/bots.env; . /etc/hub-bots/dm.env; + set +a; NOTIFY_TOKEN="$MEDIA_TOKEN" NOTIFY_ROOM="$MEDIA" /usr/bin/pyth + source: hub-media-digest +- schedule: 0 6 * * 0 + command: /bin/bash /opt/hub-core/offsite_verify.sh >> /var/log/hub-offsite-verify.log + 2>&1 + source: hub-offsite-verify +- schedule: 40 2 * * * + command: /bin/bash /opt/hub-core/pg_verify_cron.sh >> /var/log/hub-pg-verify.log + 2>&1 + source: hub-pg-verify +- schedule: 30 3 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/reconcile.py + >> /var/log/hub-reconcile.log 2>&1 + source: hub-reconcile +- schedule: 0 19 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/resume.py + >> /var/log/hub-resume.log 2>&1 + source: hub-resume +- schedule: '*/15 * * * *' + command: set -a; . /etc/hub-core/telegram.env; set +a; [ -n "$TG_API_ID" ] && /usr/bin/python3 + /opt/hub-core/telegram_userbot.py >> /var/log/hub-telegram.log 2>&1 + source: hub-telegram +- schedule: 30 9 * * 1 + command: cd /opt/hub-bots && HUB_ENV=/etc/hub-bots/bots.env /usr/bin/python3 weekly.py + >> /var/log/hub-weekly.log 2>&1 + source: hub-weekly +- schedule: 0 20 * * 0 + command: set -a; . /etc/hub-core/connectors.env; set +a; /usr/bin/python3 /opt/hub-core/weekly.py + >> /var/log/hub-weekly-core.log 2>&1 + source: hub-weekly-core +- schedule: 30 5 * * * + command: set -a; . /etc/hub-core/connectors.env; set +a; /opt/music-tools/venv/bin/python + /opt/hub-core/sync_users.py 3 >> /var/log/hub-yandex-sync.log 2>&1 + source: hub-yandex-music +- schedule: 0 1 * * * + command: /usr/local/bin/lxc-backup.sh 108 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 30 1 * * * + command: /usr/local/bin/lxc-backup.sh 140 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 2 * * * + command: /usr/local/bin/lxc-backup.sh 155 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 30 2 * * * + command: /usr/local/bin/lxc-backup.sh 115 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 3 */2 * * + command: /usr/local/bin/lxc-backup.sh 110 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 30 3 */2 * * + command: /usr/local/bin/lxc-backup.sh 114 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 4 */2 * * + command: /usr/local/bin/lxc-backup.sh 109 daily >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 4 * * 0 + command: /usr/local/bin/lxc-backup.sh 105 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 30 4 * * 0 + command: /usr/local/bin/lxc-backup.sh 113 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 5 * * 0 + command: /usr/local/bin/lxc-backup.sh 139 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 30 5 * * 0 + command: /usr/local/bin/lxc-backup.sh 201 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 0 5 * * 0 + command: /usr/local/bin/lxc-backup.sh 104 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: 15 5 * * 0 + command: /usr/local/bin/lxc-backup.sh 111 weekly >> /var/log/lxc-backup.log 2>&1 + source: lxc-backups +- schedule: '*/5 * * * *' + command: /opt/music-tools/venv/bin/python /opt/hub-core/mesh_watch.py >> /var/log/mesh-watch.log + 2>&1 + source: mesh-watch +- schedule: 30 3 * * * + command: /usr/local/bin/backup-n8n >> /var/log/n8n-backup.log 2>&1 + source: n8n-backup +- schedule: 24 0 1-7 * * + command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/trim ]; then /usr/lib/zfs-linux/trim; + fi + source: zfsutils-linux +- schedule: 24 0 8-14 * * + command: if [ $(date +\%w) -eq 0 ] && [ -x /usr/lib/zfs-linux/scrub ]; then /usr/lib/zfs-linux/scrub; + fi + source: zfsutils-linux +- schedule: systemd 4min + command: systemd unit hub-mesh.timer + source: systemd +- schedule: systemd 4min + command: systemd unit hub-inbox.timer + source: systemd +- schedule: systemd 5min + command: systemd unit hub-tg-ingest.timer + source: systemd +- schedule: systemd 5min + command: systemd unit hub-selfheal.timer + source: systemd +- schedule: systemd 14min + command: systemd unit hub-agents.timer + source: systemd +- schedule: systemd 14min + command: systemd unit hub-brain.timer + source: systemd +- schedule: systemd 14min + command: systemd unit hub-storage-metrics.timer + source: systemd +- schedule: systemd 1h + command: systemd unit hub-chief.timer + source: systemd +- schedule: systemd 1h + command: systemd unit hub-digest.timer + source: systemd +- schedule: systemd 14h + command: systemd unit hub-pre-prune.timer + source: systemd +- schedule: systemd 16h + command: systemd unit hub-db-dumps.timer + source: systemd +- schedule: systemd 16h + command: systemd unit hub-renovate.timer + source: systemd +- schedule: systemd 17h + command: systemd unit hub-archive-copy.timer + source: systemd +- schedule: systemd 17h + command: systemd unit hub-cert-sync.timer + source: systemd +- schedule: systemd 17h + command: systemd unit hub-vps-backup.timer + source: systemd +- schedule: systemd 17h + command: systemd unit hub-actions.timer + source: systemd +- schedule: systemd 17h + command: systemd unit hub-dl-cleanup.timer + source: systemd +- schedule: systemd 18h + command: systemd unit hub-jf-collections.timer + source: systemd +- schedule: systemd 18h + command: systemd unit hub-updates.timer + source: systemd +- schedule: systemd 19h + command: systemd unit hub-search-index.timer + source: systemd +- schedule: systemd 21h + command: systemd unit hub-nightly-check.timer + source: systemd +- schedule: systemd 21h + command: systemd unit hub-goals.timer + source: systemd +- schedule: systemd 22h + command: systemd unit hub-snap-clean.timer + source: systemd +- schedule: systemd 22h + command: systemd unit hub-snapshot.timer + source: systemd +- schedule: systemd 22h + command: systemd unit hub-finance.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-rag.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-ct-cleanup.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-drill.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-second-contour.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-integrity.timer + source: systemd +- schedule: systemd 3 + command: systemd unit hub-weekly.timer + source: systemd +- schedule: systemd 4 + command: systemd unit hub-media-maint.timer + source: systemd +- schedule: systemd 5 + command: systemd unit hub-restore-drill.timer + source: systemd +- schedule: каждые 1800с + command: /usr/local/bin/backup-heartbeat.sh + source: hermes/backup-heartbeat +- schedule: каждые 21600с + command: /opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py + source: hermes/updates-check +- schedule: каждые 3600с + command: df -h / /mnt/media /mnt/archive | tail -3 + source: hermes/disk-trend +- schedule: каждые 3600с + command: 'curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python + -c "import json,sys; d=json.load(sys.stdin); bad=[s[''name''] for s in ' + source: hermes/verify-services diff --git a/ops/hermes/README.md b/ops/hermes/README.md new file mode 100644 index 0000000..248c05b --- /dev/null +++ b/ops/hermes/README.md @@ -0,0 +1,47 @@ +# Hermes — шина событий, планировщик и агентский слой + +Запущен 28.10.2026, порт **9130**, systemd-юнит `hermes.service`, +код `/opt/hermes/`, состояние в SQLite `hermes.db`. + +## Что уже забрал на себя + +| Функция | Было | Стало | +|---|---|---| +| Приём алертов Prometheus | Alertmanager слал сразу в Matrix и вебхук | **Alertmanager → Hermes → хаб → Matrix**: дедуп 15 мин, тихие часы 23:30–07:30, приоритеты | +| Свежесть бэкапов | cron `buryan-backup-heartbeat` | задание Hermes `backup-heartbeat`, каждые 30 мин | +| Проверка обновлений | сломанный скрипт (только CT110, «проверено: 0») | задание `updates-check`, все LXC + хост: **132 образа, 87 обновлений** | +| Журнал событий | нигде | таблица `events`: источник, тип, важность, доставка, дедуп-ключ | +| Статус сервисов | ручной опрос | задание `verify-services` раз в час | + +## API + +``` +POST /event {"source","type","severity","title","body","dedup_key"} +POST /alertmanager вебхук Alertmanager +GET /events?limit=50 журнал +GET /approvals ожидающие решения +GET /health живость + счётчики +GET /metrics Prometheus (hermes_events_total, hermes_job_fails…) +POST /jobs//run ручной запуск задания +``` + +## Задания (jobs.yaml) + +| Имя | Расписание | Что делает | +|---|---|---| +| `backup-heartbeat` | 30 мин | пингует Kuma по свежести бэкапов | +| `updates-check` | 6 ч | ищет обновления образов, публикует событие | +| `disk-trend` | 1 ч | срез занятого места | +| `verify-services` | 1 ч | проверяет статус хаба | + +## Куда развивать + +1. **Ротация расписаний** — перенести `hub-*` cron в jobs.yaml, чтобы был один список. +2. **Обновления по подтверждению** — заявка `approvals` → применение с снапшотом и откатом. +3. **Агенты** — задачи «проверь X и предложи Y» с журналом решений. +4. **Голос** — после локальной LLM: событие → короткий ответ в Matrix/колонку. + +## Метрики + +`hermes_events_total`, `hermes_events_1h`, `hermes_events_undelivered`, +`hermes_quiet_active`, `hermes_job_runs{job,status}`, `hermes_job_fails{job}`. diff --git a/ops/hermes/check_updates.py b/ops/hermes/check_updates.py new file mode 100755 index 0000000..45cc049 --- /dev/null +++ b/ops/hermes/check_updates.py @@ -0,0 +1,137 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +"""Проверка обновлений образов по всем контейнерам и хосту. + +Почему переписано: прошлая версия смотрела только CT110 и отбрасывала образы, +у которых нет RepoDigests (локальные сборки и теги без pull), из-за чего +«проверено: 0». Теперь: + * обходим ВСЕ LXC и хост; + * локальный digest берём из `docker images --digests`; + * локальные сборки честно считаем «не сравнить»; + * считаем статистику по каждому источнику. +""" +import json +import re +import subprocess +import urllib.request + +HOST = None +OUT = "/var/lib/hub-agents/updates.json" + + +def sh(cmd, timeout=90): + try: + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + except Exception: + return "" + + +def list_cts(): + out = sh("pct list | awk 'NR>1 && $2==\"running\"{print $1}'") + return [c.strip() for c in out.splitlines() if c.strip().isdigit()] + + +def images(ct): + base = f"pct exec {ct} -- " if ct else "" + out = sh(base + "docker images --digests --format '{{.Repository}}:{{.Tag}}|{{.Digest}}' 2>/dev/null") + res = {} + for line in out.splitlines(): + if "|" not in line: + continue + ref, digest = line.split("|", 1) + if "" in ref: + continue + res[ref.strip()] = digest.strip() + return res + + +def remote_digest(image): + try: + name, tag = (image.rsplit(":", 1) + ["latest"])[:2] + if "/" not in name: + name = "library/" + name + host = "registry-1.docker.io" + repo = name + if repo.startswith("ghcr.io/"): + host, repo = "ghcr.io", repo[len("ghcr.io/"):] + elif repo.startswith("lscr.io/"): + host, repo = "lscr.io", repo[len("lscr.io/"):] + elif repo.startswith("quay.io/"): + host, repo = "quay.io", repo[len("quay.io/"):] + elif repo.startswith("docker.io/"): + repo = repo[len("docker.io/"):] + + if host == "ghcr.io": + token_url = f"https://ghcr.io/token?scope=repository:{repo}:pull&service=ghcr.io" + elif host == "lscr.io": + token_url = f"https://lscr.io/token?scope=repository:{repo}:pull" + elif host == "quay.io": + token_url = f"https://quay.io/v2/auth?scope=repository:{repo}:pull&service=quay.io" + else: + token_url = (f"https://auth.docker.io/token?service=registry.docker.io" + f"&scope=repository:{repo}:pull") + with urllib.request.urlopen(token_url, timeout=12) as r: + data = json.loads(r.read()) + tok = data.get("token") or data.get("access_token") or "" + req = urllib.request.Request( + f"https://{host}/v2/{repo}/manifests/{tag}", + headers={"Authorization": f"Bearer {tok}", + "Accept": "application/vnd.oci.image.index.v1+json," + "application/vnd.docker.distribution.manifest.list.v2+json," + "application/vnd.oci.image.manifest.v1+json," + "application/vnd.docker.distribution.manifest.v2+json"}) + with urllib.request.urlopen(req, timeout=15) as r: + return r.headers.get("Docker-Content-Digest", "") + except Exception: + return "" + + +def main(): + checked = outdated = nolocal = unreachable = 0 + rows = [] + targets = [(None, "host")] + [(c, f"CT{c}") for c in list_cts()] + for ct, label in targets: + imgs = images(ct) + for ref, digest in imgs.items(): + if ref.endswith(":"): + continue + if not digest or not digest.startswith("sha256:"): + nolocal += 1 + continue + remote = remote_digest(ref) + if not remote: + unreachable += 1 + continue + checked += 1 + if remote != digest: + outdated += 1 + rows.append({"where": label, "image": ref, "local": digest[:19], + "remote": remote[:19]}) + + print(f"проверено: {checked} | обновлений: {outdated} | " + f"локальных сборок: {nolocal} | registry недоступен: {unreachable}") + for r in rows[:12]: + print(f" ↑ {r['image']} ({r['where']})") + if len(rows) > 12: + print(f" … и ещё {len(rows) - 12}") + + json.dump(rows, open(OUT, "w"), ensure_ascii=False, indent=1) + + if rows: + body = json.dumps({ + "title": "Обновления образов", + "message": f"Доступно {len(rows)} обновлений: " + ", ".join(r["image"] for r in rows[:6]), + "priority": "low", + }).encode() + req = urllib.request.Request("http://127.0.0.1:9120/notify", data=body, + method="POST", headers={"Content-Type": "application/json"}) + try: + urllib.request.urlopen(req, timeout=10).read() + print("уведомление отправлено") + except Exception as e: + print("notify:", e) + + +if __name__ == "__main__": + main() diff --git a/ops/hermes/hermes.py b/ops/hermes/hermes.py new file mode 100755 index 0000000..7a8007e --- /dev/null +++ b/ops/hermes/hermes.py @@ -0,0 +1,350 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +"""Hermes — шина событий, планировщик и агентский слой Buryan Hub. + +Зачем: события (алерты, бэкапы, обновления, домашние) сейчас размазаны по +хуку, ботам и cron. Hermes собирает их в один журнал, устраняет дубли, +маршрутизирует в доставку через хаб (/notify) и запускает периодические +задания с ретраями и историей. + +Что умеет: + POST /event — принять событие (source, type, severity, title, body) + POST /alertmanager — принять вебхук Alertmanager и превратить в события + GET /events — журнал (limit, severity) + GET /health — состояние + GET /metrics — метрики Prometheus + POST /jobs//run — ручной запуск задания + GET /approvals — список ожидающих решений + +Задания описываются в jobs.yaml (интервал или время суток), ретраи и таймаут. +Доставка — через http://127.0.0.1:9120/notify (хаб знает про Matrix/Telegram). +""" +import json +import os +import re +import sqlite3 +import subprocess +import threading +import time +import urllib.error +import urllib.request +from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer + +BASE = "/opt/hermes" +DB = f"{BASE}/hermes.db" +JOBS = f"{BASE}/jobs.yaml" +CONF = f"{BASE}/hermes.yaml" +PORT = int(os.environ.get("HERMES_PORT", "9130")) +HOST = os.environ.get("HERMES_HOST", "0.0.0.0") + +_lock = threading.Lock() + + +def conf(): + try: + import yaml + return yaml.safe_load(open(CONF, encoding="utf-8")) or {} + except Exception: + return {} + + +CFG = conf() +NOTIFY_URL = CFG.get("notify_url", "http://127.0.0.1:9120/notify") +QUIET = CFG.get("quiet_hours", []) # [["23:00","08:00"]] +DEDUP_SEC = int(CFG.get("dedup_seconds", 900)) +RETENTION_DAYS = int(CFG.get("retention_days", 30)) + + +def db(): + conn = sqlite3.connect(DB, timeout=10) + conn.row_factory = sqlite3.Row + return conn + + +def init(): + os.makedirs(BASE, exist_ok=True) + with db() as c: + c.executescript(""" + create table if not exists events( + id integer primary key autoincrement, + ts real not null, source text, type text, severity text, + title text, body text, dedup_key text, delivered integer default 0, + delivery text, payload text); + create index if not exists ev_ts on events(ts desc); + create index if not exists ev_dedup on events(dedup_key, ts desc); + create table if not exists jobs( + name text primary key, last_run real, last_status text, + last_ms integer, runs integer default 0, fails integer default 0); + create table if not exists approvals( + id integer primary key autoincrement, ts real, kind text, + title text, details text, status text default 'pending'); + """) + + +def now(): + return time.time() + + +def in_quiet(ts=None): + if not QUIET: + return False + t = time.localtime(ts or now()) + cur = t.tm_hour * 60 + t.tm_min + for span in QUIET: + try: + a, b = span + h1, m1 = map(int, a.split(":")) + h2, m2 = map(int, b.split(":")) + start, end = h1 * 60 + m1, h2 * 60 + m2 + if start <= end: + if start <= cur < end: + return True + else: # через полночь + if cur >= start or cur < end: + return True + except Exception: + continue + return False + + +def notify(title, message, priority="normal", dedup_key=None): + """Доставка через хаб. Возвращает (delivered, note).""" + if in_quiet() and priority != "critical": + return 0, "quiet-hours" + data = json.dumps({"title": title, "message": message, "priority": priority}).encode() + req = urllib.request.Request(NOTIFY_URL, data=data, method="POST", + headers={"Content-Type": "application/json"}) + try: + with urllib.request.urlopen(req, timeout=10) as r: + return 1, f"http:{r.status}" + except Exception as e: + return 0, f"error:{str(e)[:60]}" + + +def add_event(source, etype, severity, title, body="", dedup_key=None, payload=None): + """Записать событие; при дубле в окне dedup — не доставлять повторно.""" + key = dedup_key or f"{source}:{etype}:{title}" + with _lock, db() as c: + prev = c.execute( + "select id, delivered from events where dedup_key=? and ts>? order by ts desc limit 1", + (key, now() - DEDUP_SEC)).fetchone() + if prev and prev["delivered"]: + c.execute("insert into events(ts,source,type,severity,title,body,dedup_key,delivered,delivery,payload)" + " values(?,?,?,?,?,?,?,0,'dedup',?)", + (now(), source, etype, severity, title, body, key, + json.dumps(payload or {}, ensure_ascii=False))) + return False + cur = c.execute( + "insert into events(ts,source,type,severity,title,body,dedup_key,payload)" + " values(?,?,?,?,?,?,?,?)", + (now(), source, etype, severity, title, body, key, + json.dumps(payload or {}, ensure_ascii=False))) + eid = cur.lastrowid + + prio = "critical" if severity in ("critical", "high") else "normal" + ok, note = notify(title, body or title, prio, key) + with db() as c: + c.execute("update events set delivered=?, delivery=? where id=?", (ok, note, eid)) + return True + + +# ---------------- задания ---------------- + +def load_jobs(): + try: + import yaml + return yaml.safe_load(open(JOBS, encoding="utf-8")) or {} + except Exception: + return {} + + +def run_job(name, job): + started = now() + cmd = job.get("command") + timeout = int(job.get("timeout", 600)) + retries = int(job.get("retries", 0)) + status, out = "ok", "" + for attempt in range(retries + 1): + try: + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + out = ((r.stdout or "") + (r.stderr or "")).strip() + status = "ok" if r.returncode == 0 else f"fail:{r.returncode}" + if status == "ok": + break + except subprocess.TimeoutExpired: + status, out = "timeout", f"таймаут {timeout}с" + except Exception as e: + status, out = "error", str(e)[:150] + time.sleep(2) + + ms = int((now() - started) * 1000) + with db() as c: + c.execute("""insert into jobs(name,last_run,last_status,last_ms,runs,fails) + values(?,?,?,?,1,?) + on conflict(name) do update set + last_run=excluded.last_run, last_status=excluded.last_status, + last_ms=excluded.last_ms, runs=runs+1, + fails=fails+excluded.fails""", + (name, started, status, ms, 0 if status == "ok" else 1)) + + if status != "ok": + add_event("hermes", "job", "medium", f"Задание провалено: {name}", out[:800], + dedup_key=f"job:{name}:{status}") + elif job.get("notify_on_success"): + add_event("hermes", "job", "low", f"Задание выполнено: {name}", out[:400], + dedup_key=f"job-ok:{name}:{int(started)//3600}") + return status, out + + +def scheduler_loop(): + while True: + try: + jobs = load_jobs() + t = time.localtime() + for name, job in (jobs or {}).items(): + if not isinstance(job, dict) or not job.get("command"): + continue + with db() as c: + row = c.execute("select last_run from jobs where name=?", (name,)).fetchone() + last = row["last_run"] if row else 0 + due = False + if job.get("every_seconds"): + due = (now() - (last or 0)) >= int(job["every_seconds"]) + elif job.get("daily_at"): + hh, mm = map(int, job["daily_at"].split(":")) + today = time.mktime((t.tm_year, t.tm_mon, t.tm_mday, hh, mm, 0, 0, 0, -1)) + due = now() >= today and (last or 0) < today + if due: + threading.Thread(target=run_job, args=(name, job), daemon=True).start() + time.sleep(1) + except Exception as e: + print("scheduler:", e, flush=True) + time.sleep(30) + + +def cleanup_loop(): + while True: + try: + with db() as c: + c.execute("delete from events where ts < ?", (now() - RETENTION_DAYS * 86400,)) + except Exception: + pass + time.sleep(3600) + + +# ---------------- HTTP ---------------- + +class Handler(BaseHTTPRequestHandler): + server_version = "hermes/0.1" + + def log_message(self, *a): + pass + + def _send(self, code, obj): + body = json.dumps(obj, ensure_ascii=False).encode() + self.send_response(code) + self.send_header("Content-Type", "application/json; charset=utf-8") + self.send_header("Content-Length", str(len(body))) + self.end_headers() + self.wfile.write(body) + + def _text(self, code, text): + body = text.encode() + self.send_response(code) + self.send_header("Content-Type", "text/plain; charset=utf-8") + self.send_header("Content-Length", str(len(body))) + self.end_headers() + self.wfile.write(body) + + def do_GET(self): + p = self.path.split("?")[0] + q = dict(re.findall(r"([^?&=]+)=([^&]*)", self.path)) + if p == "/health": + with db() as c: + n = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"] + pend = c.execute("select count(*) n from approvals where status='pending'").fetchone()["n"] + return self._send(200, {"status": "ok", "events_1h": n, "approvals_pending": pend, + "quiet": in_quiet()}) + if p == "/events": + limit = min(int(q.get("limit", 50)), 500) + with db() as c: + rows = c.execute("select * from events order by ts desc limit ?", (limit,)).fetchall() + return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]}) + if p == "/approvals": + with db() as c: + rows = c.execute("select * from approvals order by ts desc limit 50").fetchall() + return self._send(200, {"count": len(rows), "items": [dict(r) for r in rows]}) + if p == "/metrics": + with db() as c: + total = c.execute("select count(*) n from events").fetchone()["n"] + last_h = c.execute("select count(*) n from events where ts>?", (now() - 3600,)).fetchone()["n"] + undel = c.execute("select count(*) n from events where delivered=0").fetchone()["n"] + jobs = c.execute("select name,fails,runs,last_status from jobs").fetchall() + lines = ["# HELP hermes_events_total событий в журнале", + "# TYPE hermes_events_total gauge", + f"hermes_events_total {total}", + f"hermes_events_1h {last_h}", + f"hermes_events_undelivered {undel}", + f"hermes_quiet_active {1 if in_quiet() else 0}"] + for j in jobs: + lines.append(f'hermes_job_runs{{job="{j["name"]}",status="{j["last_status"]}"}} {j["runs"]}') + lines.append(f'hermes_job_fails{{job="{j["name"]}"}} {j["fails"]}') + return self._text(200, "\n".join(lines) + "\n") + return self._send(404, {"error": "not found"}) + + def do_POST(self): + p = self.path.split("?")[0] + length = int(self.headers.get("Content-Length") or 0) + raw = self.rfile.read(length) if length else b"{}" + try: + data = json.loads(raw or b"{}") + except Exception: + return self._send(400, {"error": "bad json"}) + + if p == "/event": + ok = add_event(data.get("source", "external"), data.get("type", "info"), + data.get("severity", "low"), data.get("title", "событие"), + data.get("body", ""), data.get("dedup_key"), data) + return self._send(200, {"accepted": True, "delivered": ok}) + + if p == "/alertmanager": + n = 0 + for a in data.get("alerts", []): + if a.get("status") == "resolved": + continue + labels = a.get("labels") or {} + ann = a.get("annotations") or {} + sev = labels.get("severity", "warning") + add_event("prometheus", labels.get("alertname", "alert"), + "critical" if sev == "critical" else "medium", + ann.get("summary") or labels.get("alertname", "алерт"), + ann.get("description", ""), + dedup_key=f"am:{labels.get('alertname')}:{labels.get('instance','')}") + n += 1 + return self._send(200, {"accepted": n}) + + m = re.match(r"^/jobs/([A-Za-z0-9_.-]+)/run$", p) + if m: + name = m.group(1) + jobs = load_jobs() or {} + if name not in jobs: + return self._send(404, {"error": "unknown job"}) + threading.Thread(target=run_job, args=(name, jobs[name]), daemon=True).start() + return self._send(202, {"started": name}) + + return self._send(404, {"error": "not found"}) + + +def main(): + init() + threading.Thread(target=scheduler_loop, daemon=True).start() + threading.Thread(target=cleanup_loop, daemon=True).start() + srv = ThreadingHTTPServer((HOST, PORT), Handler) + print(f"hermes слушает {HOST}:{PORT}", flush=True) + add_event("hermes", "start", "low", "Hermes запущен", f"порт {PORT}", + dedup_key=f"hermes-start:{int(now())//600}") + srv.serve_forever() + + +if __name__ == "__main__": + main() diff --git a/ops/hermes/hermes.yaml b/ops/hermes/hermes.yaml new file mode 100644 index 0000000..85994e7 --- /dev/null +++ b/ops/hermes/hermes.yaml @@ -0,0 +1,13 @@ +# Hermes: конфигурация шины событий +notify_url: "http://127.0.0.1:9120/notify" +dedup_seconds: 900 +retention_days: 30 +# Тихие часы: события ниже critical не будят +quiet_hours: + - ["23:30", "07:30"] + +# Что перекладываем на Hermes в первую очередь: +# - приём алертов Alertmanager (дедуп, тихие часы, доставка через хаб) +# - контроль свежести бэкапов (heartbeat в Kuma) +# - проверка обновлений образов (отчёт + возможное применение по подтверждению) +# - проверка дискового тренда diff --git a/ops/hermes/jobs.yaml b/ops/hermes/jobs.yaml new file mode 100644 index 0000000..0dc29c5 --- /dev/null +++ b/ops/hermes/jobs.yaml @@ -0,0 +1,25 @@ +# Задания Hermes. Владелец каждого — шина; расписание в одном месте. +backup-heartbeat: + command: "/usr/local/bin/backup-heartbeat.sh" + every_seconds: 1800 + timeout: 120 + retries: 1 + +updates-check: + command: "/opt/music-tools/venv/bin/python /opt/hub-core/check_updates.py" + every_seconds: 21600 + timeout: 900 + retries: 1 + +disk-trend: + command: "df -h / /mnt/media /mnt/archive | tail -3" + every_seconds: 3600 + notify_on_success: false + timeout: 30 + retries: 0 + +verify-services: + command: "curl -s --max-time 20 http://127.0.0.1:9120/status.json | /opt/music-tools/venv/bin/python -c \"import json,sys; d=json.load(sys.stdin); bad=[s['name'] for s in d.get('services',[]) if not s.get('up')]; print('лежат:', bad or 'нет')\"" + every_seconds: 3600 + timeout: 60 + retries: 1 diff --git a/ops/update-manager/services.yaml b/ops/update-manager/services.yaml index 70d30f0..4e5392b 100644 --- a/ops/update-manager/services.yaml +++ b/ops/update-manager/services.yaml @@ -211,6 +211,7 @@ services: critical: false backup: snapshot container: tautulli + decommissioned: true navidrome: ct_id: 125 compose_path: /opt/navidrome @@ -452,7 +453,6 @@ services: critical: true backup: snapshot container: matrix-coturn - kavita: ct_id: 111 wait: 120 @@ -477,7 +477,6 @@ services: healthcheck: url: http://192.168.1.110:8081/ container: monica - docmost: ct_id: 103 wait: 120