Files
buryan-infra/ops/hub-core/RECONCILE.md
T
buryan-agent 5e4c033944 Сверка сообщает о проблемах боту инфраструктуры
Раньше сверка писала проблемы только в базу — человек о них не узнавал.
Теперь каждая находка уходит событием service.down через маршрутизацию ядра,
а восстановление — одним сообщением «Все службы в порядке».

Проверено: обычный прогон молчит (0 проблем), имитация падения дала
тревогу в боте Инфраструктура, после удаления имитации снова 0.
2026-10-19 20:18:31 +03:00

2.0 KiB
Raw Blame History

Ночная сверка

Проверяет 18 служб и приводит реальность в порядок. Запуск: 03:30 (/etc/cron.d/hub-reconcile), лог /var/log/hub-reconcile.log.

Что делает

  1. Опрашивает каждую службу по HTTP (401/403/404 считаются «жива», проблема — только 5xx и отказ соединения).
  2. Если служба молчит, смотрит состояние контейнера.
  3. Если контейнер остановлен — поднимает его и проверяет снова.
  4. Пишет действие в журнал actions с полем rollback — как откатить.
  5. Ведёт таблицу problems: новая проблема создаётся, исчезнувшая — закрывается (resolved_at).
  6. Сообщает о проблемах через ядро: событие service.down уходит боту Инфраструктура по общим правилам маршрутизации. Когда всё наладилось — одно сообщение «Все службы в порядке».

Чего не делает автоматически

Всё, что меняет данные или настройки (удаление, правка конфигов, создание пользователей) — только фиксируется как проблема.

Проверено

  • Обычный прогон: 18 проверок, 0 проблем, уведомлений нет (не шумит).
  • Имитация падения: добавлена заведомо мёртвая служба — сверка нашла проблему и отправила в бота Инфраструктура: «🔴 тест недоступен — service.down (reconcile)».
  • После удаления имитации: снова 0 проблем.