Раньше сверка писала проблемы только в базу — человек о них не узнавал. Теперь каждая находка уходит событием service.down через маршрутизацию ядра, а восстановление — одним сообщением «Все службы в порядке». Проверено: обычный прогон молчит (0 проблем), имитация падения дала тревогу в боте Инфраструктура, после удаления имитации снова 0.
2.0 KiB
2.0 KiB
Ночная сверка
Проверяет 18 служб и приводит реальность в порядок. Запуск: 03:30
(/etc/cron.d/hub-reconcile), лог /var/log/hub-reconcile.log.
Что делает
- Опрашивает каждую службу по HTTP (401/403/404 считаются «жива», проблема — только 5xx и отказ соединения).
- Если служба молчит, смотрит состояние контейнера.
- Если контейнер остановлен — поднимает его и проверяет снова.
- Пишет действие в журнал
actionsс полемrollback— как откатить. - Ведёт таблицу
problems: новая проблема создаётся, исчезнувшая — закрывается (resolved_at). - Сообщает о проблемах через ядро: событие
service.downуходит боту Инфраструктура по общим правилам маршрутизации. Когда всё наладилось — одно сообщение «Все службы в порядке».
Чего не делает автоматически
Всё, что меняет данные или настройки (удаление, правка конфигов, создание пользователей) — только фиксируется как проблема.
Проверено
- Обычный прогон: 18 проверок, 0 проблем, уведомлений нет (не шумит).
- Имитация падения: добавлена заведомо мёртвая служба — сверка нашла проблему и отправила в бота Инфраструктура: «🔴 тест недоступен — service.down (reconcile)».
- После удаления имитации: снова 0 проблем.