Раньше сверка писала проблемы только в базу — человек о них не узнавал. Теперь каждая находка уходит событием service.down через маршрутизацию ядра, а восстановление — одним сообщением «Все службы в порядке». Проверено: обычный прогон молчит (0 проблем), имитация падения дала тревогу в боте Инфраструктура, после удаления имитации снова 0.
31 lines
2.0 KiB
Markdown
31 lines
2.0 KiB
Markdown
# Ночная сверка
|
||
|
||
Проверяет 18 служб и приводит реальность в порядок. Запуск: 03:30
|
||
(`/etc/cron.d/hub-reconcile`), лог `/var/log/hub-reconcile.log`.
|
||
|
||
## Что делает
|
||
|
||
1. Опрашивает каждую службу по HTTP (401/403/404 считаются «жива»,
|
||
проблема — только 5xx и отказ соединения).
|
||
2. Если служба молчит, смотрит состояние контейнера.
|
||
3. Если контейнер остановлен — **поднимает его** и проверяет снова.
|
||
4. Пишет действие в журнал `actions` с полем `rollback` — как откатить.
|
||
5. Ведёт таблицу `problems`: новая проблема создаётся, исчезнувшая —
|
||
закрывается (`resolved_at`).
|
||
6. **Сообщает о проблемах** через ядро: событие `service.down` уходит
|
||
боту Инфраструктура по общим правилам маршрутизации. Когда всё
|
||
наладилось — одно сообщение «Все службы в порядке».
|
||
|
||
## Чего не делает автоматически
|
||
|
||
Всё, что меняет данные или настройки (удаление, правка конфигов,
|
||
создание пользователей) — только фиксируется как проблема.
|
||
|
||
## Проверено
|
||
|
||
* Обычный прогон: 18 проверок, 0 проблем, уведомлений нет (не шумит).
|
||
* Имитация падения: добавлена заведомо мёртвая служба — сверка нашла
|
||
проблему и отправила в бота Инфраструктура:
|
||
«🔴 тест недоступен — service.down (reconcile)».
|
||
* После удаления имитации: снова 0 проблем.
|