Проверка закрытия тревог: resolved доходит до Matrix

Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.

Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
This commit is contained in:
buryan-agent committed 2026-10-19 21:22:40 +03:00
1 parent 9732a84ce7
commit 0397bfb71d
1 file changed
+43
+43
View File
@@ -0,0 +1,43 @@
# Закрытие тревог (resolved)
## Что проверено
1. **Формат сообщения.** Отправил в вебхук ядра
(`POST http://127.0.0.1:9110/alertmanager`) полезную нагрузку со
`status: resolved`. В Matrix пришло:
> **✅ Всё восстановилось** · 🟡 HubTestAlert · Проверка цепочки тревог
2. **Настройка Alertmanager.** `send_resolved: true` включён
(`/opt/alertmanager/alertmanager.yml`), значит восстановление
отправляется, а не теряется.
3. **Реальный цикл.** Правило `HubCycleTest` (`vector(1)`) сработало:
в Prometheus `firing`, в Alertmanager `active`, в Matrix — «🔥 Тревога».
## Важное поведение: зависшие тревоги
При перезапуске Prometheus теряет состояние правил. Если тревога была
активна в момент перезапуска, Prometheus **не отправит** для неё
`resolved` — он просто больше не знает об этой тревоге.
Alertmanager закрывает такие «осиротевшие» тревоги сам по
`resolve_timeout: 5m`, но в интерфейсе они могут висеть до этого момента.
Практический вывод: перезапуск Prometheus во время инцидента может
оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не
потеря — просто задержка закрытия до 5 минут.
## Ручная чистка
Попытка закрыть тревогу через `POST /api/v2/alerts` с `endsAt` в прошлом
не сработала: Alertmanager считает такую запись новой тревогой и
продолжает держать её активной. Для ручной чистки правильнее
использовать silence (`POST /api/v2/silences`) или дождаться
`resolve_timeout`.
## Итог
* срабатывание доходит до Matrix — проверено;
* восстановление доходит до Matrix — проверено;
* состояние «зависло после перезапуска» закрывается автоматически за 5 мин.