Проверка закрытия тревог: resolved доходит до Matrix
Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.
Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
This commit is contained in:
1 parent
9732a84ce7
commit
0397bfb71d
1 file changed
+43
@@ -0,0 +1,43 @@
|
||||
# Закрытие тревог (resolved)
|
||||
|
||||
## Что проверено
|
||||
|
||||
1. **Формат сообщения.** Отправил в вебхук ядра
|
||||
(`POST http://127.0.0.1:9110/alertmanager`) полезную нагрузку со
|
||||
`status: resolved`. В Matrix пришло:
|
||||
|
||||
> **✅ Всё восстановилось** · 🟡 HubTestAlert · Проверка цепочки тревог
|
||||
|
||||
2. **Настройка Alertmanager.** `send_resolved: true` включён
|
||||
(`/opt/alertmanager/alertmanager.yml`), значит восстановление
|
||||
отправляется, а не теряется.
|
||||
|
||||
3. **Реальный цикл.** Правило `HubCycleTest` (`vector(1)`) сработало:
|
||||
в Prometheus `firing`, в Alertmanager `active`, в Matrix — «🔥 Тревога».
|
||||
|
||||
## Важное поведение: зависшие тревоги
|
||||
|
||||
При перезапуске Prometheus теряет состояние правил. Если тревога была
|
||||
активна в момент перезапуска, Prometheus **не отправит** для неё
|
||||
`resolved` — он просто больше не знает об этой тревоге.
|
||||
|
||||
Alertmanager закрывает такие «осиротевшие» тревоги сам по
|
||||
`resolve_timeout: 5m`, но в интерфейсе они могут висеть до этого момента.
|
||||
|
||||
Практический вывод: перезапуск Prometheus во время инцидента может
|
||||
оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не
|
||||
потеря — просто задержка закрытия до 5 минут.
|
||||
|
||||
## Ручная чистка
|
||||
|
||||
Попытка закрыть тревогу через `POST /api/v2/alerts` с `endsAt` в прошлом
|
||||
не сработала: Alertmanager считает такую запись новой тревогой и
|
||||
продолжает держать её активной. Для ручной чистки правильнее
|
||||
использовать silence (`POST /api/v2/silences`) или дождаться
|
||||
`resolve_timeout`.
|
||||
|
||||
## Итог
|
||||
|
||||
* срабатывание доходит до Matrix — проверено;
|
||||
* восстановление доходит до Matrix — проверено;
|
||||
* состояние «зависло после перезапуска» закрывается автоматически за 5 мин.
|
||||
Reference in new issue
Block a user