Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.
Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
2.5 KiB
Закрытие тревог (resolved)
Что проверено
-
Формат сообщения. Отправил в вебхук ядра (
POST http://127.0.0.1:9110/alertmanager) полезную нагрузку соstatus: resolved. В Matrix пришло:✅ Всё восстановилось · 🟡 HubTestAlert · Проверка цепочки тревог
-
Настройка Alertmanager.
send_resolved: trueвключён (/opt/alertmanager/alertmanager.yml), значит восстановление отправляется, а не теряется. -
Реальный цикл. Правило
HubCycleTest(vector(1)) сработало: в Prometheusfiring, в Alertmanageractive, в Matrix — «🔥 Тревога».
Важное поведение: зависшие тревоги
При перезапуске Prometheus теряет состояние правил. Если тревога была
активна в момент перезапуска, Prometheus не отправит для неё
resolved — он просто больше не знает об этой тревоге.
Alertmanager закрывает такие «осиротевшие» тревоги сам по
resolve_timeout: 5m, но в интерфейсе они могут висеть до этого момента.
Практический вывод: перезапуск Prometheus во время инцидента может оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не потеря — просто задержка закрытия до 5 минут.
Ручная чистка
Попытка закрыть тревогу через POST /api/v2/alerts с endsAt в прошлом
не сработала: Alertmanager считает такую запись новой тревогой и
продолжает держать её активной. Для ручной чистки правильнее
использовать silence (POST /api/v2/silences) или дождаться
resolve_timeout.
Итог
- срабатывание доходит до Matrix — проверено;
- восстановление доходит до Matrix — проверено;
- состояние «зависло после перезапуска» закрывается автоматически за 5 мин.