Files
buryan-infra/ops/prometheus/RESOLVED.md
buryan-agent 0397bfb71d Проверка закрытия тревог: resolved доходит до Matrix
Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.

Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
2026-10-19 21:22:40 +03:00

2.5 KiB
Raw Permalink Blame History

Закрытие тревог (resolved)

Что проверено

  1. Формат сообщения. Отправил в вебхук ядра (POST http://127.0.0.1:9110/alertmanager) полезную нагрузку со status: resolved. В Matrix пришло:

    ✅ Всё восстановилось · 🟡 HubTestAlert · Проверка цепочки тревог

  2. Настройка Alertmanager. send_resolved: true включён (/opt/alertmanager/alertmanager.yml), значит восстановление отправляется, а не теряется.

  3. Реальный цикл. Правило HubCycleTest (vector(1)) сработало: в Prometheus firing, в Alertmanager active, в Matrix — «🔥 Тревога».

Важное поведение: зависшие тревоги

При перезапуске Prometheus теряет состояние правил. Если тревога была активна в момент перезапуска, Prometheus не отправит для неё resolved — он просто больше не знает об этой тревоге.

Alertmanager закрывает такие «осиротевшие» тревоги сам по resolve_timeout: 5m, но в интерфейсе они могут висеть до этого момента.

Практический вывод: перезапуск Prometheus во время инцидента может оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не потеря — просто задержка закрытия до 5 минут.

Ручная чистка

Попытка закрыть тревогу через POST /api/v2/alerts с endsAt в прошлом не сработала: Alertmanager считает такую запись новой тревогой и продолжает держать её активной. Для ручной чистки правильнее использовать silence (POST /api/v2/silences) или дождаться resolve_timeout.

Итог

  • срабатывание доходит до Matrix — проверено;
  • восстановление доходит до Matrix — проверено;
  • состояние «зависло после перезапуска» закрывается автоматически за 5 мин.