Files
buryan-infra/ops/prometheus/RESOLVED.md
buryan-agent 0397bfb71d Проверка закрытия тревог: resolved доходит до Matrix
Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.

Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
2026-10-19 21:22:40 +03:00

44 lines
2.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Закрытие тревог (resolved)
## Что проверено
1. **Формат сообщения.** Отправил в вебхук ядра
(`POST http://127.0.0.1:9110/alertmanager`) полезную нагрузку со
`status: resolved`. В Matrix пришло:
> **✅ Всё восстановилось** · 🟡 HubTestAlert · Проверка цепочки тревог
2. **Настройка Alertmanager.** `send_resolved: true` включён
(`/opt/alertmanager/alertmanager.yml`), значит восстановление
отправляется, а не теряется.
3. **Реальный цикл.** Правило `HubCycleTest` (`vector(1)`) сработало:
в Prometheus `firing`, в Alertmanager `active`, в Matrix — «🔥 Тревога».
## Важное поведение: зависшие тревоги
При перезапуске Prometheus теряет состояние правил. Если тревога была
активна в момент перезапуска, Prometheus **не отправит** для неё
`resolved` — он просто больше не знает об этой тревоге.
Alertmanager закрывает такие «осиротевшие» тревоги сам по
`resolve_timeout: 5m`, но в интерфейсе они могут висеть до этого момента.
Практический вывод: перезапуск Prometheus во время инцидента может
оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не
потеря — просто задержка закрытия до 5 минут.
## Ручная чистка
Попытка закрыть тревогу через `POST /api/v2/alerts` с `endsAt` в прошлом
не сработала: Alertmanager считает такую запись новой тревогой и
продолжает держать её активной. Для ручной чистки правильнее
использовать silence (`POST /api/v2/silences`) или дождаться
`resolve_timeout`.
## Итог
* срабатывание доходит до Matrix — проверено;
* восстановление доходит до Matrix — проверено;
* состояние «зависло после перезапуска» закрывается автоматически за 5 мин.