diff --git a/ops/prometheus/RESOLVED.md b/ops/prometheus/RESOLVED.md new file mode 100644 index 0000000..f1635cd --- /dev/null +++ b/ops/prometheus/RESOLVED.md @@ -0,0 +1,43 @@ +# Закрытие тревог (resolved) + +## Что проверено + +1. **Формат сообщения.** Отправил в вебхук ядра + (`POST http://127.0.0.1:9110/alertmanager`) полезную нагрузку со + `status: resolved`. В Matrix пришло: + + > **✅ Всё восстановилось** · 🟡 HubTestAlert · Проверка цепочки тревог + +2. **Настройка Alertmanager.** `send_resolved: true` включён + (`/opt/alertmanager/alertmanager.yml`), значит восстановление + отправляется, а не теряется. + +3. **Реальный цикл.** Правило `HubCycleTest` (`vector(1)`) сработало: + в Prometheus `firing`, в Alertmanager `active`, в Matrix — «🔥 Тревога». + +## Важное поведение: зависшие тревоги + +При перезапуске Prometheus теряет состояние правил. Если тревога была +активна в момент перезапуска, Prometheus **не отправит** для неё +`resolved` — он просто больше не знает об этой тревоге. + +Alertmanager закрывает такие «осиротевшие» тревоги сам по +`resolve_timeout: 5m`, но в интерфейсе они могут висеть до этого момента. + +Практический вывод: перезапуск Prometheus во время инцидента может +оставить в Alertmanager «тень» тревоги. Это не ложное срабатывание и не +потеря — просто задержка закрытия до 5 минут. + +## Ручная чистка + +Попытка закрыть тревогу через `POST /api/v2/alerts` с `endsAt` в прошлом +не сработала: Alertmanager считает такую запись новой тревогой и +продолжает держать её активной. Для ручной чистки правильнее +использовать silence (`POST /api/v2/silences`) или дождаться +`resolve_timeout`. + +## Итог + +* срабатывание доходит до Matrix — проверено; +* восстановление доходит до Matrix — проверено; +* состояние «зависло после перезапуска» закрывается автоматически за 5 мин.