В prometheus.yml не было секции alerting — Prometheus не знал про Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не доходило до Matrix. Правила срабатывали внутри и молчали. Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end временным правилом vector(1): Prometheus видит Alertmanager, тревога переходит в firing, Alertmanager получает её, в Matrix приходит сообщение «🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог». Тестовое правило удалено, активных тревог 0, три правила ядра на месте. На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
1.9 KiB
1.9 KiB
Цепочка тревог: Prometheus → Alertmanager → Matrix
Найденный разрыв
В prometheus.yml не было секции alerting. Prometheus не знал про
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда
не отправляло тревогу в Matrix. Правила были, срабатывали внутри
Prometheus — и молчали.
Что добавлено
alerting:
alertmanagers:
- static_configs:
- targets: ["192.168.1.134:9093"]
Как проверено end-to-end
- Временное правило
HubTestAlertсexpr: vector(1)(срабатывает сразу). - Prometheus перезапущен, подождали 60 с.
- Prometheus видит Alertmanager:
{"activeAlertmanagers":[{"url":"http://192.168.1.134:9093/api/v2/alerts"}]} - Тревога в Prometheus:
HubTestAlert | state: firing. - Тревога в Alertmanager:
HubTestAlert | active | warning. - Сообщение в Matrix (бот Инфраструктура): «🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».
После проверки временное правило удалено: активных тревог 0, наши три
правила (HubSilent, HubStorageHigh, HubBackupStale) на месте.
Что это значит
Теперь любое правило Prometheus реально доходит до человека: Alertmanager
шлёт вебхук на http://192.168.1.10:9110/alertmanager, ядро публикует
событие, маршрутизация отправляет его боту Инфраструктура.
До этой правки тревоги существовали только на бумаге.