В prometheus.yml не было секции alerting — Prometheus не знал про Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не доходило до Matrix. Правила срабатывали внутри и молчали. Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end временным правилом vector(1): Prometheus видит Alertmanager, тревога переходит в firing, Alertmanager получает её, в Matrix приходит сообщение «🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог». Тестовое правило удалено, активных тревог 0, три правила ядра на месте. На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
40 lines
1.9 KiB
Markdown
40 lines
1.9 KiB
Markdown
# Цепочка тревог: Prometheus → Alertmanager → Matrix
|
||
|
||
## Найденный разрыв
|
||
|
||
В `prometheus.yml` **не было секции `alerting`**. Prometheus не знал про
|
||
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда
|
||
не отправляло тревогу в Matrix. Правила были, срабатывали внутри
|
||
Prometheus — и молчали.
|
||
|
||
## Что добавлено
|
||
|
||
```yaml
|
||
alerting:
|
||
alertmanagers:
|
||
- static_configs:
|
||
- targets: ["192.168.1.134:9093"]
|
||
```
|
||
|
||
## Как проверено end-to-end
|
||
|
||
1. Временное правило `HubTestAlert` с `expr: vector(1)` (срабатывает сразу).
|
||
2. Prometheus перезапущен, подождали 60 с.
|
||
3. Prometheus видит Alertmanager:
|
||
`{"activeAlertmanagers":[{"url":"http://192.168.1.134:9093/api/v2/alerts"}]}`
|
||
4. Тревога в Prometheus: `HubTestAlert | state: firing`.
|
||
5. Тревога в Alertmanager: `HubTestAlert | active | warning`.
|
||
6. **Сообщение в Matrix** (бот Инфраструктура):
|
||
«🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».
|
||
|
||
После проверки временное правило удалено: активных тревог 0, наши три
|
||
правила (`HubSilent`, `HubStorageHigh`, `HubBackupStale`) на месте.
|
||
|
||
## Что это значит
|
||
|
||
Теперь любое правило Prometheus реально доходит до человека: Alertmanager
|
||
шлёт вебхук на `http://192.168.1.10:9110/alertmanager`, ядро публикует
|
||
событие, маршрутизация отправляет его боту Инфраструктура.
|
||
|
||
До этой правки тревоги существовали только на бумаге.
|