Чиню цепочку тревог: Prometheus не отправлял их в Alertmanager
В prometheus.yml не было секции alerting — Prometheus не знал про Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не доходило до Matrix. Правила срабатывали внутри и молчали. Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end временным правилом vector(1): Prometheus видит Alertmanager, тревога переходит в firing, Alertmanager получает её, в Matrix приходит сообщение «🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог». Тестовое правило удалено, активных тревог 0, три правила ядра на месте. На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
This commit is contained in:
1 parent
1e024e29a1
commit
9732a84ce7
2 files changed
+42
No files matched your search
@@ -488,6 +488,9 @@ th{{color:#7d8b99;font-weight:500}}
|
||||
<div class="card"><b>{links}</b><span>связей</span></div>
|
||||
</div>
|
||||
<h2>Проблемы</h2><table><tr><th>проверка</th><th>что не так</th></tr>{prow}</table>
|
||||
<h2>Графики</h2>
|
||||
<div>Дашборд: <a href="http://192.168.1.113:3000/d/buryan-hub">Grafana — Buryan Hub</a>
|
||||
· <a href="/metrics">метрики Prometheus</a></div>
|
||||
<h2>Доступы по сервисам</h2>
|
||||
<div class="muted">аудит по понедельникам, команда !users у бота Инфраструктура</div>
|
||||
<pre>{identity_text}</pre>
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
# Цепочка тревог: Prometheus → Alertmanager → Matrix
|
||||
|
||||
## Найденный разрыв
|
||||
|
||||
В `prometheus.yml` **не было секции `alerting`**. Prometheus не знал про
|
||||
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда
|
||||
не отправляло тревогу в Matrix. Правила были, срабатывали внутри
|
||||
Prometheus — и молчали.
|
||||
|
||||
## Что добавлено
|
||||
|
||||
```yaml
|
||||
alerting:
|
||||
alertmanagers:
|
||||
- static_configs:
|
||||
- targets: ["192.168.1.134:9093"]
|
||||
```
|
||||
|
||||
## Как проверено end-to-end
|
||||
|
||||
1. Временное правило `HubTestAlert` с `expr: vector(1)` (срабатывает сразу).
|
||||
2. Prometheus перезапущен, подождали 60 с.
|
||||
3. Prometheus видит Alertmanager:
|
||||
`{"activeAlertmanagers":[{"url":"http://192.168.1.134:9093/api/v2/alerts"}]}`
|
||||
4. Тревога в Prometheus: `HubTestAlert | state: firing`.
|
||||
5. Тревога в Alertmanager: `HubTestAlert | active | warning`.
|
||||
6. **Сообщение в Matrix** (бот Инфраструктура):
|
||||
«🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».
|
||||
|
||||
После проверки временное правило удалено: активных тревог 0, наши три
|
||||
правила (`HubSilent`, `HubStorageHigh`, `HubBackupStale`) на месте.
|
||||
|
||||
## Что это значит
|
||||
|
||||
Теперь любое правило Prometheus реально доходит до человека: Alertmanager
|
||||
шлёт вебхук на `http://192.168.1.10:9110/alertmanager`, ядро публикует
|
||||
событие, маршрутизация отправляет его боту Инфраструктура.
|
||||
|
||||
До этой правки тревоги существовали только на бумаге.
|
||||
Reference in new issue
Block a user