ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
79 lines
4.7 KiB
Markdown
79 lines
4.7 KiB
Markdown
# Тревоги: почему их не было и как включены
|
||
|
||
**18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором
|
||
владелец узнал от семьи, это главное.
|
||
|
||
## Что было сломано (три причины)
|
||
|
||
### 1. Правила существовали, но не были подключены
|
||
|
||
Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77
|
||
строк, вполне разумных правил. Но в контейнер Prometheus каталог правил
|
||
**не монтировался**: в `docker-compose.yml` были только конфиг и данные.
|
||
|
||
Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**,
|
||
хотя файл лежал и выглядел рабочим.
|
||
|
||
### 2. Одно правило ссылалось на несуществующую метрику
|
||
|
||
`node_systemd_service_restart_total` — такой метрики нет (сборщик
|
||
systemd не включён). Правило не сработало бы никогда.
|
||
|
||
### 3. Не было метрик о службах
|
||
|
||
Prometheus знал про **хосты** (28 целей node_exporter), но не про
|
||
**службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал.
|
||
То есть «служба упала» тревогу поднять не могло в принципе.
|
||
|
||
## Что сделано
|
||
|
||
1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан.
|
||
2. **Включён textfile-коллектор** в node_exporter на узле мониторинга.
|
||
3. **Написан экспортёр метрик служб**: обходит реестр обновлений и
|
||
публикует `buryan_service_up{name="...",critical="..."} 1|0`.
|
||
Запускается по расписанию раз в две минуты.
|
||
4. **Написаны правила** (4 группы, 7 правил):
|
||
* сборщик метрик не отвечает — 2 минуты, critical;
|
||
* служба не отвечает — 3 минуты, warning;
|
||
* критичная служба не отвечает — 7 минут, critical;
|
||
* мало места — 15% warning, 7% critical;
|
||
* мало памяти — 10% warning;
|
||
* высокая нагрузка — больше двух ядер 15 минут.
|
||
5. **Убрано правило** с несуществующей метрикой.
|
||
|
||
## Проверка
|
||
|
||
```
|
||
групп правил: 4
|
||
правил: 7
|
||
целей Prometheus: 29, ни одной проблемной
|
||
служб в метриках: 38, все отвечают
|
||
```
|
||
|
||
Правила **реально вычисляются**: во время работы я видел состояния
|
||
`pending` у двух правил — значит движок их считает, а не просто
|
||
показывает список.
|
||
|
||
## Мои ошибки в этой задаче
|
||
|
||
1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в
|
||
петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком.
|
||
Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО
|
||
подстановки.
|
||
2. **Напечатал «монтирование добавлено», не проверив замену** — строка не
|
||
совпала по отступам, а сообщение об успехе печаталось всегда.
|
||
Урок: сообщение об успехе — только после проверки условия.
|
||
3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в
|
||
метрику попадал `0`. Переписал на Python с настоящим разбором YAML.
|
||
4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел
|
||
числился недоступным. Нашлось именно благодаря тревоге.
|
||
|
||
## Что теперь будет
|
||
|
||
При падении службы через 3 минуты поднимается тревога, она уходит в
|
||
Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`),
|
||
который уже умеет сообщать в Matrix/Telegram.
|
||
|
||
Долгая недоступность критичной службы — через 7 минут, с меткой
|
||
`critical`.
|