ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
4.7 KiB
Тревоги: почему их не было и как включены
18.10.2026, задача 5.10. «Узнавать первым» — после обрыва, о котором владелец узнал от семьи, это главное.
Что было сломано (три причины)
1. Правила существовали, но не были подключены
Файл /opt/prometheus/rules/buryan-alerts.yml на диске был — 77
строк, вполне разумных правил. Но в контейнер Prometheus каталог правил
не монтировался: в docker-compose.yml были только конфиг и данные.
Результат: API правил отдавал "groups":[] — тревог не было вообще,
хотя файл лежал и выглядел рабочим.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — такой метрики нет (сборщик
systemd не включён). Правило не сработало бы никогда.
3. Не было метрик о службах
Prometheus знал про хосты (28 целей node_exporter), но не про службы. 60 проверок жили в bash-скрипте, и Prometheus о них не знал. То есть «служба упала» тревогу поднять не могло в принципе.
Что сделано
- Каталог правил примонтирован в контейнер, Prometheus пересоздан.
- Включён textfile-коллектор в node_exporter на узле мониторинга.
- Написан экспортёр метрик служб: обходит реестр обновлений и
публикует
buryan_service_up{name="...",critical="..."} 1|0. Запускается по расписанию раз в две минуты. - Написаны правила (4 группы, 7 правил):
- сборщик метрик не отвечает — 2 минуты, critical;
- служба не отвечает — 3 минуты, warning;
- критичная служба не отвечает — 7 минут, critical;
- мало места — 15% warning, 7% critical;
- мало памяти — 10% warning;
- высокая нагрузка — больше двух ядер 15 минут.
- Убрано правило с несуществующей метрикой.
Проверка
групп правил: 4
правил: 7
целей Prometheus: 29, ни одной проблемной
служб в метриках: 38, все отвечают
Правила реально вычисляются: во время работы я видел состояния
pending у двух правил — значит движок их считает, а не просто
показывает список.
Мои ошибки в этой задаче
- Правил YAML вписал вручную и сломал отступы — Prometheus ушёл в
петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком.
Урок: правило-файл генерировать или проверять
yaml.safe_loadДО подстановки. - Напечатал «монтирование добавлено», не проверив замену — строка не совпала по отступам, а сообщение об успехе печаталось всегда. Урок: сообщение об успехе — только после проверки условия.
- Экспортёр на awk путался — firefly отвечал
302(норма), а в метрику попадал0. Переписал на Python с настоящим разбором YAML. - Забыл обновить адрес CT 111 в Prometheus после смены IP — узел числился недоступным. Нашлось именно благодаря тревоге.
Что теперь будет
При падении службы через 3 минуты поднимается тревога, она уходит в
Alertmanager, тот отправляет её на вебхук (buryan-alert-webhook),
который уже умеет сообщать в Matrix/Telegram.
Долгая недоступность критичной службы — через 7 минут, с меткой
critical.