# Тревоги: почему их не было и как включены **18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором владелец узнал от семьи, это главное. ## Что было сломано (три причины) ### 1. Правила существовали, но не были подключены Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77 строк, вполне разумных правил. Но в контейнер Prometheus каталог правил **не монтировался**: в `docker-compose.yml` были только конфиг и данные. Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**, хотя файл лежал и выглядел рабочим. ### 2. Одно правило ссылалось на несуществующую метрику `node_systemd_service_restart_total` — такой метрики нет (сборщик systemd не включён). Правило не сработало бы никогда. ### 3. Не было метрик о службах Prometheus знал про **хосты** (28 целей node_exporter), но не про **службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал. То есть «служба упала» тревогу поднять не могло в принципе. ## Что сделано 1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан. 2. **Включён textfile-коллектор** в node_exporter на узле мониторинга. 3. **Написан экспортёр метрик служб**: обходит реестр обновлений и публикует `buryan_service_up{name="...",critical="..."} 1|0`. Запускается по расписанию раз в две минуты. 4. **Написаны правила** (4 группы, 7 правил): * сборщик метрик не отвечает — 2 минуты, critical; * служба не отвечает — 3 минуты, warning; * критичная служба не отвечает — 7 минут, critical; * мало места — 15% warning, 7% critical; * мало памяти — 10% warning; * высокая нагрузка — больше двух ядер 15 минут. 5. **Убрано правило** с несуществующей метрикой. ## Проверка ``` групп правил: 4 правил: 7 целей Prometheus: 29, ни одной проблемной служб в метриках: 38, все отвечают ``` Правила **реально вычисляются**: во время работы я видел состояния `pending` у двух правил — значит движок их считает, а не просто показывает список. ## Мои ошибки в этой задаче 1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком. Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО подстановки. 2. **Напечатал «монтирование добавлено», не проверив замену** — строка не совпала по отступам, а сообщение об успехе печаталось всегда. Урок: сообщение об успехе — только после проверки условия. 3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в метрику попадал `0`. Переписал на Python с настоящим разбором YAML. 4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел числился недоступным. Нашлось именно благодаря тревоге. ## Что теперь будет При падении службы через 3 минуты поднимается тревога, она уходит в Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`), который уже умеет сообщать в Matrix/Telegram. Долгая недоступность критичной службы — через 7 минут, с меткой `critical`.