Files
buryan-infra/docs/ALERTS-WORKING.md
root 6a9ac94e01 Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
2026-10-18 10:42:01 +03:00

4.7 KiB

Тревоги: почему их не было и как включены

18.10.2026, задача 5.10. «Узнавать первым» — после обрыва, о котором владелец узнал от семьи, это главное.

Что было сломано (три причины)

1. Правила существовали, но не были подключены

Файл /opt/prometheus/rules/buryan-alerts.yml на диске был — 77 строк, вполне разумных правил. Но в контейнер Prometheus каталог правил не монтировался: в docker-compose.yml были только конфиг и данные.

Результат: API правил отдавал "groups":[] — тревог не было вообще, хотя файл лежал и выглядел рабочим.

2. Одно правило ссылалось на несуществующую метрику

node_systemd_service_restart_total — такой метрики нет (сборщик systemd не включён). Правило не сработало бы никогда.

3. Не было метрик о службах

Prometheus знал про хосты (28 целей node_exporter), но не про службы. 60 проверок жили в bash-скрипте, и Prometheus о них не знал. То есть «служба упала» тревогу поднять не могло в принципе.

Что сделано

  1. Каталог правил примонтирован в контейнер, Prometheus пересоздан.
  2. Включён textfile-коллектор в node_exporter на узле мониторинга.
  3. Написан экспортёр метрик служб: обходит реестр обновлений и публикует buryan_service_up{name="...",critical="..."} 1|0. Запускается по расписанию раз в две минуты.
  4. Написаны правила (4 группы, 7 правил):
    • сборщик метрик не отвечает — 2 минуты, critical;
    • служба не отвечает — 3 минуты, warning;
    • критичная служба не отвечает — 7 минут, critical;
    • мало места — 15% warning, 7% critical;
    • мало памяти — 10% warning;
    • высокая нагрузка — больше двух ядер 15 минут.
  5. Убрано правило с несуществующей метрикой.

Проверка

групп правил:      4
правил:            7
целей Prometheus:  29, ни одной проблемной
служб в метриках:  38, все отвечают

Правила реально вычисляются: во время работы я видел состояния pending у двух правил — значит движок их считает, а не просто показывает список.

Мои ошибки в этой задаче

  1. Правил YAML вписал вручную и сломал отступы — Prometheus ушёл в петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком. Урок: правило-файл генерировать или проверять yaml.safe_load ДО подстановки.
  2. Напечатал «монтирование добавлено», не проверив замену — строка не совпала по отступам, а сообщение об успехе печаталось всегда. Урок: сообщение об успехе — только после проверки условия.
  3. Экспортёр на awk путался — firefly отвечал 302 (норма), а в метрику попадал 0. Переписал на Python с настоящим разбором YAML.
  4. Забыл обновить адрес CT 111 в Prometheus после смены IP — узел числился недоступным. Нашлось именно благодаря тревоге.

Что теперь будет

При падении службы через 3 минуты поднимается тревога, она уходит в Alertmanager, тот отправляет её на вебхук (buryan-alert-webhook), который уже умеет сообщать в Matrix/Telegram.

Долгая недоступность критичной службы — через 7 минут, с меткой critical.