Files
buryan-infra/docs/ALERTS-WORKING.md
root 6a9ac94e01 Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
2026-10-18 10:42:01 +03:00

79 lines
4.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Тревоги: почему их не было и как включены
**18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором
владелец узнал от семьи, это главное.
## Что было сломано (три причины)
### 1. Правила существовали, но не были подключены
Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77
строк, вполне разумных правил. Но в контейнер Prometheus каталог правил
**не монтировался**: в `docker-compose.yml` были только конфиг и данные.
Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**,
хотя файл лежал и выглядел рабочим.
### 2. Одно правило ссылалось на несуществующую метрику
`node_systemd_service_restart_total` — такой метрики нет (сборщик
systemd не включён). Правило не сработало бы никогда.
### 3. Не было метрик о службах
Prometheus знал про **хосты** (28 целей node_exporter), но не про
**службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал.
То есть «служба упала» тревогу поднять не могло в принципе.
## Что сделано
1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан.
2. **Включён textfile-коллектор** в node_exporter на узле мониторинга.
3. **Написан экспортёр метрик служб**: обходит реестр обновлений и
публикует `buryan_service_up{name="...",critical="..."} 1|0`.
Запускается по расписанию раз в две минуты.
4. **Написаны правила** (4 группы, 7 правил):
* сборщик метрик не отвечает — 2 минуты, critical;
* служба не отвечает — 3 минуты, warning;
* критичная служба не отвечает — 7 минут, critical;
* мало места — 15% warning, 7% critical;
* мало памяти — 10% warning;
* высокая нагрузка — больше двух ядер 15 минут.
5. **Убрано правило** с несуществующей метрикой.
## Проверка
```
групп правил: 4
правил: 7
целей Prometheus: 29, ни одной проблемной
служб в метриках: 38, все отвечают
```
Правила **реально вычисляются**: во время работы я видел состояния
`pending` у двух правил — значит движок их считает, а не просто
показывает список.
## Мои ошибки в этой задаче
1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в
петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком.
Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО
подстановки.
2. **Напечатал «монтирование добавлено», не проверив замену** — строка не
совпала по отступам, а сообщение об успехе печаталось всегда.
Урок: сообщение об успехе — только после проверки условия.
3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в
метрику попадал `0`. Переписал на Python с настоящим разбором YAML.
4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел
числился недоступным. Нашлось именно благодаря тревоге.
## Что теперь будет
При падении службы через 3 минуты поднимается тревога, она уходит в
Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`),
который уже умеет сообщать в Matrix/Telegram.
Долгая недоступность критичной службы — через 7 минут, с меткой
`critical`.