Files
buryan-infra/ops/monitoring/buryan-alerts.yml
root 6a9ac94e01 Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
2026-10-18 10:42:01 +03:00

76 lines
2.9 KiB
YAML

groups:
- name: buryan-доступность
interval: 30s
rules:
- alert: СлужбаНедоступна
expr: up == 0
for: 2m
labels:
severity: critical
annotations:
summary: "Сборщик метрик не отвечает: {{ $labels.host }}"
description: "{{ $labels.instance }} не отвечает 2 минуты. Службы на этом узле не проверяются."
- name: buryan-службы
interval: 30s
rules:
- alert: СлужбаНеОтвечает
expr: buryan_service_up == 0
for: 3m
labels:
severity: warning
annotations:
summary: "Служба не отвечает: {{ $labels.name }}"
description: "Проверка {{ $labels.name }} не проходит 3 минуты."
- alert: КритичнаяСлужбаНеОтвечает
expr: buryan_service_up{critical="true"} == 0
for: 7m
labels:
severity: critical
annotations:
summary: "КРИТИЧНО: {{ $labels.name }} не отвечает 7 минут"
description: "Критичная служба {{ $labels.name }} не проходит проверку."
- name: buryan-место
interval: 60s
rules:
- alert: МалоМеста
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.15
for: 10m
labels:
severity: warning
annotations:
summary: "Мало места: {{ $labels.host }}"
description: "Свободно менее 15% на {{ $labels.instance }}."
- alert: КритическиМалоМеста
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.07
for: 5m
labels:
severity: critical
annotations:
summary: "КРИТИЧНО: мало места: {{ $labels.host }}"
description: "Свободно менее 7%. Риск остановки служб."
- name: buryan-память
interval: 60s
rules:
- alert: МалоПамяти
expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.10
for: 10m
labels:
severity: warning
annotations:
summary: "Мало памяти: {{ $labels.host }}"
description: "Свободно менее 10% памяти."
- alert: ВысокаяНагрузка
expr: node_load15 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"}) > 2
for: 15m
labels:
severity: warning
annotations:
summary: "Высокая нагрузка: {{ $labels.host }}"
description: "Средняя нагрузка за 15 минут больше двух ядер."