ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
76 lines
2.9 KiB
YAML
76 lines
2.9 KiB
YAML
groups:
|
|
- name: buryan-доступность
|
|
interval: 30s
|
|
rules:
|
|
- alert: СлужбаНедоступна
|
|
expr: up == 0
|
|
for: 2m
|
|
labels:
|
|
severity: critical
|
|
annotations:
|
|
summary: "Сборщик метрик не отвечает: {{ $labels.host }}"
|
|
description: "{{ $labels.instance }} не отвечает 2 минуты. Службы на этом узле не проверяются."
|
|
|
|
- name: buryan-службы
|
|
interval: 30s
|
|
rules:
|
|
- alert: СлужбаНеОтвечает
|
|
expr: buryan_service_up == 0
|
|
for: 3m
|
|
labels:
|
|
severity: warning
|
|
annotations:
|
|
summary: "Служба не отвечает: {{ $labels.name }}"
|
|
description: "Проверка {{ $labels.name }} не проходит 3 минуты."
|
|
|
|
- alert: КритичнаяСлужбаНеОтвечает
|
|
expr: buryan_service_up{critical="true"} == 0
|
|
for: 7m
|
|
labels:
|
|
severity: critical
|
|
annotations:
|
|
summary: "КРИТИЧНО: {{ $labels.name }} не отвечает 7 минут"
|
|
description: "Критичная служба {{ $labels.name }} не проходит проверку."
|
|
|
|
- name: buryan-место
|
|
interval: 60s
|
|
rules:
|
|
- alert: МалоМеста
|
|
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.15
|
|
for: 10m
|
|
labels:
|
|
severity: warning
|
|
annotations:
|
|
summary: "Мало места: {{ $labels.host }}"
|
|
description: "Свободно менее 15% на {{ $labels.instance }}."
|
|
|
|
- alert: КритическиМалоМеста
|
|
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.07
|
|
for: 5m
|
|
labels:
|
|
severity: critical
|
|
annotations:
|
|
summary: "КРИТИЧНО: мало места: {{ $labels.host }}"
|
|
description: "Свободно менее 7%. Риск остановки служб."
|
|
|
|
- name: buryan-память
|
|
interval: 60s
|
|
rules:
|
|
- alert: МалоПамяти
|
|
expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.10
|
|
for: 10m
|
|
labels:
|
|
severity: warning
|
|
annotations:
|
|
summary: "Мало памяти: {{ $labels.host }}"
|
|
description: "Свободно менее 10% памяти."
|
|
|
|
- alert: ВысокаяНагрузка
|
|
expr: node_load15 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"}) > 2
|
|
for: 15m
|
|
labels:
|
|
severity: warning
|
|
annotations:
|
|
summary: "Высокая нагрузка: {{ $labels.host }}"
|
|
description: "Средняя нагрузка за 15 минут больше двух ядер."
|