Files
buryan-infra/ops/monitoring/ALERTS-HOWTO.md

3.3 KiB
Raw Permalink Blame History

Тревоги (Alertmanager) — как это работает

Что сделано 16.10.2026

Правила тревог:   /opt/prometheus/rules/buryan-alerts.yml (CT 134)
Alertmanager:     CT 134, порт 9093
Приёмник:         CT 134, порт 9099 (принимает тревоги)
Связка:           тревога → Matrix + Telegram

Зачем

Было: о поломке узнаём от пользователя. Стало: узнаём мы, через 2 минуты после сбоя.

Правила тревог

Тревога Когда срабатывает Важность
СлужбаНедоступна сборщик метрик не отвечает 2 мин критично
СлужбаПерезапускается служба перезапускается 5 мин внимание
МалоМеста свободно < 15% внимание
КритическиМалоМеста свободно < 7% критично
ВысокаяНагрузка загрузка выше нормы 15 мин внимание
МалоПамяти свободно < 10% внимание
ПроверкаКопийНеПроходила больше 8 дней критично

Как устроено

Prometheus (правила) → Alertmanager (управление) → приёмник → Matrix + Telegram

Повтор тревоги: критичные — каждый час, обычные — каждые 4 часа. Группировка: по имени тревоги и хосту (не заваливает повторами).

Проверить вручную

# Состояние правил
curl -s http://192.168.1.134:9090/api/v1/rules | python3 -m json.tool | head -40

# Состояние Alertmanager
curl -s http://192.168.1.134:9093/api/v2/status | head -20

# Отправить пробную тревогу
curl -s -X POST http://192.168.1.134:9093/api/v2/alerts \
  -H 'Content-Type: application/json' \
  -d '[{"labels":{"alertname":"Проверка","severity":"warning","host":"тест"},
       "annotations":{"summary":"Проверка связи"}}]'

ВАЖНО: проверять конфигурацию ПЕРЕД применением

16.10.2026 я сломал сбор метрик, добавив правила и перезапустив Prometheus без проверки. Он поднялся, но потерял все 29 целей.

Правильный порядок:

# 1. Правим настройку
# 2. ПРОВЕРЯЕМ:
pct exec 134 -- docker exec prometheus \
    promtool check config /etc/prometheus/prometheus.yml
# 3. Только если «SUCCESS» — перезапускаем:
pct exec 134 -- docker restart prometheus
# 4. Проверяем, что цели вернулись:
curl -s http://192.168.1.134:9090/api/v1/targets | \
    python3 -c "import json,sys; print(len(json.load(sys.stdin)['data']['activeTargets']))"

Правило: у каждой программы есть встроенная проверка конфигурации — promtool у Prometheus, nginx -t у NGINX, xray run -test у Xray. Пользоваться ею ДО применения.