# Тревоги (Alertmanager) — как это работает ## Что сделано 16.10.2026 ``` Правила тревог: /opt/prometheus/rules/buryan-alerts.yml (CT 134) Alertmanager: CT 134, порт 9093 Приёмник: CT 134, порт 9099 (принимает тревоги) Связка: тревога → Matrix + Telegram ``` ## Зачем **Было:** о поломке узнаём от пользователя. **Стало:** узнаём мы, через 2 минуты после сбоя. ## Правила тревог | Тревога | Когда срабатывает | Важность | |---|---|---| | **СлужбаНедоступна** | сборщик метрик не отвечает 2 мин | критично | | **СлужбаПерезапускается** | служба перезапускается 5 мин | внимание | | **МалоМеста** | свободно < 15% | внимание | | **КритическиМалоМеста** | свободно < 7% | критично | | **ВысокаяНагрузка** | загрузка выше нормы 15 мин | внимание | | **МалоПамяти** | свободно < 10% | внимание | | **ПроверкаКопийНеПроходила** | больше 8 дней | критично | ## Как устроено ``` Prometheus (правила) → Alertmanager (управление) → приёмник → Matrix + Telegram ``` **Повтор тревоги:** критичные — каждый час, обычные — каждые 4 часа. **Группировка:** по имени тревоги и хосту (не заваливает повторами). ## Проверить вручную ```bash # Состояние правил curl -s http://192.168.1.134:9090/api/v1/rules | python3 -m json.tool | head -40 # Состояние Alertmanager curl -s http://192.168.1.134:9093/api/v2/status | head -20 # Отправить пробную тревогу curl -s -X POST http://192.168.1.134:9093/api/v2/alerts \ -H 'Content-Type: application/json' \ -d '[{"labels":{"alertname":"Проверка","severity":"warning","host":"тест"}, "annotations":{"summary":"Проверка связи"}}]' ``` ## ВАЖНО: проверять конфигурацию ПЕРЕД применением **16.10.2026 я сломал сбор метрик**, добавив правила и перезапустив Prometheus без проверки. Он поднялся, но **потерял все 29 целей**. **Правильный порядок:** ```bash # 1. Правим настройку # 2. ПРОВЕРЯЕМ: pct exec 134 -- docker exec prometheus \ promtool check config /etc/prometheus/prometheus.yml # 3. Только если «SUCCESS» — перезапускаем: pct exec 134 -- docker restart prometheus # 4. Проверяем, что цели вернулись: curl -s http://192.168.1.134:9090/api/v1/targets | \ python3 -c "import json,sys; print(len(json.load(sys.stdin)['data']['activeTargets']))" ``` **Правило:** у каждой программы есть встроенная проверка конфигурации — `promtool` у Prometheus, `nginx -t` у NGINX, `xray run -test` у Xray. **Пользоваться ею ДО применения.**