3.3 KiB
3.3 KiB
Тревоги (Alertmanager) — как это работает
Что сделано 16.10.2026
Правила тревог: /opt/prometheus/rules/buryan-alerts.yml (CT 134)
Alertmanager: CT 134, порт 9093
Приёмник: CT 134, порт 9099 (принимает тревоги)
Связка: тревога → Matrix + Telegram
Зачем
Было: о поломке узнаём от пользователя. Стало: узнаём мы, через 2 минуты после сбоя.
Правила тревог
| Тревога | Когда срабатывает | Важность |
|---|---|---|
| СлужбаНедоступна | сборщик метрик не отвечает 2 мин | критично |
| СлужбаПерезапускается | служба перезапускается 5 мин | внимание |
| МалоМеста | свободно < 15% | внимание |
| КритическиМалоМеста | свободно < 7% | критично |
| ВысокаяНагрузка | загрузка выше нормы 15 мин | внимание |
| МалоПамяти | свободно < 10% | внимание |
| ПроверкаКопийНеПроходила | больше 8 дней | критично |
Как устроено
Prometheus (правила) → Alertmanager (управление) → приёмник → Matrix + Telegram
Повтор тревоги: критичные — каждый час, обычные — каждые 4 часа. Группировка: по имени тревоги и хосту (не заваливает повторами).
Проверить вручную
# Состояние правил
curl -s http://192.168.1.134:9090/api/v1/rules | python3 -m json.tool | head -40
# Состояние Alertmanager
curl -s http://192.168.1.134:9093/api/v2/status | head -20
# Отправить пробную тревогу
curl -s -X POST http://192.168.1.134:9093/api/v2/alerts \
-H 'Content-Type: application/json' \
-d '[{"labels":{"alertname":"Проверка","severity":"warning","host":"тест"},
"annotations":{"summary":"Проверка связи"}}]'
ВАЖНО: проверять конфигурацию ПЕРЕД применением
16.10.2026 я сломал сбор метрик, добавив правила и перезапустив Prometheus без проверки. Он поднялся, но потерял все 29 целей.
Правильный порядок:
# 1. Правим настройку
# 2. ПРОВЕРЯЕМ:
pct exec 134 -- docker exec prometheus \
promtool check config /etc/prometheus/prometheus.yml
# 3. Только если «SUCCESS» — перезапускаем:
pct exec 134 -- docker restart prometheus
# 4. Проверяем, что цели вернулись:
curl -s http://192.168.1.134:9090/api/v1/targets | \
python3 -c "import json,sys; print(len(json.load(sys.stdin)['data']['activeTargets']))"
Правило: у каждой программы есть встроенная проверка
конфигурации — promtool у Prometheus, nginx -t у NGINX,
xray run -test у Xray. Пользоваться ею ДО применения.