Files

75 lines
3.3 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Тревоги (Alertmanager) — как это работает
## Что сделано 16.10.2026
```
Правила тревог: /opt/prometheus/rules/buryan-alerts.yml (CT 134)
Alertmanager: CT 134, порт 9093
Приёмник: CT 134, порт 9099 (принимает тревоги)
Связка: тревога → Matrix + Telegram
```
## Зачем
**Было:** о поломке узнаём от пользователя.
**Стало:** узнаём мы, через 2 минуты после сбоя.
## Правила тревог
| Тревога | Когда срабатывает | Важность |
|---|---|---|
| **СлужбаНедоступна** | сборщик метрик не отвечает 2 мин | критично |
| **СлужбаПерезапускается** | служба перезапускается 5 мин | внимание |
| **МалоМеста** | свободно < 15% | внимание |
| **КритическиМалоМеста** | свободно < 7% | критично |
| **ВысокаяНагрузка** | загрузка выше нормы 15 мин | внимание |
| **МалоПамяти** | свободно < 10% | внимание |
| **ПроверкаКопийНеПроходила** | больше 8 дней | критично |
## Как устроено
```
Prometheus (правила) → Alertmanager (управление) → приёмник → Matrix + Telegram
```
**Повтор тревоги:** критичные — каждый час, обычные — каждые 4 часа.
**Группировка:** по имени тревоги и хосту (не заваливает повторами).
## Проверить вручную
```bash
# Состояние правил
curl -s http://192.168.1.134:9090/api/v1/rules | python3 -m json.tool | head -40
# Состояние Alertmanager
curl -s http://192.168.1.134:9093/api/v2/status | head -20
# Отправить пробную тревогу
curl -s -X POST http://192.168.1.134:9093/api/v2/alerts \
-H 'Content-Type: application/json' \
-d '[{"labels":{"alertname":"Проверка","severity":"warning","host":"тест"},
"annotations":{"summary":"Проверка связи"}}]'
```
## ВАЖНО: проверять конфигурацию ПЕРЕД применением
**16.10.2026 я сломал сбор метрик**, добавив правила и перезапустив
Prometheus без проверки. Он поднялся, но **потерял все 29 целей**.
**Правильный порядок:**
```bash
# 1. Правим настройку
# 2. ПРОВЕРЯЕМ:
pct exec 134 -- docker exec prometheus \
promtool check config /etc/prometheus/prometheus.yml
# 3. Только если «SUCCESS» — перезапускаем:
pct exec 134 -- docker restart prometheus
# 4. Проверяем, что цели вернулись:
curl -s http://192.168.1.134:9090/api/v1/targets | \
python3 -c "import json,sys; print(len(json.load(sys.stdin)['data']['activeTargets']))"
```
**Правило:** у каждой программы есть встроенная проверка
конфигурации — `promtool` у Prometheus, `nginx -t` у NGINX,
`xray run -test` у Xray. **Пользоваться ею ДО применения.**