75 lines
3.3 KiB
Markdown
75 lines
3.3 KiB
Markdown
# Тревоги (Alertmanager) — как это работает
|
||
|
||
## Что сделано 16.10.2026
|
||
|
||
```
|
||
Правила тревог: /opt/prometheus/rules/buryan-alerts.yml (CT 134)
|
||
Alertmanager: CT 134, порт 9093
|
||
Приёмник: CT 134, порт 9099 (принимает тревоги)
|
||
Связка: тревога → Matrix + Telegram
|
||
```
|
||
|
||
## Зачем
|
||
|
||
**Было:** о поломке узнаём от пользователя.
|
||
**Стало:** узнаём мы, через 2 минуты после сбоя.
|
||
|
||
## Правила тревог
|
||
|
||
| Тревога | Когда срабатывает | Важность |
|
||
|---|---|---|
|
||
| **СлужбаНедоступна** | сборщик метрик не отвечает 2 мин | критично |
|
||
| **СлужбаПерезапускается** | служба перезапускается 5 мин | внимание |
|
||
| **МалоМеста** | свободно < 15% | внимание |
|
||
| **КритическиМалоМеста** | свободно < 7% | критично |
|
||
| **ВысокаяНагрузка** | загрузка выше нормы 15 мин | внимание |
|
||
| **МалоПамяти** | свободно < 10% | внимание |
|
||
| **ПроверкаКопийНеПроходила** | больше 8 дней | критично |
|
||
|
||
## Как устроено
|
||
|
||
```
|
||
Prometheus (правила) → Alertmanager (управление) → приёмник → Matrix + Telegram
|
||
```
|
||
|
||
**Повтор тревоги:** критичные — каждый час, обычные — каждые 4 часа.
|
||
**Группировка:** по имени тревоги и хосту (не заваливает повторами).
|
||
|
||
## Проверить вручную
|
||
|
||
```bash
|
||
# Состояние правил
|
||
curl -s http://192.168.1.134:9090/api/v1/rules | python3 -m json.tool | head -40
|
||
|
||
# Состояние Alertmanager
|
||
curl -s http://192.168.1.134:9093/api/v2/status | head -20
|
||
|
||
# Отправить пробную тревогу
|
||
curl -s -X POST http://192.168.1.134:9093/api/v2/alerts \
|
||
-H 'Content-Type: application/json' \
|
||
-d '[{"labels":{"alertname":"Проверка","severity":"warning","host":"тест"},
|
||
"annotations":{"summary":"Проверка связи"}}]'
|
||
```
|
||
|
||
## ВАЖНО: проверять конфигурацию ПЕРЕД применением
|
||
|
||
**16.10.2026 я сломал сбор метрик**, добавив правила и перезапустив
|
||
Prometheus без проверки. Он поднялся, но **потерял все 29 целей**.
|
||
|
||
**Правильный порядок:**
|
||
```bash
|
||
# 1. Правим настройку
|
||
# 2. ПРОВЕРЯЕМ:
|
||
pct exec 134 -- docker exec prometheus \
|
||
promtool check config /etc/prometheus/prometheus.yml
|
||
# 3. Только если «SUCCESS» — перезапускаем:
|
||
pct exec 134 -- docker restart prometheus
|
||
# 4. Проверяем, что цели вернулись:
|
||
curl -s http://192.168.1.134:9090/api/v1/targets | \
|
||
python3 -c "import json,sys; print(len(json.load(sys.stdin)['data']['activeTargets']))"
|
||
```
|
||
|
||
**Правило:** у каждой программы есть встроенная проверка
|
||
конфигурации — `promtool` у Prometheus, `nginx -t` у NGINX,
|
||
`xray run -test` у Xray. **Пользоваться ею ДО применения.**
|