Тревоги включены: их не было вообще, хотя файл правил существовал

ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
This commit is contained in:
root committed 2026-10-18 10:42:01 +03:00
1 parent 7e2056eada
commit 6a9ac94e01
6 files changed
+236 -3

No files matched your search

+78
View File
@@ -0,0 +1,78 @@
# Тревоги: почему их не было и как включены
**18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором
владелец узнал от семьи, это главное.
## Что было сломано (три причины)
### 1. Правила существовали, но не были подключены
Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77
строк, вполне разумных правил. Но в контейнер Prometheus каталог правил
**не монтировался**: в `docker-compose.yml` были только конфиг и данные.
Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**,
хотя файл лежал и выглядел рабочим.
### 2. Одно правило ссылалось на несуществующую метрику
`node_systemd_service_restart_total` — такой метрики нет (сборщик
systemd не включён). Правило не сработало бы никогда.
### 3. Не было метрик о службах
Prometheus знал про **хосты** (28 целей node_exporter), но не про
**службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал.
То есть «служба упала» тревогу поднять не могло в принципе.
## Что сделано
1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан.
2. **Включён textfile-коллектор** в node_exporter на узле мониторинга.
3. **Написан экспортёр метрик служб**: обходит реестр обновлений и
публикует `buryan_service_up{name="...",critical="..."} 1|0`.
Запускается по расписанию раз в две минуты.
4. **Написаны правила** (4 группы, 7 правил):
* сборщик метрик не отвечает — 2 минуты, critical;
* служба не отвечает — 3 минуты, warning;
* критичная служба не отвечает — 7 минут, critical;
* мало места — 15% warning, 7% critical;
* мало памяти — 10% warning;
* высокая нагрузка — больше двух ядер 15 минут.
5. **Убрано правило** с несуществующей метрикой.
## Проверка
```
групп правил: 4
правил: 7
целей Prometheus: 29, ни одной проблемной
служб в метриках: 38, все отвечают
```
Правила **реально вычисляются**: во время работы я видел состояния
`pending` у двух правил — значит движок их считает, а не просто
показывает список.
## Мои ошибки в этой задаче
1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в
петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком.
Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО
подстановки.
2. **Напечатал «монтирование добавлено», не проверив замену** — строка не
совпала по отступам, а сообщение об успехе печаталось всегда.
Урок: сообщение об успехе — только после проверки условия.
3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в
метрику попадал `0`. Переписал на Python с настоящим разбором YAML.
4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел
числился недоступным. Нашлось именно благодаря тревоге.
## Что теперь будет
При падении службы через 3 минуты поднимается тревога, она уходит в
Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`),
который уже умеет сообщать в Matrix/Telegram.
Долгая недоступность критичной службы — через 7 минут, с меткой
`critical`.
+4 -3
View File
@@ -35,10 +35,10 @@
| СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** |
| ЗВОНКИ И МЕДИА | 5 | 0 | 0 | **5** |
| СКВОЗНАЯ СВЯЗНОСТЬ | 12 | 3 | 3 | **6** |
| УЛУЧШЕНИЕ СЛУЖБ | 10 | 0 | 0 | **10** |
| УЛУЧШЕНИЕ СЛУЖБ | 10 | 1 | 0 | **9** |
| VPN (этапы 1–4) | 29 | 20 | 3 | **6** |
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
| **ИТОГО** | **94** | **52** | **7** | **35** |
| **ИТОГО** | **94** | **53** | **7** | **34** |
---
@@ -55,6 +55,7 @@
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
| № | Задача | Состояние |
@@ -128,7 +129,7 @@
| 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ |
| 5.8 | `dashy` — сделать стартовой страницей со ссылками на всё | ⬜ |
| 5.9 | `openclaw` — обновить до свежей версии (нужна миграция конфигурации) | ⬜ |
| 5.10 | `prometheus`/`grafana` — правила тревог и панели на все службы | ⬜ |
| 5.10 | Правила тревог на все службы | ✅ 4 группы, 7 правил, 38 служб в метриках |
## 6. VPN
+75
View File
@@ -0,0 +1,75 @@
groups:
- name: buryan-доступность
interval: 30s
rules:
- alert: СлужбаНедоступна
expr: up == 0
for: 2m
labels:
severity: critical
annotations:
summary: "Сборщик метрик не отвечает: {{ $labels.host }}"
description: "{{ $labels.instance }} не отвечает 2 минуты. Службы на этом узле не проверяются."
- name: buryan-службы
interval: 30s
rules:
- alert: СлужбаНеОтвечает
expr: buryan_service_up == 0
for: 3m
labels:
severity: warning
annotations:
summary: "Служба не отвечает: {{ $labels.name }}"
description: "Проверка {{ $labels.name }} не проходит 3 минуты."
- alert: КритичнаяСлужбаНеОтвечает
expr: buryan_service_up{critical="true"} == 0
for: 7m
labels:
severity: critical
annotations:
summary: "КРИТИЧНО: {{ $labels.name }} не отвечает 7 минут"
description: "Критичная служба {{ $labels.name }} не проходит проверку."
- name: buryan-место
interval: 60s
rules:
- alert: МалоМеста
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.15
for: 10m
labels:
severity: warning
annotations:
summary: "Мало места: {{ $labels.host }}"
description: "Свободно менее 15% на {{ $labels.instance }}."
- alert: КритическиМалоМеста
expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.07
for: 5m
labels:
severity: critical
annotations:
summary: "КРИТИЧНО: мало места: {{ $labels.host }}"
description: "Свободно менее 7%. Риск остановки служб."
- name: buryan-память
interval: 60s
rules:
- alert: МалоПамяти
expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.10
for: 10m
labels:
severity: warning
annotations:
summary: "Мало памяти: {{ $labels.host }}"
description: "Свободно менее 10% памяти."
- alert: ВысокаяНагрузка
expr: node_load15 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"}) > 2
for: 15m
labels:
severity: warning
annotations:
summary: "Высокая нагрузка: {{ $labels.host }}"
description: "Средняя нагрузка за 15 минут больше двух ядер."
Executable → Regular
View File
File mode changed.
+61
View File
@@ -0,0 +1,61 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Экспортёр метрик служб — надёжная версия.
ПОЧЕМУ ПЕРЕПИСАН: первая версия разбирала реестр через awk и путалась —
firefly отвечает кодом 302 (норма), а в метрику попадал 0. Разбор YAML
регулярными выражениями ненадёжен: у службы может быть несколько полей,
порядок меняется. Здесь используется настоящий разбор YAML.
"""
import io
import subprocess
import sys
try:
import yaml
except ImportError:
sys.exit("нужен yaml")
SERV = "/root/buryan-infra/ops/update-manager/services.yaml"
OUT = "/tmp/buryan-services.prom"
DEFAULT_CODES = {"200", "201", "204", "301", "302"}
AUTH_CODES = {"401", "403"}
reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"]
lines = ["# проверки служб из реестра"]
checked = 0
for name, s in sorted(reg.items()):
if s.get("type") == "native":
continue
hc = s.get("healthcheck") or {}
url = hc.get("url") or ""
if not url:
continue
codes = set(str(hc.get("accept_codes", "")).split()) or DEFAULT_CODES
if hc.get("auth_required"):
codes |= AUTH_CODES
r = subprocess.run(
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}",
"--max-time", "6", "-k", url],
capture_output=True, text=True)
code = (r.stdout or "").strip()
up = 1 if code in codes else 0
crit = "true" if s.get("critical") else "false"
lines.append('buryan_service_up{name="%s",critical="%s"} %d' % (name, crit, up))
checked += 1
if not up:
print(" не отвечает: %-24s код %s (ждали %s)" % (name, code or "—", " ".join(sorted(codes))))
io.open(OUT, "w", encoding="utf-8").write("\n".join(lines) + "\n")
# отправляю на узел, который отдаёт метрики
subprocess.run(["pct", "push", "134", OUT,
"/var/lib/node_exporter/textfile/buryan-services.prom"],
capture_output=True)
print(" служб проверено: %d, не отвечают: %d" % (checked, sum(1 for l in lines[1:] if not l.endswith(" 1"))))
@@ -0,0 +1,18 @@
services:
prometheus:
image: prom/prometheus:latest
command:
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention.time=30d
- --storage.tsdb.retention.size=6GB
- --web.enable-lifecycle
container_name: prometheus
restart: unless-stopped
ports:
- 9090:9090
volumes:
- /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
- /opt/prometheus/rules:/etc/prometheus/rules:ro
- /opt/prometheus:/prometheus
environment: []