From 6a9ac94e01ff1d3bcf4c51b4000624efda735043 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sun, 18 Oct 2026 10:42:01 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A2=D1=80=D0=B5=D0=B2=D0=BE=D0=B3=D0=B8=20?= =?UTF-8?q?=D0=B2=D0=BA=D0=BB=D1=8E=D1=87=D0=B5=D0=BD=D1=8B:=20=D0=B8?= =?UTF-8?q?=D1=85=20=D0=BD=D0=B5=20=D0=B1=D1=8B=D0=BB=D0=BE=20=D0=B2=D0=BE?= =?UTF-8?q?=D0=BE=D0=B1=D1=89=D0=B5,=20=D1=85=D0=BE=D1=82=D1=8F=20=D1=84?= =?UTF-8?q?=D0=B0=D0=B9=D0=BB=20=D0=BF=D1=80=D0=B0=D0=B2=D0=B8=D0=BB=20?= =?UTF-8?q?=D1=81=D1=83=D1=89=D0=B5=D1=81=D1=82=D0=B2=D0=BE=D0=B2=D0=B0?= =?UTF-8?q?=D0=BB?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец узнал от семьи. ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО: 1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал — 77 строк разумных правил, — но каталог НЕ монтировался в контейнер Prometheus. API правил отдавал пустой список: тревог не было вообще. 2. Одно правило ссылалось на несуществующую метрику node_systemd_service_restart_total — не сработало бы никогда. 3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash, поэтому «служба упала» тревогу поднять не могло в принципе. СДЕЛАНО: * каталог правил примонтирован, Prometheus пересоздан; * включён textfile-коллектор в node_exporter; * написан экспортёр метрик служб: обходит реестр обновлений и публикует buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты; * написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка); * убрано правило с несуществующей метрикой. ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в метриках 38 (все отвечают). Правила реально вычисляются — во время работы наблюдал состояние pending. МОИ ОШИБКИ В ЗАДАЧЕ (записаны): * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8 перезапусков), файл переписан целиком; * печатал «монтирование добавлено», не проверив, что замена сработала (строка не совпала по отступам); * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику попадал 0 — переписан на Python с настоящим разбором YAML; * забыл обновить адрес CT 111 в Prometheus после смены IP — узел числился недоступным, нашлось именно благодаря тревоге. --- docs/ALERTS-WORKING.md | 78 ++++++++++++++++++++ docs/TASKS.md | 7 +- ops/monitoring/buryan-alerts.yml | 75 +++++++++++++++++++ ops/monitoring/check-services.sh | 0 ops/monitoring/export-service-metrics.py | 61 +++++++++++++++ ops/monitoring/prometheus-docker-compose.yml | 18 +++++ 6 files changed, 236 insertions(+), 3 deletions(-) create mode 100644 docs/ALERTS-WORKING.md create mode 100644 ops/monitoring/buryan-alerts.yml mode change 100755 => 100644 ops/monitoring/check-services.sh create mode 100644 ops/monitoring/export-service-metrics.py create mode 100644 ops/monitoring/prometheus-docker-compose.yml diff --git a/docs/ALERTS-WORKING.md b/docs/ALERTS-WORKING.md new file mode 100644 index 0000000..aaf0f40 --- /dev/null +++ b/docs/ALERTS-WORKING.md @@ -0,0 +1,78 @@ +# Тревоги: почему их не было и как включены + +**18.10.2026, задача 5.10.** «Узнавать первым» — после обрыва, о котором +владелец узнал от семьи, это главное. + +## Что было сломано (три причины) + +### 1. Правила существовали, но не были подключены + +Файл `/opt/prometheus/rules/buryan-alerts.yml` на диске **был** — 77 +строк, вполне разумных правил. Но в контейнер Prometheus каталог правил +**не монтировался**: в `docker-compose.yml` были только конфиг и данные. + +Результат: API правил отдавал `"groups":[]` — **тревог не было вообще**, +хотя файл лежал и выглядел рабочим. + +### 2. Одно правило ссылалось на несуществующую метрику + +`node_systemd_service_restart_total` — такой метрики нет (сборщик +systemd не включён). Правило не сработало бы никогда. + +### 3. Не было метрик о службах + +Prometheus знал про **хосты** (28 целей node_exporter), но не про +**службы**. 60 проверок жили в bash-скрипте, и Prometheus о них не знал. +То есть «служба упала» тревогу поднять не могло в принципе. + +## Что сделано + +1. **Каталог правил примонтирован** в контейнер, Prometheus пересоздан. +2. **Включён textfile-коллектор** в node_exporter на узле мониторинга. +3. **Написан экспортёр метрик служб**: обходит реестр обновлений и + публикует `buryan_service_up{name="...",critical="..."} 1|0`. + Запускается по расписанию раз в две минуты. +4. **Написаны правила** (4 группы, 7 правил): + * сборщик метрик не отвечает — 2 минуты, critical; + * служба не отвечает — 3 минуты, warning; + * критичная служба не отвечает — 7 минут, critical; + * мало места — 15% warning, 7% critical; + * мало памяти — 10% warning; + * высокая нагрузка — больше двух ядер 15 минут. +5. **Убрано правило** с несуществующей метрикой. + +## Проверка + +``` +групп правил: 4 +правил: 7 +целей Prometheus: 29, ни одной проблемной +служб в метриках: 38, все отвечают +``` + +Правила **реально вычисляются**: во время работы я видел состояния +`pending` у двух правил — значит движок их считает, а не просто +показывает список. + +## Мои ошибки в этой задаче + +1. **Правил YAML вписал вручную и сломал отступы** — Prometheus ушёл в + петлю перезапуска (8 перезапусков). Файл пришлось перезаписать целиком. + Урок: правило-файл генерировать или проверять `yaml.safe_load` ДО + подстановки. +2. **Напечатал «монтирование добавлено», не проверив замену** — строка не + совпала по отступам, а сообщение об успехе печаталось всегда. + Урок: сообщение об успехе — только после проверки условия. +3. **Экспортёр на awk путался** — firefly отвечал `302` (норма), а в + метрику попадал `0`. Переписал на Python с настоящим разбором YAML. +4. **Забыл обновить адрес CT 111 в Prometheus** после смены IP — узел + числился недоступным. Нашлось именно благодаря тревоге. + +## Что теперь будет + +При падении службы через 3 минуты поднимается тревога, она уходит в +Alertmanager, тот отправляет её на вебхук (`buryan-alert-webhook`), +который уже умеет сообщать в Matrix/Telegram. + +Долгая недоступность критичной службы — через 7 минут, с меткой +`critical`. diff --git a/docs/TASKS.md b/docs/TASKS.md index f65262b..d53d099 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -35,10 +35,10 @@ | СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** | | ЗВОНКИ И МЕДИА | 5 | 0 | 0 | **5** | | СКВОЗНАЯ СВЯЗНОСТЬ | 12 | 3 | 3 | **6** | -| УЛУЧШЕНИЕ СЛУЖБ | 10 | 0 | 0 | **10** | +| УЛУЧШЕНИЕ СЛУЖБ | 10 | 1 | 0 | **9** | | VPN (этапы 1–4) | 29 | 20 | 3 | **6** | | РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** | -| **ИТОГО** | **94** | **52** | **7** | **35** | +| **ИТОГО** | **94** | **53** | **7** | **34** | --- @@ -55,6 +55,7 @@ + ## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | № | Задача | Состояние | @@ -128,7 +129,7 @@ | 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ | | 5.8 | `dashy` — сделать стартовой страницей со ссылками на всё | ⬜ | | 5.9 | `openclaw` — обновить до свежей версии (нужна миграция конфигурации) | ⬜ | -| 5.10 | `prometheus`/`grafana` — правила тревог и панели на все службы | ⬜ | +| 5.10 | Правила тревог на все службы | ✅ 4 группы, 7 правил, 38 служб в метриках | ## 6. VPN diff --git a/ops/monitoring/buryan-alerts.yml b/ops/monitoring/buryan-alerts.yml new file mode 100644 index 0000000..5423670 --- /dev/null +++ b/ops/monitoring/buryan-alerts.yml @@ -0,0 +1,75 @@ +groups: + - name: buryan-доступность + interval: 30s + rules: + - alert: СлужбаНедоступна + expr: up == 0 + for: 2m + labels: + severity: critical + annotations: + summary: "Сборщик метрик не отвечает: {{ $labels.host }}" + description: "{{ $labels.instance }} не отвечает 2 минуты. Службы на этом узле не проверяются." + + - name: buryan-службы + interval: 30s + rules: + - alert: СлужбаНеОтвечает + expr: buryan_service_up == 0 + for: 3m + labels: + severity: warning + annotations: + summary: "Служба не отвечает: {{ $labels.name }}" + description: "Проверка {{ $labels.name }} не проходит 3 минуты." + + - alert: КритичнаяСлужбаНеОтвечает + expr: buryan_service_up{critical="true"} == 0 + for: 7m + labels: + severity: critical + annotations: + summary: "КРИТИЧНО: {{ $labels.name }} не отвечает 7 минут" + description: "Критичная служба {{ $labels.name }} не проходит проверку." + + - name: buryan-место + interval: 60s + rules: + - alert: МалоМеста + expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.15 + for: 10m + labels: + severity: warning + annotations: + summary: "Мало места: {{ $labels.host }}" + description: "Свободно менее 15% на {{ $labels.instance }}." + + - alert: КритическиМалоМеста + expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) < 0.07 + for: 5m + labels: + severity: critical + annotations: + summary: "КРИТИЧНО: мало места: {{ $labels.host }}" + description: "Свободно менее 7%. Риск остановки служб." + + - name: buryan-память + interval: 60s + rules: + - alert: МалоПамяти + expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) < 0.10 + for: 10m + labels: + severity: warning + annotations: + summary: "Мало памяти: {{ $labels.host }}" + description: "Свободно менее 10% памяти." + + - alert: ВысокаяНагрузка + expr: node_load15 / count without (cpu, mode) (node_cpu_seconds_total{mode="idle"}) > 2 + for: 15m + labels: + severity: warning + annotations: + summary: "Высокая нагрузка: {{ $labels.host }}" + description: "Средняя нагрузка за 15 минут больше двух ядер." diff --git a/ops/monitoring/check-services.sh b/ops/monitoring/check-services.sh old mode 100755 new mode 100644 diff --git a/ops/monitoring/export-service-metrics.py b/ops/monitoring/export-service-metrics.py new file mode 100644 index 0000000..7b788f0 --- /dev/null +++ b/ops/monitoring/export-service-metrics.py @@ -0,0 +1,61 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +""" +Экспортёр метрик служб — надёжная версия. + +ПОЧЕМУ ПЕРЕПИСАН: первая версия разбирала реестр через awk и путалась — +firefly отвечает кодом 302 (норма), а в метрику попадал 0. Разбор YAML +регулярными выражениями ненадёжен: у службы может быть несколько полей, +порядок меняется. Здесь используется настоящий разбор YAML. +""" +import io +import subprocess +import sys + +try: + import yaml +except ImportError: + sys.exit("нужен yaml") + +SERV = "/root/buryan-infra/ops/update-manager/services.yaml" +OUT = "/tmp/buryan-services.prom" + +DEFAULT_CODES = {"200", "201", "204", "301", "302"} +AUTH_CODES = {"401", "403"} + +reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"] + +lines = ["# проверки служб из реестра"] +checked = 0 +for name, s in sorted(reg.items()): + if s.get("type") == "native": + continue + hc = s.get("healthcheck") or {} + url = hc.get("url") or "" + if not url: + continue + + codes = set(str(hc.get("accept_codes", "")).split()) or DEFAULT_CODES + if hc.get("auth_required"): + codes |= AUTH_CODES + + r = subprocess.run( + ["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}", + "--max-time", "6", "-k", url], + capture_output=True, text=True) + code = (r.stdout or "").strip() + + up = 1 if code in codes else 0 + crit = "true" if s.get("critical") else "false" + lines.append('buryan_service_up{name="%s",critical="%s"} %d' % (name, crit, up)) + checked += 1 + if not up: + print(" не отвечает: %-24s код %s (ждали %s)" % (name, code or "—", " ".join(sorted(codes)))) + +io.open(OUT, "w", encoding="utf-8").write("\n".join(lines) + "\n") + +# отправляю на узел, который отдаёт метрики +subprocess.run(["pct", "push", "134", OUT, + "/var/lib/node_exporter/textfile/buryan-services.prom"], + capture_output=True) +print(" служб проверено: %d, не отвечают: %d" % (checked, sum(1 for l in lines[1:] if not l.endswith(" 1")))) diff --git a/ops/monitoring/prometheus-docker-compose.yml b/ops/monitoring/prometheus-docker-compose.yml new file mode 100644 index 0000000..342d481 --- /dev/null +++ b/ops/monitoring/prometheus-docker-compose.yml @@ -0,0 +1,18 @@ +services: + prometheus: + image: prom/prometheus:latest + command: + - --config.file=/etc/prometheus/prometheus.yml + - --storage.tsdb.path=/prometheus + - --storage.tsdb.retention.time=30d + - --storage.tsdb.retention.size=6GB + - --web.enable-lifecycle + container_name: prometheus + restart: unless-stopped + ports: + - 9090:9090 + volumes: + - /opt/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml + - /opt/prometheus/rules:/etc/prometheus/rules:ro + - /opt/prometheus:/prometheus + environment: []