Files
buryan-infra/ops/monitoring/export-service-metrics.py
T
root 6a9ac94e01 Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
2026-10-18 10:42:01 +03:00

62 lines
2.3 KiB
Python

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Экспортёр метрик служб — надёжная версия.
ПОЧЕМУ ПЕРЕПИСАН: первая версия разбирала реестр через awk и путалась —
firefly отвечает кодом 302 (норма), а в метрику попадал 0. Разбор YAML
регулярными выражениями ненадёжен: у службы может быть несколько полей,
порядок меняется. Здесь используется настоящий разбор YAML.
"""
import io
import subprocess
import sys
try:
import yaml
except ImportError:
sys.exit("нужен yaml")
SERV = "/root/buryan-infra/ops/update-manager/services.yaml"
OUT = "/tmp/buryan-services.prom"
DEFAULT_CODES = {"200", "201", "204", "301", "302"}
AUTH_CODES = {"401", "403"}
reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"]
lines = ["# проверки служб из реестра"]
checked = 0
for name, s in sorted(reg.items()):
if s.get("type") == "native":
continue
hc = s.get("healthcheck") or {}
url = hc.get("url") or ""
if not url:
continue
codes = set(str(hc.get("accept_codes", "")).split()) or DEFAULT_CODES
if hc.get("auth_required"):
codes |= AUTH_CODES
r = subprocess.run(
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}",
"--max-time", "6", "-k", url],
capture_output=True, text=True)
code = (r.stdout or "").strip()
up = 1 if code in codes else 0
crit = "true" if s.get("critical") else "false"
lines.append('buryan_service_up{name="%s",critical="%s"} %d' % (name, crit, up))
checked += 1
if not up:
print(" не отвечает: %-24s код %s (ждали %s)" % (name, code or "—", " ".join(sorted(codes))))
io.open(OUT, "w", encoding="utf-8").write("\n".join(lines) + "\n")
# отправляю на узел, который отдаёт метрики
subprocess.run(["pct", "push", "134", OUT,
"/var/lib/node_exporter/textfile/buryan-services.prom"],
capture_output=True)
print(" служб проверено: %d, не отвечают: %d" % (checked, sum(1 for l in lines[1:] if not l.endswith(" 1"))))