ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
62 lines
2.3 KiB
Python
62 lines
2.3 KiB
Python
#!/usr/bin/env python3
|
|
# -*- coding: utf-8 -*-
|
|
"""
|
|
Экспортёр метрик служб — надёжная версия.
|
|
|
|
ПОЧЕМУ ПЕРЕПИСАН: первая версия разбирала реестр через awk и путалась —
|
|
firefly отвечает кодом 302 (норма), а в метрику попадал 0. Разбор YAML
|
|
регулярными выражениями ненадёжен: у службы может быть несколько полей,
|
|
порядок меняется. Здесь используется настоящий разбор YAML.
|
|
"""
|
|
import io
|
|
import subprocess
|
|
import sys
|
|
|
|
try:
|
|
import yaml
|
|
except ImportError:
|
|
sys.exit("нужен yaml")
|
|
|
|
SERV = "/root/buryan-infra/ops/update-manager/services.yaml"
|
|
OUT = "/tmp/buryan-services.prom"
|
|
|
|
DEFAULT_CODES = {"200", "201", "204", "301", "302"}
|
|
AUTH_CODES = {"401", "403"}
|
|
|
|
reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"]
|
|
|
|
lines = ["# проверки служб из реестра"]
|
|
checked = 0
|
|
for name, s in sorted(reg.items()):
|
|
if s.get("type") == "native":
|
|
continue
|
|
hc = s.get("healthcheck") or {}
|
|
url = hc.get("url") or ""
|
|
if not url:
|
|
continue
|
|
|
|
codes = set(str(hc.get("accept_codes", "")).split()) or DEFAULT_CODES
|
|
if hc.get("auth_required"):
|
|
codes |= AUTH_CODES
|
|
|
|
r = subprocess.run(
|
|
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}",
|
|
"--max-time", "6", "-k", url],
|
|
capture_output=True, text=True)
|
|
code = (r.stdout or "").strip()
|
|
|
|
up = 1 if code in codes else 0
|
|
crit = "true" if s.get("critical") else "false"
|
|
lines.append('buryan_service_up{name="%s",critical="%s"} %d' % (name, crit, up))
|
|
checked += 1
|
|
if not up:
|
|
print(" не отвечает: %-24s код %s (ждали %s)" % (name, code or "—", " ".join(sorted(codes))))
|
|
|
|
io.open(OUT, "w", encoding="utf-8").write("\n".join(lines) + "\n")
|
|
|
|
# отправляю на узел, который отдаёт метрики
|
|
subprocess.run(["pct", "push", "134", OUT,
|
|
"/var/lib/node_exporter/textfile/buryan-services.prom"],
|
|
capture_output=True)
|
|
print(" служб проверено: %d, не отвечают: %d" % (checked, sum(1 for l in lines[1:] if not l.endswith(" 1"))))
|