From d9fac17571604d2b0ee512f1cfa226a2181bacc3 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Mon, 19 Oct 2026 21:14:33 +0300 Subject: [PATCH] =?UTF-8?q?=D0=AF=D0=B4=D1=80=D0=BE=20=D0=BE=D1=82=D0=B4?= =?UTF-8?q?=D0=B0=D1=91=D1=82=20=D0=BC=D0=B5=D1=82=D1=80=D0=B8=D0=BA=D0=B8?= =?UTF-8?q?=20=D0=B2=20Prometheus=20+=20=D1=82=D1=80=D0=B8=20=D1=82=D1=80?= =?UTF-8?q?=D0=B5=D0=B2=D0=BE=D0=B3=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit GET /metrics в формате Prometheus: события по источникам, события за сутки, карточки по видам, открытые проблемы, действия автоматики, связи, заполненность хранилищ и возраст бэкапов. Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики hub_problems_open и hub_events_24h читаются. Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh (хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены, состояние inactive, health ok. Старый файл из 10 правил не тронут. Ловушки: контейнер не может править свой конфиг (правим на хосте); блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML; правила держим отдельным файлом. --- ops/hub-core/core.py | 101 +++++++++++++++++++++++++++++++++++++++ ops/prometheus/README.md | 65 +++++++++++++++++++++++++ 2 files changed, 166 insertions(+) create mode 100644 ops/prometheus/README.md diff --git a/ops/hub-core/core.py b/ops/hub-core/core.py index 8466d12..3d11eab 100644 --- a/ops/hub-core/core.py +++ b/ops/hub-core/core.py @@ -279,6 +279,96 @@ def do_service_history(source, limit=50): return {"source": source, "count": len(rows), "items": rows} + + +def do_metrics(): + """Метрики в формате Prometheus.""" + lines = [] + con = db() + cur = con.cursor() + + cur.execute("select source, count(*) from events group by source") + lines.append("# HELP hub_events_total События по источникам") + lines.append("# TYPE hub_events_total counter") + for src, n in cur.fetchall(): + lines.append(f'hub_events_total{{source="{src}"}} {n}') + + cur.execute("select count(*) from events where at > now() - interval '24 hours'") + lines.append("# HELP hub_events_24h События за сутки") + lines.append("# TYPE hub_events_24h gauge") + lines.append(f"hub_events_24h {cur.fetchone()[0]}") + + cur.execute("select kind, count(*) from entities group by kind") + lines.append("# HELP hub_entities Карточки по видам") + lines.append("# TYPE hub_entities gauge") + for kind, n in cur.fetchall(): + safe = (kind or "unknown").replace('"', "") + lines.append(f'hub_entities{{kind="{safe}"}} {n}') + + cur.execute("select count(*) from problems where resolved_at is null") + lines.append("# HELP hub_problems_open Открытые проблемы") + lines.append("# TYPE hub_problems_open gauge") + lines.append(f"hub_problems_open {cur.fetchone()[0]}") + + cur.execute("select kind, status, count(*) from actions group by kind, status") + lines.append("# HELP hub_actions Действия автоматики") + lines.append("# TYPE hub_actions counter") + for kind, status, n in cur.fetchall(): + lines.append(f'hub_actions{{kind="{kind}",status="{status}"}} {n}') + + cur.execute("select count(*) from entity_links") + lines.append("# HELP hub_links Связи между карточками") + lines.append("# TYPE hub_links gauge") + lines.append(f"hub_links {cur.fetchone()[0]}") + + con.close() + + # хранилища + try: + import subprocess + out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=15) + lines.append("# HELP hub_storage_percent Заполненность хранилищ") + lines.append("# TYPE hub_storage_percent gauge") + for line in out.stdout.splitlines()[1:]: + parts = line.split() + if len(parts) >= 7 and parts[6].endswith("%"): + try: + lines.append(f'hub_storage_percent{{name="{parts[0]}",type="{parts[1]}"}} ' + f'{float(parts[6].rstrip("%"))}') + except ValueError: + pass + except Exception: + pass + + # возраст бэкапов + try: + import time + lines.append("# HELP hub_backup_age_hours Возраст последнего бэкапа") + lines.append("# TYPE hub_backup_age_hours gauge") + checks = { + "postgresql": "/var/log/hub-pg-verify.log", + "matrix": "/var/log/hub-matrix-backup.log", + "bots": "/var/log/hub-bots-verify.log", + "offsite": "/var/log/hub-offsite-verify.log", + "core": "/mnt/backups/hub-core", + } + for name, path in checks.items(): + try: + if os.path.isdir(path): + files = [os.path.join(path, f) for f in os.listdir(path)] + mtime = max(os.path.getmtime(f) for f in files) if files else 0 + else: + mtime = os.path.getmtime(path) + lines.append(f'hub_backup_age_hours{{name="{name}"}} ' + f'{round((time.time() - mtime) / 3600, 1)}') + except OSError: + pass + except Exception: + pass + + return "\n".join(lines) + "\n" + + def render_panel(): """HTML-страница: состояние системы в одном месте.""" try: @@ -503,6 +593,17 @@ class Handler(BaseHTTPRequestHandler): return self._json(200, {"ok": True, "events": n}) except Exception as e: return self._json(500, {"ok": False, "error": str(e)[:200]}) + if self.path.startswith("/metrics"): + try: + body = do_metrics().encode("utf-8") + except Exception as e: + body = f"# error: {e}".encode() + self.send_response(200) + self.send_header("Content-Type", "text/plain; version=0.0.4; charset=utf-8") + self.send_header("Content-Length", str(len(body))) + self.end_headers() + self.wfile.write(body) + return if self.path == "/services": try: return self._json(200, do_services()) diff --git a/ops/prometheus/README.md b/ops/prometheus/README.md new file mode 100644 index 0000000..ed06e4c --- /dev/null +++ b/ops/prometheus/README.md @@ -0,0 +1,65 @@ +# Ядро в Prometheus и Grafana + +## Что добавлено + +Эндпоинт `GET http://192.168.1.10:9120/metrics` в формате Prometheus: + +| Метрика | Смысл | +|---|---| +| `hub_events_total{source}` | события по источникам | +| `hub_events_24h` | события за сутки | +| `hub_entities{kind}` | карточки по видам | +| `hub_problems_open` | открытые проблемы | +| `hub_actions{kind,status}` | действия автоматики | +| `hub_links` | связи между карточками | +| `hub_storage_percent{name,type}` | заполненность хранилищ | +| `hub_backup_age_hours{name}` | возраст последнего бэкапа | + +## Подключение + +`/opt/prometheus/prometheus.yml` (CT 134) — цель `hub-core`: + +```yaml + - job_name: hub-core + static_configs: + - targets: ["192.168.1.10:9120"] + labels: + app: hub-core +``` + +## Тревоги + +`/opt/prometheus/rules/hub-core.yml` — три правила: + +| Правило | Условие | Смысл | +|---|---|---| +| `HubSilent` | `hub_events_24h == 0` 6 ч | коннекторы остановились | +| `HubStorageHigh` | `hub_storage_percent > 90` 30 мин | место кончается | +| `HubBackupStale` | `hub_backup_age_hours > 48` 1 ч | бэкап перестал обновляться | + +Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура). + +## Проверено + +``` +hub-core → up +HubSilent | inactive | ok +HubStorageHigh | inactive | ok +HubBackupStale | inactive | ok +правил ядра: 3 + +hub_problems_open: 1 +hub_events_24h: 85 +``` + +Старый файл правил (`buryan-alerts.yml`, 10 правил) не тронут. + +## Ловушки + +* Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим + файл на хосте CT 134: `/opt/prometheus/prometheus.yml`. +* Новый блок нельзя дописывать в конец файла: он попадёт в `rule_files` + и YAML сломается. Вставлять нужно внутрь `scrape_configs` — перед + строкой `rule_files:`. +* Правила проще держать отдельным файлом: `/etc/prometheus/rules/*.yml` + подхватывается автоматически, а правка общего файла рискованна.