Ядро отдаёт метрики в Prometheus + три тревоги

GET /metrics в формате Prometheus: события по источникам, события за сутки,
карточки по видам, открытые проблемы, действия автоматики, связи,
заполненность хранилищ и возраст бэкапов.

Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики
hub_problems_open и hub_events_24h читаются.

Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh
(хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены,
состояние inactive, health ok. Старый файл из 10 правил не тронут.

Ловушки: контейнер не может править свой конфиг (правим на хосте);
блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML;
правила держим отдельным файлом.
This commit is contained in:
buryan-agent committed 2026-10-19 21:14:33 +03:00
1 parent c9c2da91b5
commit d9fac17571
2 files changed
+166

No files matched your search

+101
View File
@@ -279,6 +279,96 @@ def do_service_history(source, limit=50):
return {"source": source, "count": len(rows), "items": rows}
def do_metrics():
"""Метрики в формате Prometheus."""
lines = []
con = db()
cur = con.cursor()
cur.execute("select source, count(*) from events group by source")
lines.append("# HELP hub_events_total События по источникам")
lines.append("# TYPE hub_events_total counter")
for src, n in cur.fetchall():
lines.append(f'hub_events_total{{source="{src}"}} {n}')
cur.execute("select count(*) from events where at > now() - interval '24 hours'")
lines.append("# HELP hub_events_24h События за сутки")
lines.append("# TYPE hub_events_24h gauge")
lines.append(f"hub_events_24h {cur.fetchone()[0]}")
cur.execute("select kind, count(*) from entities group by kind")
lines.append("# HELP hub_entities Карточки по видам")
lines.append("# TYPE hub_entities gauge")
for kind, n in cur.fetchall():
safe = (kind or "unknown").replace('"', "")
lines.append(f'hub_entities{{kind="{safe}"}} {n}')
cur.execute("select count(*) from problems where resolved_at is null")
lines.append("# HELP hub_problems_open Открытые проблемы")
lines.append("# TYPE hub_problems_open gauge")
lines.append(f"hub_problems_open {cur.fetchone()[0]}")
cur.execute("select kind, status, count(*) from actions group by kind, status")
lines.append("# HELP hub_actions Действия автоматики")
lines.append("# TYPE hub_actions counter")
for kind, status, n in cur.fetchall():
lines.append(f'hub_actions{{kind="{kind}",status="{status}"}} {n}')
cur.execute("select count(*) from entity_links")
lines.append("# HELP hub_links Связи между карточками")
lines.append("# TYPE hub_links gauge")
lines.append(f"hub_links {cur.fetchone()[0]}")
con.close()
# хранилища
try:
import subprocess
out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=15)
lines.append("# HELP hub_storage_percent Заполненность хранилищ")
lines.append("# TYPE hub_storage_percent gauge")
for line in out.stdout.splitlines()[1:]:
parts = line.split()
if len(parts) >= 7 and parts[6].endswith("%"):
try:
lines.append(f'hub_storage_percent{{name="{parts[0]}",type="{parts[1]}"}} '
f'{float(parts[6].rstrip("%"))}')
except ValueError:
pass
except Exception:
pass
# возраст бэкапов
try:
import time
lines.append("# HELP hub_backup_age_hours Возраст последнего бэкапа")
lines.append("# TYPE hub_backup_age_hours gauge")
checks = {
"postgresql": "/var/log/hub-pg-verify.log",
"matrix": "/var/log/hub-matrix-backup.log",
"bots": "/var/log/hub-bots-verify.log",
"offsite": "/var/log/hub-offsite-verify.log",
"core": "/mnt/backups/hub-core",
}
for name, path in checks.items():
try:
if os.path.isdir(path):
files = [os.path.join(path, f) for f in os.listdir(path)]
mtime = max(os.path.getmtime(f) for f in files) if files else 0
else:
mtime = os.path.getmtime(path)
lines.append(f'hub_backup_age_hours{{name="{name}"}} '
f'{round((time.time() - mtime) / 3600, 1)}')
except OSError:
pass
except Exception:
pass
return "\n".join(lines) + "\n"
def render_panel():
"""HTML-страница: состояние системы в одном месте."""
try:
@@ -503,6 +593,17 @@ class Handler(BaseHTTPRequestHandler):
return self._json(200, {"ok": True, "events": n})
except Exception as e:
return self._json(500, {"ok": False, "error": str(e)[:200]})
if self.path.startswith("/metrics"):
try:
body = do_metrics().encode("utf-8")
except Exception as e:
body = f"# error: {e}".encode()
self.send_response(200)
self.send_header("Content-Type", "text/plain; version=0.0.4; charset=utf-8")
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
return
if self.path == "/services":
try:
return self._json(200, do_services())
+65
View File
@@ -0,0 +1,65 @@
# Ядро в Prometheus и Grafana
## Что добавлено
Эндпоинт `GET http://192.168.1.10:9120/metrics` в формате Prometheus:
| Метрика | Смысл |
|---|---|
| `hub_events_total{source}` | события по источникам |
| `hub_events_24h` | события за сутки |
| `hub_entities{kind}` | карточки по видам |
| `hub_problems_open` | открытые проблемы |
| `hub_actions{kind,status}` | действия автоматики |
| `hub_links` | связи между карточками |
| `hub_storage_percent{name,type}` | заполненность хранилищ |
| `hub_backup_age_hours{name}` | возраст последнего бэкапа |
## Подключение
`/opt/prometheus/prometheus.yml` (CT 134) — цель `hub-core`:
```yaml
- job_name: hub-core
static_configs:
- targets: ["192.168.1.10:9120"]
labels:
app: hub-core
```
## Тревоги
`/opt/prometheus/rules/hub-core.yml` — три правила:
| Правило | Условие | Смысл |
|---|---|---|
| `HubSilent` | `hub_events_24h == 0` 6 ч | коннекторы остановились |
| `HubStorageHigh` | `hub_storage_percent > 90` 30 мин | место кончается |
| `HubBackupStale` | `hub_backup_age_hours > 48` 1 ч | бэкап перестал обновляться |
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
## Проверено
```
hub-core → up
HubSilent | inactive | ok
HubStorageHigh | inactive | ok
HubBackupStale | inactive | ok
правил ядра: 3
hub_problems_open: 1
hub_events_24h: 85
```
Старый файл правил (`buryan-alerts.yml`, 10 правил) не тронут.
## Ловушки
* Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
файл на хосте CT 134: `/opt/prometheus/prometheus.yml`.
* Новый блок нельзя дописывать в конец файла: он попадёт в `rule_files`
и YAML сломается. Вставлять нужно внутрь `scrape_configs` — перед
строкой `rule_files:`.
* Правила проще держать отдельным файлом: `/etc/prometheus/rules/*.yml`
подхватывается автоматически, а правка общего файла рискованна.