Ядро отдаёт метрики в Prometheus + три тревоги
GET /metrics в формате Prometheus: события по источникам, события за сутки, карточки по видам, открытые проблемы, действия автоматики, связи, заполненность хранилищ и возраст бэкапов. Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики hub_problems_open и hub_events_24h читаются. Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh (хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены, состояние inactive, health ok. Старый файл из 10 правил не тронут. Ловушки: контейнер не может править свой конфиг (правим на хосте); блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML; правила держим отдельным файлом.
This commit is contained in:
1 parent
c9c2da91b5
commit
d9fac17571
2 files changed
+166
No files matched your search
@@ -279,6 +279,96 @@ def do_service_history(source, limit=50):
|
||||
return {"source": source, "count": len(rows), "items": rows}
|
||||
|
||||
|
||||
|
||||
|
||||
def do_metrics():
|
||||
"""Метрики в формате Prometheus."""
|
||||
lines = []
|
||||
con = db()
|
||||
cur = con.cursor()
|
||||
|
||||
cur.execute("select source, count(*) from events group by source")
|
||||
lines.append("# HELP hub_events_total События по источникам")
|
||||
lines.append("# TYPE hub_events_total counter")
|
||||
for src, n in cur.fetchall():
|
||||
lines.append(f'hub_events_total{{source="{src}"}} {n}')
|
||||
|
||||
cur.execute("select count(*) from events where at > now() - interval '24 hours'")
|
||||
lines.append("# HELP hub_events_24h События за сутки")
|
||||
lines.append("# TYPE hub_events_24h gauge")
|
||||
lines.append(f"hub_events_24h {cur.fetchone()[0]}")
|
||||
|
||||
cur.execute("select kind, count(*) from entities group by kind")
|
||||
lines.append("# HELP hub_entities Карточки по видам")
|
||||
lines.append("# TYPE hub_entities gauge")
|
||||
for kind, n in cur.fetchall():
|
||||
safe = (kind or "unknown").replace('"', "")
|
||||
lines.append(f'hub_entities{{kind="{safe}"}} {n}')
|
||||
|
||||
cur.execute("select count(*) from problems where resolved_at is null")
|
||||
lines.append("# HELP hub_problems_open Открытые проблемы")
|
||||
lines.append("# TYPE hub_problems_open gauge")
|
||||
lines.append(f"hub_problems_open {cur.fetchone()[0]}")
|
||||
|
||||
cur.execute("select kind, status, count(*) from actions group by kind, status")
|
||||
lines.append("# HELP hub_actions Действия автоматики")
|
||||
lines.append("# TYPE hub_actions counter")
|
||||
for kind, status, n in cur.fetchall():
|
||||
lines.append(f'hub_actions{{kind="{kind}",status="{status}"}} {n}')
|
||||
|
||||
cur.execute("select count(*) from entity_links")
|
||||
lines.append("# HELP hub_links Связи между карточками")
|
||||
lines.append("# TYPE hub_links gauge")
|
||||
lines.append(f"hub_links {cur.fetchone()[0]}")
|
||||
|
||||
con.close()
|
||||
|
||||
# хранилища
|
||||
try:
|
||||
import subprocess
|
||||
out = subprocess.run(["pvesm", "status"], capture_output=True, text=True, timeout=15)
|
||||
lines.append("# HELP hub_storage_percent Заполненность хранилищ")
|
||||
lines.append("# TYPE hub_storage_percent gauge")
|
||||
for line in out.stdout.splitlines()[1:]:
|
||||
parts = line.split()
|
||||
if len(parts) >= 7 and parts[6].endswith("%"):
|
||||
try:
|
||||
lines.append(f'hub_storage_percent{{name="{parts[0]}",type="{parts[1]}"}} '
|
||||
f'{float(parts[6].rstrip("%"))}')
|
||||
except ValueError:
|
||||
pass
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
# возраст бэкапов
|
||||
try:
|
||||
import time
|
||||
lines.append("# HELP hub_backup_age_hours Возраст последнего бэкапа")
|
||||
lines.append("# TYPE hub_backup_age_hours gauge")
|
||||
checks = {
|
||||
"postgresql": "/var/log/hub-pg-verify.log",
|
||||
"matrix": "/var/log/hub-matrix-backup.log",
|
||||
"bots": "/var/log/hub-bots-verify.log",
|
||||
"offsite": "/var/log/hub-offsite-verify.log",
|
||||
"core": "/mnt/backups/hub-core",
|
||||
}
|
||||
for name, path in checks.items():
|
||||
try:
|
||||
if os.path.isdir(path):
|
||||
files = [os.path.join(path, f) for f in os.listdir(path)]
|
||||
mtime = max(os.path.getmtime(f) for f in files) if files else 0
|
||||
else:
|
||||
mtime = os.path.getmtime(path)
|
||||
lines.append(f'hub_backup_age_hours{{name="{name}"}} '
|
||||
f'{round((time.time() - mtime) / 3600, 1)}')
|
||||
except OSError:
|
||||
pass
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
return "\n".join(lines) + "\n"
|
||||
|
||||
|
||||
def render_panel():
|
||||
"""HTML-страница: состояние системы в одном месте."""
|
||||
try:
|
||||
@@ -503,6 +593,17 @@ class Handler(BaseHTTPRequestHandler):
|
||||
return self._json(200, {"ok": True, "events": n})
|
||||
except Exception as e:
|
||||
return self._json(500, {"ok": False, "error": str(e)[:200]})
|
||||
if self.path.startswith("/metrics"):
|
||||
try:
|
||||
body = do_metrics().encode("utf-8")
|
||||
except Exception as e:
|
||||
body = f"# error: {e}".encode()
|
||||
self.send_response(200)
|
||||
self.send_header("Content-Type", "text/plain; version=0.0.4; charset=utf-8")
|
||||
self.send_header("Content-Length", str(len(body)))
|
||||
self.end_headers()
|
||||
self.wfile.write(body)
|
||||
return
|
||||
if self.path == "/services":
|
||||
try:
|
||||
return self._json(200, do_services())
|
||||
|
||||
@@ -0,0 +1,65 @@
|
||||
# Ядро в Prometheus и Grafana
|
||||
|
||||
## Что добавлено
|
||||
|
||||
Эндпоинт `GET http://192.168.1.10:9120/metrics` в формате Prometheus:
|
||||
|
||||
| Метрика | Смысл |
|
||||
|---|---|
|
||||
| `hub_events_total{source}` | события по источникам |
|
||||
| `hub_events_24h` | события за сутки |
|
||||
| `hub_entities{kind}` | карточки по видам |
|
||||
| `hub_problems_open` | открытые проблемы |
|
||||
| `hub_actions{kind,status}` | действия автоматики |
|
||||
| `hub_links` | связи между карточками |
|
||||
| `hub_storage_percent{name,type}` | заполненность хранилищ |
|
||||
| `hub_backup_age_hours{name}` | возраст последнего бэкапа |
|
||||
|
||||
## Подключение
|
||||
|
||||
`/opt/prometheus/prometheus.yml` (CT 134) — цель `hub-core`:
|
||||
|
||||
```yaml
|
||||
- job_name: hub-core
|
||||
static_configs:
|
||||
- targets: ["192.168.1.10:9120"]
|
||||
labels:
|
||||
app: hub-core
|
||||
```
|
||||
|
||||
## Тревоги
|
||||
|
||||
`/opt/prometheus/rules/hub-core.yml` — три правила:
|
||||
|
||||
| Правило | Условие | Смысл |
|
||||
|---|---|---|
|
||||
| `HubSilent` | `hub_events_24h == 0` 6 ч | коннекторы остановились |
|
||||
| `HubStorageHigh` | `hub_storage_percent > 90` 30 мин | место кончается |
|
||||
| `HubBackupStale` | `hub_backup_age_hours > 48` 1 ч | бэкап перестал обновляться |
|
||||
|
||||
Тревоги идут в Alertmanager, оттуда — в Matrix (бот Инфраструктура).
|
||||
|
||||
## Проверено
|
||||
|
||||
```
|
||||
hub-core → up
|
||||
HubSilent | inactive | ok
|
||||
HubStorageHigh | inactive | ok
|
||||
HubBackupStale | inactive | ok
|
||||
правил ядра: 3
|
||||
|
||||
hub_problems_open: 1
|
||||
hub_events_24h: 85
|
||||
```
|
||||
|
||||
Старый файл правил (`buryan-alerts.yml`, 10 правил) не тронут.
|
||||
|
||||
## Ловушки
|
||||
|
||||
* Контейнер Prometheus не может писать в свой конфиг (нет прав) — правим
|
||||
файл на хосте CT 134: `/opt/prometheus/prometheus.yml`.
|
||||
* Новый блок нельзя дописывать в конец файла: он попадёт в `rule_files`
|
||||
и YAML сломается. Вставлять нужно внутрь `scrape_configs` — перед
|
||||
строкой `rule_files:`.
|
||||
* Правила проще держать отдельным файлом: `/etc/prometheus/rules/*.yml`
|
||||
подхватывается автоматически, а правка общего файла рискованна.
|
||||
Reference in new issue
Block a user