Панель: блок «Задачи»; дежурная книга RUNBOOK.md
На панель добавлен блок «Задачи»: 16 задач, время последнего запуска, предел и состояние (ок / просрочено / не запускалась). Проверено: панель отдаёт 8 разделов за 9 мс, через HTTPS — 200. docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание всех задач, что делать при поломках (сервис, события, бэкап, тревоги, панель), где что лежит, что осталось открытым и что проверено на живом.
This commit is contained in:
1 parent
0397bfb71d
commit
4fb730b3a2
2 files changed
+206
No files matched your search
+160
@@ -0,0 +1,160 @@
|
||||
# Buryan Hub: дежурная книга
|
||||
|
||||
Что построено за спринт, как проверить и что делать, если сломалось.
|
||||
|
||||
---
|
||||
|
||||
## 1. Где смотреть
|
||||
|
||||
| Что | Адрес |
|
||||
|---|---|
|
||||
| Панель (снаружи, за входом) | `https://status.buryans.ru/hub/` |
|
||||
| Панель (изнутри) | `http://192.168.1.10:9120/` |
|
||||
| Графики | `http://192.168.1.113:3000/d/buryan-hub` |
|
||||
| Метрики | `http://192.168.1.10:9120/metrics` |
|
||||
| Тревоги | `http://192.168.1.134:9093` |
|
||||
|
||||
В чате: бот **Инфраструктура** — `!status`, `!gaps`, `!users`, `!sources`,
|
||||
`!history <сервис>`, `!backups`, `!disk`.
|
||||
|
||||
---
|
||||
|
||||
## 2. Как устроено
|
||||
|
||||
```
|
||||
сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события
|
||||
↓
|
||||
метрики → Prometheus → Grafana
|
||||
проблемы → сверка (03:30) → бот Инфраструктура
|
||||
пожелания → боты → папка проекта
|
||||
```
|
||||
|
||||
Ядро — единственная точка, где сходятся события всех сервисов: 12
|
||||
источников, карточки объектов, связи, история, журнал действий.
|
||||
|
||||
---
|
||||
|
||||
## 3. Ежедневные задачи
|
||||
|
||||
| Время | Задача | Лог |
|
||||
|---|---|---|
|
||||
| 01:00 | бэкап контейнеров (LXC) | `/var/log/lxc-*.log` |
|
||||
| 02:00 | дамп PostgreSQL (все базы) | `cron-pg.log` |
|
||||
| 02:30 | бэкап базы ядра | `/var/log/hub-backup.log` |
|
||||
| 02:40 | проверка бэкапа PG | `/var/log/hub-pg-verify.log` |
|
||||
| 02:45 | бэкап данных ботов | `/var/log/hub-backup.log` |
|
||||
| 03:00 | бэкап Matrix | `/root/matrix-backups/logs` |
|
||||
| 03:05 | проверка бэкапа ботов | `/var/log/hub-bots-verify.log` |
|
||||
| 03:15 | сверка служб | `/var/log/hub-reconcile.log` |
|
||||
| 03:20 | проверка Matrix (офсайт, восстановление) | `/var/log/hub-matrix-backup.log` |
|
||||
| 03:45 | связка карточек | `/var/log/hub-linker.log` |
|
||||
| 04:00 | офсайт (restic) | `offsite-backup.log` |
|
||||
| 04:15 | каталог библиотек | `/var/log/hub-catalog.log` |
|
||||
| 07:30 | инвентаризация | `/var/log/hub-inventory.log` |
|
||||
| 08:00 (пн) | аудит доступов | `/var/log/hub-identity.log` |
|
||||
| 08:30 | дайджест событий | `/var/log/hub-digest.log` |
|
||||
| 19:00 | «продолжить просмотр» | `/var/log/hub-resume.log` |
|
||||
| 20:00 (вс) | недельный отчёт | `/var/log/hub-weekly-core.log` |
|
||||
| 23:00 | экспорт данных в проект | `/var/log/hub-export.log` |
|
||||
| каждые 10 мин | коннекторы | `/var/log/hub-connectors.log` |
|
||||
|
||||
Состояние всех задач — на панели, блок «Задачи».
|
||||
|
||||
---
|
||||
|
||||
## 4. Если что-то сломалось
|
||||
|
||||
### Сервис не отвечает
|
||||
|
||||
```
|
||||
python3 /opt/hub-core/reconcile.py # проверить всё разом
|
||||
systemctl status hub-core hub-bots # живы ли службы
|
||||
```
|
||||
|
||||
Сверка сама поднимает остановленные контейнеры и пишет действия в журнал.
|
||||
|
||||
### События перестали идти
|
||||
|
||||
```
|
||||
python3 /opt/hub-core/connectors.py # ручной прогон с отчётом
|
||||
```
|
||||
|
||||
Смотреть `/var/log/hub-connectors.log` и блок «Источники событий» на панели:
|
||||
если у источника пропала свежая дата — он замолчал.
|
||||
|
||||
### Бэкап не восстановился
|
||||
|
||||
Каждый бэкап имеет свою проверку — она присылает `backup.failed` боту
|
||||
Инфраструктура. Ручной прогон:
|
||||
|
||||
```
|
||||
bash /opt/hub-core/pg_verify_cron.sh # PostgreSQL: сверка таблиц
|
||||
bash /opt/hub-core/matrix_verify.sh # Matrix: разворот в тестовую базу
|
||||
bash /opt/hub-core/bots_verify.sh # данные ботов: распаковка
|
||||
bash /opt/hub-core/lxc_verify.sh # контейнер: поднять и удалить
|
||||
bash /opt/hub-core/offsite_verify.sh # офсайт restic
|
||||
```
|
||||
|
||||
### Тревога не пришла
|
||||
|
||||
Проверить цепочку по очереди:
|
||||
|
||||
```
|
||||
curl -s http://192.168.1.134:9090/api/v1/alertmanagers # Prometheus видит Alertmanager
|
||||
curl -s http://192.168.1.134:9093/api/v2/alerts # тревога в Alertmanager
|
||||
curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager # вебхук жив
|
||||
```
|
||||
|
||||
Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие —
|
||||
Alertmanager закроет их сам через 5 минут.
|
||||
|
||||
### Панель не открывается
|
||||
|
||||
```
|
||||
systemctl restart hub-core
|
||||
curl -s http://127.0.0.1:9120/health
|
||||
nginx -t && systemctl reload nginx
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 5. Где что лежит
|
||||
|
||||
| Что | Путь |
|
||||
|---|---|
|
||||
| Код ядра | `/opt/hub-core/` |
|
||||
| Код ботов | `/opt/hub-bots/hub/` |
|
||||
| Настройки ядра | `/etc/hub-core/` (600) |
|
||||
| Настройки ботов | `/etc/hub-bots/` (600) |
|
||||
| Данные ботов | `/var/lib/hub-bots/` |
|
||||
| Бэкапы | `/mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump}` |
|
||||
| Данные в проект | `/root/buryan-infra/data/` |
|
||||
| Репозиторий | `/root/buryan-infra/` |
|
||||
|
||||
---
|
||||
|
||||
## 6. Что осталось открытым
|
||||
|
||||
| Что | Нужно |
|
||||
|---|---|
|
||||
| LLM | ключ → `/etc/hub-core/llm.env` |
|
||||
| Telegram | `api_id`, `api_hash`, каналы → `/etc/hub-core/telegram.env` |
|
||||
| Камеры | RTSP-адреса |
|
||||
| MQTT в Home Assistant | включить интеграцию в UI (инструкция в `ops/homeassistant/`) |
|
||||
| Thin pool 82% | решить судьбу снапшота `vm-115` (25 ГБ) |
|
||||
| Immich/Paperless для семьи | создать учётные записи |
|
||||
|
||||
---
|
||||
|
||||
## 7. Что проверено на живом
|
||||
|
||||
* ядро принимает события, создаёт карточки, находит их поиском;
|
||||
* импорт файла запускает сканирование Jellyfin (автодействие);
|
||||
* сверка находит проблемы и сообщает о них боту;
|
||||
* все шесть бэкапов проверены на восстановление;
|
||||
* тревога Prometheus доходит до Matrix, закрытие — тоже;
|
||||
* панель открывается снаружи за входом Authentik;
|
||||
* боты пишут пожелания в папку проекта.
|
||||
|
||||
Чего **не** проверено: ночной прогон задач по расписанию (создавались и
|
||||
запускались вручную вечером) — первая настоящая ночь покажет.
|
||||
@@ -10,6 +10,7 @@
|
||||
import json
|
||||
import os
|
||||
import threading
|
||||
import time
|
||||
import urllib.request
|
||||
from datetime import datetime, timezone
|
||||
from http.server import BaseHTTPRequestHandler, HTTPServer
|
||||
@@ -369,6 +370,42 @@ def do_metrics():
|
||||
return "\n".join(lines) + "\n"
|
||||
|
||||
|
||||
|
||||
|
||||
JOBS = {
|
||||
"коннекторы": ("/var/log/hub-connectors.log", 1),
|
||||
"сверка": ("/var/log/hub-reconcile.log", 30),
|
||||
"связка карточек": ("/var/log/hub-linker.log", 30),
|
||||
"дайджест": ("/var/log/hub-digest.log", 30),
|
||||
"инвентаризация": ("/var/log/hub-inventory.log", 30),
|
||||
"каталог": ("/var/log/hub-catalog.log", 30),
|
||||
"экспорт": ("/var/log/hub-export.log", 30),
|
||||
"бэкап базы": ("/var/log/hub-backup.log", 30),
|
||||
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
|
||||
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
|
||||
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
|
||||
"офсайт": ("/var/log/hub-offsite-verify.log", 24 * 8),
|
||||
"просмотр": ("/var/log/hub-resume.log", 30),
|
||||
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
|
||||
"аудит доступов": ("/var/log/hub-identity.log", 24 * 8),
|
||||
"восстановление CT": ("/var/log/hub-lxc-verify.log", 24 * 8),
|
||||
}
|
||||
|
||||
|
||||
def jobs_status():
|
||||
"""Состояние задач: когда последний раз отработали."""
|
||||
now = time.time()
|
||||
rows = []
|
||||
for name, (path, limit_h) in JOBS.items():
|
||||
try:
|
||||
age_h = (now - os.path.getmtime(path)) / 3600
|
||||
state = "ок" if age_h <= limit_h else "просрочено"
|
||||
except OSError:
|
||||
age_h, state = None, "не запускалась"
|
||||
rows.append((name, age_h, limit_h, state))
|
||||
return rows
|
||||
|
||||
|
||||
def render_panel():
|
||||
"""HTML-страница: состояние системы в одном месте."""
|
||||
try:
|
||||
@@ -407,6 +444,7 @@ def render_panel():
|
||||
identity = idrow[0] if idrow else None
|
||||
except Exception:
|
||||
identity = None
|
||||
jobs = jobs_status()
|
||||
cur.execute("select count(*) from entity_links")
|
||||
links = cur.fetchone()[0]
|
||||
cur.execute("""select at, kind, target, detail, status from actions
|
||||
@@ -417,6 +455,7 @@ def render_panel():
|
||||
except Exception as e:
|
||||
entities = events = events24 = open_problems = 0
|
||||
problems, recent, by_source, actions, links, inventory, identity = [], [], [], [], 0, None, None
|
||||
jobs = []
|
||||
err = str(e)[:200]
|
||||
|
||||
def esc(x):
|
||||
@@ -427,6 +466,11 @@ def render_panel():
|
||||
f"<td>{esc(typ)}</td><td>{esc(title)}</td></tr>"
|
||||
for at, src, typ, title in recent) or "<tr><td colspan=4>событий пока нет</td></tr>"
|
||||
|
||||
job_rows = "".join(
|
||||
f"<tr><td>{esc(n)}</td><td>{(str(round(a, 1)) + ' ч') if a is not None else '—'}</td>"
|
||||
f"<td>{lim} ч</td><td class=\"{'bad' if st != 'ок' else ''}\">{esc(st)}</td></tr>"
|
||||
for n, a, lim, st in jobs) or "<tr><td colspan=4>нет данных</td></tr>"
|
||||
|
||||
identity_text = "аудит ещё не запускался"
|
||||
if isinstance(identity, dict) and identity.get("table"):
|
||||
identity_text = identity["table"]
|
||||
@@ -487,6 +531,8 @@ th{{color:#7d8b99;font-weight:500}}
|
||||
<div class="card"><b class="{'bad' if open_problems else ''}">{open_problems}</b><span>проблем</span></div>
|
||||
<div class="card"><b>{links}</b><span>связей</span></div>
|
||||
</div>
|
||||
<h2>Задачи</h2>
|
||||
<table><tr><th>задача</th><th>последний запуск</th><th>предел</th><th>состояние</th></tr>{job_rows}</table>
|
||||
<h2>Проблемы</h2><table><tr><th>проверка</th><th>что не так</th></tr>{prow}</table>
|
||||
<h2>Графики</h2>
|
||||
<div>Дашборд: <a href="http://192.168.1.113:3000/d/buryan-hub">Grafana — Buryan Hub</a>
|
||||
|
||||
Reference in new issue
Block a user