На панель добавлен блок «Задачи»: 16 задач, время последнего запуска, предел и состояние (ок / просрочено / не запускалась). Проверено: панель отдаёт 8 разделов за 9 мс, через HTTPS — 200. docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание всех задач, что делать при поломках (сервис, события, бэкап, тревоги, панель), где что лежит, что осталось открытым и что проверено на живом.
161 lines
7.0 KiB
Markdown
161 lines
7.0 KiB
Markdown
# Buryan Hub: дежурная книга
|
||
|
||
Что построено за спринт, как проверить и что делать, если сломалось.
|
||
|
||
---
|
||
|
||
## 1. Где смотреть
|
||
|
||
| Что | Адрес |
|
||
|---|---|
|
||
| Панель (снаружи, за входом) | `https://status.buryans.ru/hub/` |
|
||
| Панель (изнутри) | `http://192.168.1.10:9120/` |
|
||
| Графики | `http://192.168.1.113:3000/d/buryan-hub` |
|
||
| Метрики | `http://192.168.1.10:9120/metrics` |
|
||
| Тревоги | `http://192.168.1.134:9093` |
|
||
|
||
В чате: бот **Инфраструктура** — `!status`, `!gaps`, `!users`, `!sources`,
|
||
`!history <сервис>`, `!backups`, `!disk`.
|
||
|
||
---
|
||
|
||
## 2. Как устроено
|
||
|
||
```
|
||
сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события
|
||
↓
|
||
метрики → Prometheus → Grafana
|
||
проблемы → сверка (03:30) → бот Инфраструктура
|
||
пожелания → боты → папка проекта
|
||
```
|
||
|
||
Ядро — единственная точка, где сходятся события всех сервисов: 12
|
||
источников, карточки объектов, связи, история, журнал действий.
|
||
|
||
---
|
||
|
||
## 3. Ежедневные задачи
|
||
|
||
| Время | Задача | Лог |
|
||
|---|---|---|
|
||
| 01:00 | бэкап контейнеров (LXC) | `/var/log/lxc-*.log` |
|
||
| 02:00 | дамп PostgreSQL (все базы) | `cron-pg.log` |
|
||
| 02:30 | бэкап базы ядра | `/var/log/hub-backup.log` |
|
||
| 02:40 | проверка бэкапа PG | `/var/log/hub-pg-verify.log` |
|
||
| 02:45 | бэкап данных ботов | `/var/log/hub-backup.log` |
|
||
| 03:00 | бэкап Matrix | `/root/matrix-backups/logs` |
|
||
| 03:05 | проверка бэкапа ботов | `/var/log/hub-bots-verify.log` |
|
||
| 03:15 | сверка служб | `/var/log/hub-reconcile.log` |
|
||
| 03:20 | проверка Matrix (офсайт, восстановление) | `/var/log/hub-matrix-backup.log` |
|
||
| 03:45 | связка карточек | `/var/log/hub-linker.log` |
|
||
| 04:00 | офсайт (restic) | `offsite-backup.log` |
|
||
| 04:15 | каталог библиотек | `/var/log/hub-catalog.log` |
|
||
| 07:30 | инвентаризация | `/var/log/hub-inventory.log` |
|
||
| 08:00 (пн) | аудит доступов | `/var/log/hub-identity.log` |
|
||
| 08:30 | дайджест событий | `/var/log/hub-digest.log` |
|
||
| 19:00 | «продолжить просмотр» | `/var/log/hub-resume.log` |
|
||
| 20:00 (вс) | недельный отчёт | `/var/log/hub-weekly-core.log` |
|
||
| 23:00 | экспорт данных в проект | `/var/log/hub-export.log` |
|
||
| каждые 10 мин | коннекторы | `/var/log/hub-connectors.log` |
|
||
|
||
Состояние всех задач — на панели, блок «Задачи».
|
||
|
||
---
|
||
|
||
## 4. Если что-то сломалось
|
||
|
||
### Сервис не отвечает
|
||
|
||
```
|
||
python3 /opt/hub-core/reconcile.py # проверить всё разом
|
||
systemctl status hub-core hub-bots # живы ли службы
|
||
```
|
||
|
||
Сверка сама поднимает остановленные контейнеры и пишет действия в журнал.
|
||
|
||
### События перестали идти
|
||
|
||
```
|
||
python3 /opt/hub-core/connectors.py # ручной прогон с отчётом
|
||
```
|
||
|
||
Смотреть `/var/log/hub-connectors.log` и блок «Источники событий» на панели:
|
||
если у источника пропала свежая дата — он замолчал.
|
||
|
||
### Бэкап не восстановился
|
||
|
||
Каждый бэкап имеет свою проверку — она присылает `backup.failed` боту
|
||
Инфраструктура. Ручной прогон:
|
||
|
||
```
|
||
bash /opt/hub-core/pg_verify_cron.sh # PostgreSQL: сверка таблиц
|
||
bash /opt/hub-core/matrix_verify.sh # Matrix: разворот в тестовую базу
|
||
bash /opt/hub-core/bots_verify.sh # данные ботов: распаковка
|
||
bash /opt/hub-core/lxc_verify.sh # контейнер: поднять и удалить
|
||
bash /opt/hub-core/offsite_verify.sh # офсайт restic
|
||
```
|
||
|
||
### Тревога не пришла
|
||
|
||
Проверить цепочку по очереди:
|
||
|
||
```
|
||
curl -s http://192.168.1.134:9090/api/v1/alertmanagers # Prometheus видит Alertmanager
|
||
curl -s http://192.168.1.134:9093/api/v2/alerts # тревога в Alertmanager
|
||
curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager # вебхук жив
|
||
```
|
||
|
||
Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие —
|
||
Alertmanager закроет их сам через 5 минут.
|
||
|
||
### Панель не открывается
|
||
|
||
```
|
||
systemctl restart hub-core
|
||
curl -s http://127.0.0.1:9120/health
|
||
nginx -t && systemctl reload nginx
|
||
```
|
||
|
||
---
|
||
|
||
## 5. Где что лежит
|
||
|
||
| Что | Путь |
|
||
|---|---|
|
||
| Код ядра | `/opt/hub-core/` |
|
||
| Код ботов | `/opt/hub-bots/hub/` |
|
||
| Настройки ядра | `/etc/hub-core/` (600) |
|
||
| Настройки ботов | `/etc/hub-bots/` (600) |
|
||
| Данные ботов | `/var/lib/hub-bots/` |
|
||
| Бэкапы | `/mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump}` |
|
||
| Данные в проект | `/root/buryan-infra/data/` |
|
||
| Репозиторий | `/root/buryan-infra/` |
|
||
|
||
---
|
||
|
||
## 6. Что осталось открытым
|
||
|
||
| Что | Нужно |
|
||
|---|---|
|
||
| LLM | ключ → `/etc/hub-core/llm.env` |
|
||
| Telegram | `api_id`, `api_hash`, каналы → `/etc/hub-core/telegram.env` |
|
||
| Камеры | RTSP-адреса |
|
||
| MQTT в Home Assistant | включить интеграцию в UI (инструкция в `ops/homeassistant/`) |
|
||
| Thin pool 82% | решить судьбу снапшота `vm-115` (25 ГБ) |
|
||
| Immich/Paperless для семьи | создать учётные записи |
|
||
|
||
---
|
||
|
||
## 7. Что проверено на живом
|
||
|
||
* ядро принимает события, создаёт карточки, находит их поиском;
|
||
* импорт файла запускает сканирование Jellyfin (автодействие);
|
||
* сверка находит проблемы и сообщает о них боту;
|
||
* все шесть бэкапов проверены на восстановление;
|
||
* тревога Prometheus доходит до Matrix, закрытие — тоже;
|
||
* панель открывается снаружи за входом Authentik;
|
||
* боты пишут пожелания в папку проекта.
|
||
|
||
Чего **не** проверено: ночной прогон задач по расписанию (создавались и
|
||
запускались вручную вечером) — первая настоящая ночь покажет.
|