Files
buryan-infra/docs/RUNBOOK.md
buryan-agent 4fb730b3a2 Панель: блок «Задачи»; дежурная книга RUNBOOK.md
На панель добавлен блок «Задачи»: 16 задач, время последнего запуска,
предел и состояние (ок / просрочено / не запускалась). Проверено: панель
отдаёт 8 разделов за 9 мс, через HTTPS — 200.

docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание
всех задач, что делать при поломках (сервис, события, бэкап, тревоги,
панель), где что лежит, что осталось открытым и что проверено на живом.
2026-10-19 21:23:27 +03:00

161 lines
7.0 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Buryan Hub: дежурная книга
Что построено за спринт, как проверить и что делать, если сломалось.
---
## 1. Где смотреть
| Что | Адрес |
|---|---|
| Панель (снаружи, за входом) | `https://status.buryans.ru/hub/` |
| Панель (изнутри) | `http://192.168.1.10:9120/` |
| Графики | `http://192.168.1.113:3000/d/buryan-hub` |
| Метрики | `http://192.168.1.10:9120/metrics` |
| Тревоги | `http://192.168.1.134:9093` |
В чате: бот **Инфраструктура** — `!status`, `!gaps`, `!users`, `!sources`,
`!history <сервис>`, `!backups`, `!disk`.
---
## 2. Как устроено
```
сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события
↓
метрики → Prometheus → Grafana
проблемы → сверка (03:30) → бот Инфраструктура
пожелания → боты → папка проекта
```
Ядро — единственная точка, где сходятся события всех сервисов: 12
источников, карточки объектов, связи, история, журнал действий.
---
## 3. Ежедневные задачи
| Время | Задача | Лог |
|---|---|---|
| 01:00 | бэкап контейнеров (LXC) | `/var/log/lxc-*.log` |
| 02:00 | дамп PostgreSQL (все базы) | `cron-pg.log` |
| 02:30 | бэкап базы ядра | `/var/log/hub-backup.log` |
| 02:40 | проверка бэкапа PG | `/var/log/hub-pg-verify.log` |
| 02:45 | бэкап данных ботов | `/var/log/hub-backup.log` |
| 03:00 | бэкап Matrix | `/root/matrix-backups/logs` |
| 03:05 | проверка бэкапа ботов | `/var/log/hub-bots-verify.log` |
| 03:15 | сверка служб | `/var/log/hub-reconcile.log` |
| 03:20 | проверка Matrix (офсайт, восстановление) | `/var/log/hub-matrix-backup.log` |
| 03:45 | связка карточек | `/var/log/hub-linker.log` |
| 04:00 | офсайт (restic) | `offsite-backup.log` |
| 04:15 | каталог библиотек | `/var/log/hub-catalog.log` |
| 07:30 | инвентаризация | `/var/log/hub-inventory.log` |
| 08:00 (пн) | аудит доступов | `/var/log/hub-identity.log` |
| 08:30 | дайджест событий | `/var/log/hub-digest.log` |
| 19:00 | «продолжить просмотр» | `/var/log/hub-resume.log` |
| 20:00 (вс) | недельный отчёт | `/var/log/hub-weekly-core.log` |
| 23:00 | экспорт данных в проект | `/var/log/hub-export.log` |
| каждые 10 мин | коннекторы | `/var/log/hub-connectors.log` |
Состояние всех задач — на панели, блок «Задачи».
---
## 4. Если что-то сломалось
### Сервис не отвечает
```
python3 /opt/hub-core/reconcile.py # проверить всё разом
systemctl status hub-core hub-bots # живы ли службы
```
Сверка сама поднимает остановленные контейнеры и пишет действия в журнал.
### События перестали идти
```
python3 /opt/hub-core/connectors.py # ручной прогон с отчётом
```
Смотреть `/var/log/hub-connectors.log` и блок «Источники событий» на панели:
если у источника пропала свежая дата — он замолчал.
### Бэкап не восстановился
Каждый бэкап имеет свою проверку — она присылает `backup.failed` боту
Инфраструктура. Ручной прогон:
```
bash /opt/hub-core/pg_verify_cron.sh # PostgreSQL: сверка таблиц
bash /opt/hub-core/matrix_verify.sh # Matrix: разворот в тестовую базу
bash /opt/hub-core/bots_verify.sh # данные ботов: распаковка
bash /opt/hub-core/lxc_verify.sh # контейнер: поднять и удалить
bash /opt/hub-core/offsite_verify.sh # офсайт restic
```
### Тревога не пришла
Проверить цепочку по очереди:
```
curl -s http://192.168.1.134:9090/api/v1/alertmanagers # Prometheus видит Alertmanager
curl -s http://192.168.1.134:9093/api/v2/alerts # тревога в Alertmanager
curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager # вебхук жив
```
Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие —
Alertmanager закроет их сам через 5 минут.
### Панель не открывается
```
systemctl restart hub-core
curl -s http://127.0.0.1:9120/health
nginx -t && systemctl reload nginx
```
---
## 5. Где что лежит
| Что | Путь |
|---|---|
| Код ядра | `/opt/hub-core/` |
| Код ботов | `/opt/hub-bots/hub/` |
| Настройки ядра | `/etc/hub-core/` (600) |
| Настройки ботов | `/etc/hub-bots/` (600) |
| Данные ботов | `/var/lib/hub-bots/` |
| Бэкапы | `/mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump}` |
| Данные в проект | `/root/buryan-infra/data/` |
| Репозиторий | `/root/buryan-infra/` |
---
## 6. Что осталось открытым
| Что | Нужно |
|---|---|
| LLM | ключ → `/etc/hub-core/llm.env` |
| Telegram | `api_id`, `api_hash`, каналы → `/etc/hub-core/telegram.env` |
| Камеры | RTSP-адреса |
| MQTT в Home Assistant | включить интеграцию в UI (инструкция в `ops/homeassistant/`) |
| Thin pool 82% | решить судьбу снапшота `vm-115` (25 ГБ) |
| Immich/Paperless для семьи | создать учётные записи |
---
## 7. Что проверено на живом
* ядро принимает события, создаёт карточки, находит их поиском;
* импорт файла запускает сканирование Jellyfin (автодействие);
* сверка находит проблемы и сообщает о них боту;
* все шесть бэкапов проверены на восстановление;
* тревога Prometheus доходит до Matrix, закрытие — тоже;
* панель открывается снаружи за входом Authentik;
* боты пишут пожелания в папку проекта.
Чего **не** проверено: ночной прогон задач по расписанию (создавались и
запускались вручную вечером) — первая настоящая ночь покажет.