На панель добавлен блок «Задачи»: 16 задач, время последнего запуска, предел и состояние (ок / просрочено / не запускалась). Проверено: панель отдаёт 8 разделов за 9 мс, через HTTPS — 200. docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание всех задач, что делать при поломках (сервис, события, бэкап, тревоги, панель), где что лежит, что осталось открытым и что проверено на живом.
7.0 KiB
Buryan Hub: дежурная книга
Что построено за спринт, как проверить и что делать, если сломалось.
1. Где смотреть
| Что | Адрес |
|---|---|
| Панель (снаружи, за входом) | https://status.buryans.ru/hub/ |
| Панель (изнутри) | http://192.168.1.10:9120/ |
| Графики | http://192.168.1.113:3000/d/buryan-hub |
| Метрики | http://192.168.1.10:9120/metrics |
| Тревоги | http://192.168.1.134:9093 |
В чате: бот Инфраструктура — !status, !gaps, !users, !sources,
!history <сервис>, !backups, !disk.
2. Как устроено
сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события
↓
метрики → Prometheus → Grafana
проблемы → сверка (03:30) → бот Инфраструктура
пожелания → боты → папка проекта
Ядро — единственная точка, где сходятся события всех сервисов: 12 источников, карточки объектов, связи, история, журнал действий.
3. Ежедневные задачи
| Время | Задача | Лог |
|---|---|---|
| 01:00 | бэкап контейнеров (LXC) | /var/log/lxc-*.log |
| 02:00 | дамп PostgreSQL (все базы) | cron-pg.log |
| 02:30 | бэкап базы ядра | /var/log/hub-backup.log |
| 02:40 | проверка бэкапа PG | /var/log/hub-pg-verify.log |
| 02:45 | бэкап данных ботов | /var/log/hub-backup.log |
| 03:00 | бэкап Matrix | /root/matrix-backups/logs |
| 03:05 | проверка бэкапа ботов | /var/log/hub-bots-verify.log |
| 03:15 | сверка служб | /var/log/hub-reconcile.log |
| 03:20 | проверка Matrix (офсайт, восстановление) | /var/log/hub-matrix-backup.log |
| 03:45 | связка карточек | /var/log/hub-linker.log |
| 04:00 | офсайт (restic) | offsite-backup.log |
| 04:15 | каталог библиотек | /var/log/hub-catalog.log |
| 07:30 | инвентаризация | /var/log/hub-inventory.log |
| 08:00 (пн) | аудит доступов | /var/log/hub-identity.log |
| 08:30 | дайджест событий | /var/log/hub-digest.log |
| 19:00 | «продолжить просмотр» | /var/log/hub-resume.log |
| 20:00 (вс) | недельный отчёт | /var/log/hub-weekly-core.log |
| 23:00 | экспорт данных в проект | /var/log/hub-export.log |
| каждые 10 мин | коннекторы | /var/log/hub-connectors.log |
Состояние всех задач — на панели, блок «Задачи».
4. Если что-то сломалось
Сервис не отвечает
python3 /opt/hub-core/reconcile.py # проверить всё разом
systemctl status hub-core hub-bots # живы ли службы
Сверка сама поднимает остановленные контейнеры и пишет действия в журнал.
События перестали идти
python3 /opt/hub-core/connectors.py # ручной прогон с отчётом
Смотреть /var/log/hub-connectors.log и блок «Источники событий» на панели:
если у источника пропала свежая дата — он замолчал.
Бэкап не восстановился
Каждый бэкап имеет свою проверку — она присылает backup.failed боту
Инфраструктура. Ручной прогон:
bash /opt/hub-core/pg_verify_cron.sh # PostgreSQL: сверка таблиц
bash /opt/hub-core/matrix_verify.sh # Matrix: разворот в тестовую базу
bash /opt/hub-core/bots_verify.sh # данные ботов: распаковка
bash /opt/hub-core/lxc_verify.sh # контейнер: поднять и удалить
bash /opt/hub-core/offsite_verify.sh # офсайт restic
Тревога не пришла
Проверить цепочку по очереди:
curl -s http://192.168.1.134:9090/api/v1/alertmanagers # Prometheus видит Alertmanager
curl -s http://192.168.1.134:9093/api/v2/alerts # тревога в Alertmanager
curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager # вебхук жив
Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие — Alertmanager закроет их сам через 5 минут.
Панель не открывается
systemctl restart hub-core
curl -s http://127.0.0.1:9120/health
nginx -t && systemctl reload nginx
5. Где что лежит
| Что | Путь |
|---|---|
| Код ядра | /opt/hub-core/ |
| Код ботов | /opt/hub-bots/hub/ |
| Настройки ядра | /etc/hub-core/ (600) |
| Настройки ботов | /etc/hub-bots/ (600) |
| Данные ботов | /var/lib/hub-bots/ |
| Бэкапы | /mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump} |
| Данные в проект | /root/buryan-infra/data/ |
| Репозиторий | /root/buryan-infra/ |
6. Что осталось открытым
| Что | Нужно |
|---|---|
| LLM | ключ → /etc/hub-core/llm.env |
| Telegram | api_id, api_hash, каналы → /etc/hub-core/telegram.env |
| Камеры | RTSP-адреса |
| MQTT в Home Assistant | включить интеграцию в UI (инструкция в ops/homeassistant/) |
| Thin pool 82% | решить судьбу снапшота vm-115 (25 ГБ) |
| Immich/Paperless для семьи | создать учётные записи |
7. Что проверено на живом
- ядро принимает события, создаёт карточки, находит их поиском;
- импорт файла запускает сканирование Jellyfin (автодействие);
- сверка находит проблемы и сообщает о них боту;
- все шесть бэкапов проверены на восстановление;
- тревога Prometheus доходит до Matrix, закрытие — тоже;
- панель открывается снаружи за входом Authentik;
- боты пишут пожелания в папку проекта.
Чего не проверено: ночной прогон задач по расписанию (создавались и запускались вручную вечером) — первая настоящая ночь покажет.