Files
buryan-infra/docs/RUNBOOK.md
T
buryan-agent 4fb730b3a2 Панель: блок «Задачи»; дежурная книга RUNBOOK.md
На панель добавлен блок «Задачи»: 16 задач, время последнего запуска,
предел и состояние (ок / просрочено / не запускалась). Проверено: панель
отдаёт 8 разделов за 9 мс, через HTTPS — 200.

docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание
всех задач, что делать при поломках (сервис, события, бэкап, тревоги,
панель), где что лежит, что осталось открытым и что проверено на живом.
2026-10-19 21:23:27 +03:00

7.0 KiB
Raw Blame History

Buryan Hub: дежурная книга

Что построено за спринт, как проверить и что делать, если сломалось.


1. Где смотреть

Что Адрес
Панель (снаружи, за входом) https://status.buryans.ru/hub/
Панель (изнутри) http://192.168.1.10:9120/
Графики http://192.168.1.113:3000/d/buryan-hub
Метрики http://192.168.1.10:9120/metrics
Тревоги http://192.168.1.134:9093

В чате: бот Инфраструктура — !status, !gaps, !users, !sources, !history <сервис>, !backups, !disk.


2. Как устроено

сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события
                                            ↓
                     метрики → Prometheus → Grafana
                     проблемы → сверка (03:30) → бот Инфраструктура
                     пожелания → боты → папка проекта

Ядро — единственная точка, где сходятся события всех сервисов: 12 источников, карточки объектов, связи, история, журнал действий.


3. Ежедневные задачи

Время Задача Лог
01:00 бэкап контейнеров (LXC) /var/log/lxc-*.log
02:00 дамп PostgreSQL (все базы) cron-pg.log
02:30 бэкап базы ядра /var/log/hub-backup.log
02:40 проверка бэкапа PG /var/log/hub-pg-verify.log
02:45 бэкап данных ботов /var/log/hub-backup.log
03:00 бэкап Matrix /root/matrix-backups/logs
03:05 проверка бэкапа ботов /var/log/hub-bots-verify.log
03:15 сверка служб /var/log/hub-reconcile.log
03:20 проверка Matrix (офсайт, восстановление) /var/log/hub-matrix-backup.log
03:45 связка карточек /var/log/hub-linker.log
04:00 офсайт (restic) offsite-backup.log
04:15 каталог библиотек /var/log/hub-catalog.log
07:30 инвентаризация /var/log/hub-inventory.log
08:00 (пн) аудит доступов /var/log/hub-identity.log
08:30 дайджест событий /var/log/hub-digest.log
19:00 «продолжить просмотр» /var/log/hub-resume.log
20:00 (вс) недельный отчёт /var/log/hub-weekly-core.log
23:00 экспорт данных в проект /var/log/hub-export.log
каждые 10 мин коннекторы /var/log/hub-connectors.log

Состояние всех задач — на панели, блок «Задачи».


4. Если что-то сломалось

Сервис не отвечает

python3 /opt/hub-core/reconcile.py      # проверить всё разом
systemctl status hub-core hub-bots      # живы ли службы

Сверка сама поднимает остановленные контейнеры и пишет действия в журнал.

События перестали идти

python3 /opt/hub-core/connectors.py     # ручной прогон с отчётом

Смотреть /var/log/hub-connectors.log и блок «Источники событий» на панели: если у источника пропала свежая дата — он замолчал.

Бэкап не восстановился

Каждый бэкап имеет свою проверку — она присылает backup.failed боту Инфраструктура. Ручной прогон:

bash /opt/hub-core/pg_verify_cron.sh      # PostgreSQL: сверка таблиц
bash /opt/hub-core/matrix_verify.sh       # Matrix: разворот в тестовую базу
bash /opt/hub-core/bots_verify.sh         # данные ботов: распаковка
bash /opt/hub-core/lxc_verify.sh          # контейнер: поднять и удалить
bash /opt/hub-core/offsite_verify.sh      # офсайт restic

Тревога не пришла

Проверить цепочку по очереди:

curl -s http://192.168.1.134:9090/api/v1/alertmanagers   # Prometheus видит Alertmanager
curl -s http://192.168.1.134:9093/api/v2/alerts          # тревога в Alertmanager
curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager  # вебхук жив

Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие — Alertmanager закроет их сам через 5 минут.

Панель не открывается

systemctl restart hub-core
curl -s http://127.0.0.1:9120/health
nginx -t && systemctl reload nginx

5. Где что лежит

Что Путь
Код ядра /opt/hub-core/
Код ботов /opt/hub-bots/hub/
Настройки ядра /etc/hub-core/ (600)
Настройки ботов /etc/hub-bots/ (600)
Данные ботов /var/lib/hub-bots/
Бэкапы /mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump}
Данные в проект /root/buryan-infra/data/
Репозиторий /root/buryan-infra/

6. Что осталось открытым

Что Нужно
LLM ключ → /etc/hub-core/llm.env
Telegram api_id, api_hash, каналы → /etc/hub-core/telegram.env
Камеры RTSP-адреса
MQTT в Home Assistant включить интеграцию в UI (инструкция в ops/homeassistant/)
Thin pool 82% решить судьбу снапшота vm-115 (25 ГБ)
Immich/Paperless для семьи создать учётные записи

7. Что проверено на живом

  • ядро принимает события, создаёт карточки, находит их поиском;
  • импорт файла запускает сканирование Jellyfin (автодействие);
  • сверка находит проблемы и сообщает о них боту;
  • все шесть бэкапов проверены на восстановление;
  • тревога Prometheus доходит до Matrix, закрытие — тоже;
  • панель открывается снаружи за входом Authentik;
  • боты пишут пожелания в папку проекта.

Чего не проверено: ночной прогон задач по расписанию (создавались и запускались вручную вечером) — первая настоящая ночь покажет.