# Buryan Hub: дежурная книга Что построено за спринт, как проверить и что делать, если сломалось. --- ## 1. Где смотреть | Что | Адрес | |---|---| | Панель (снаружи, за входом) | `https://status.buryans.ru/hub/` | | Панель (изнутри) | `http://192.168.1.10:9120/` | | Графики | `http://192.168.1.113:3000/d/buryan-hub` | | Метрики | `http://192.168.1.10:9120/metrics` | | Тревоги | `http://192.168.1.134:9093` | В чате: бот **Инфраструктура** — `!status`, `!gaps`, `!users`, `!sources`, `!history <сервис>`, `!backups`, `!disk`. --- ## 2. Как устроено ``` сервисы → коннекторы (каждые 10 мин) → ядро (PostgreSQL) → события ↓ метрики → Prometheus → Grafana проблемы → сверка (03:30) → бот Инфраструктура пожелания → боты → папка проекта ``` Ядро — единственная точка, где сходятся события всех сервисов: 12 источников, карточки объектов, связи, история, журнал действий. --- ## 3. Ежедневные задачи | Время | Задача | Лог | |---|---|---| | 01:00 | бэкап контейнеров (LXC) | `/var/log/lxc-*.log` | | 02:00 | дамп PostgreSQL (все базы) | `cron-pg.log` | | 02:30 | бэкап базы ядра | `/var/log/hub-backup.log` | | 02:40 | проверка бэкапа PG | `/var/log/hub-pg-verify.log` | | 02:45 | бэкап данных ботов | `/var/log/hub-backup.log` | | 03:00 | бэкап Matrix | `/root/matrix-backups/logs` | | 03:05 | проверка бэкапа ботов | `/var/log/hub-bots-verify.log` | | 03:15 | сверка служб | `/var/log/hub-reconcile.log` | | 03:20 | проверка Matrix (офсайт, восстановление) | `/var/log/hub-matrix-backup.log` | | 03:45 | связка карточек | `/var/log/hub-linker.log` | | 04:00 | офсайт (restic) | `offsite-backup.log` | | 04:15 | каталог библиотек | `/var/log/hub-catalog.log` | | 07:30 | инвентаризация | `/var/log/hub-inventory.log` | | 08:00 (пн) | аудит доступов | `/var/log/hub-identity.log` | | 08:30 | дайджест событий | `/var/log/hub-digest.log` | | 19:00 | «продолжить просмотр» | `/var/log/hub-resume.log` | | 20:00 (вс) | недельный отчёт | `/var/log/hub-weekly-core.log` | | 23:00 | экспорт данных в проект | `/var/log/hub-export.log` | | каждые 10 мин | коннекторы | `/var/log/hub-connectors.log` | Состояние всех задач — на панели, блок «Задачи». --- ## 4. Если что-то сломалось ### Сервис не отвечает ``` python3 /opt/hub-core/reconcile.py # проверить всё разом systemctl status hub-core hub-bots # живы ли службы ``` Сверка сама поднимает остановленные контейнеры и пишет действия в журнал. ### События перестали идти ``` python3 /opt/hub-core/connectors.py # ручной прогон с отчётом ``` Смотреть `/var/log/hub-connectors.log` и блок «Источники событий» на панели: если у источника пропала свежая дата — он замолчал. ### Бэкап не восстановился Каждый бэкап имеет свою проверку — она присылает `backup.failed` боту Инфраструктура. Ручной прогон: ``` bash /opt/hub-core/pg_verify_cron.sh # PostgreSQL: сверка таблиц bash /opt/hub-core/matrix_verify.sh # Matrix: разворот в тестовую базу bash /opt/hub-core/bots_verify.sh # данные ботов: распаковка bash /opt/hub-core/lxc_verify.sh # контейнер: поднять и удалить bash /opt/hub-core/offsite_verify.sh # офсайт restic ``` ### Тревога не пришла Проверить цепочку по очереди: ``` curl -s http://192.168.1.134:9090/api/v1/alertmanagers # Prometheus видит Alertmanager curl -s http://192.168.1.134:9093/api/v2/alerts # тревога в Alertmanager curl -s -X POST -d '{}' http://127.0.0.1:9110/alertmanager # вебхук жив ``` Помнить: при перезапуске Prometheus активные тревоги «теряют» закрытие — Alertmanager закроет их сам через 5 минут. ### Панель не открывается ``` systemctl restart hub-core curl -s http://127.0.0.1:9120/health nginx -t && systemctl reload nginx ``` --- ## 5. Где что лежит | Что | Путь | |---|---| | Код ядра | `/opt/hub-core/` | | Код ботов | `/opt/hub-bots/hub/` | | Настройки ядра | `/etc/hub-core/` (600) | | Настройки ботов | `/etc/hub-bots/` (600) | | Данные ботов | `/var/lib/hub-bots/` | | Бэкапы | `/mnt/backups/{postgresql,hub-core,hub-bots,matrix,dump}` | | Данные в проект | `/root/buryan-infra/data/` | | Репозиторий | `/root/buryan-infra/` | --- ## 6. Что осталось открытым | Что | Нужно | |---|---| | LLM | ключ → `/etc/hub-core/llm.env` | | Telegram | `api_id`, `api_hash`, каналы → `/etc/hub-core/telegram.env` | | Камеры | RTSP-адреса | | MQTT в Home Assistant | включить интеграцию в UI (инструкция в `ops/homeassistant/`) | | Thin pool 82% | решить судьбу снапшота `vm-115` (25 ГБ) | | Immich/Paperless для семьи | создать учётные записи | --- ## 7. Что проверено на живом * ядро принимает события, создаёт карточки, находит их поиском; * импорт файла запускает сканирование Jellyfin (автодействие); * сверка находит проблемы и сообщает о них боту; * все шесть бэкапов проверены на восстановление; * тревога Prometheus доходит до Matrix, закрытие — тоже; * панель открывается снаружи за входом Authentik; * боты пишут пожелания в папку проекта. Чего **не** проверено: ночной прогон задач по расписанию (создавались и запускались вручную вечером) — первая настоящая ночь покажет.