Главное: медиатека не могла пополняться. Radarr ходит за метаданными на
api.radarr.video, а с домашнего IP этот адрес отдаёт 403 Cloudflare; с VPS —
200. На VPS уже был tinyproxy, разрешающий Tailscale-сеть. Поднят проброс
socat на узле (192.168.1.10:8888 → 100.64.0.2:8888), Radarr и Sonarr
переключены на него. После этого добавлены 5 фильмов с коллекциями.
Второе: граф контента. content_graph.py строит карточки и связи: фильм →
коллекция, книга → автор, книга → серия, книга ↔ фильм (экранизация),
коллекция ↔ книжная серия (общая вселенная). На реальных данных: 21
карточка, 19 связей, включая Matrix-трилогию, Dune-дилогию, экранизацию
Dune и связь коллекции Dune с книжной серией.
Добавлен GET /links в ядро (сводка по типам и список), блок «Связи
контента» в Медиа Хабе, расписание 04:45.
Ловушки: PUT /api/v3/config/host требует allowedHosts (и не принимает «*»);
прокси на Tailscale-адрес из контейнера не работает — нужен проброс; успех
сохранения отдаёт 202.
На панель добавлен блок «Задачи»: 16 задач, время последнего запуска,
предел и состояние (ок / просрочено / не запускалась). Проверено: панель
отдаёт 8 разделов за 9 мс, через HTTPS — 200.
docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание
всех задач, что делать при поломках (сервис, события, бэкап, тревоги,
панель), где что лежит, что осталось открытым и что проверено на живом.
В prometheus.yml не было секции alerting — Prometheus не знал про
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не
доходило до Matrix. Правила срабатывали внутри и молчали.
Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end
временным правилом vector(1): Prometheus видит Alertmanager, тревога
переходит в firing, Alertmanager получает её, в Matrix приходит сообщение
«🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».
Тестовое правило удалено, активных тревог 0, три правила ядра на месте.
На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
GET /metrics в формате Prometheus: события по источникам, события за сутки,
карточки по видам, открытые проблемы, действия автоматики, связи,
заполненность хранилищ и возраст бэкапов.
Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики
hub_problems_open и hub_events_24h читаются.
Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh
(хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены,
состояние inactive, health ok. Старый файл из 10 правил не тронут.
Ловушки: контейнер не может править свой конфиг (правим на хосте);
блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML;
правила держим отдельным файлом.
На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity).
llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды.
Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет
весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13.
Когда появится ключ, тот же тест покажет качество настоящей модели без
--mock.
identity_audit.py собирает учётные записи из Authentik, Matrix, Immich,
Paperless, Gitea и Jellyfin, объединяет их по почте или имени (union-find),
отбрасывает служебные аккаунты и строит матрицу «кто где заведён».
Результат: 7 человек. Immich и Paperless есть только у владельца, daniil не
заведён в Matrix. Таблица сохраняется в API (коллекция identity) и отдаётся
ботом по команде !users мгновенно.
Расписание: понедельник 08:00.
По пути: экранирование сломало файл ботов (литеральные \\n) — восстановлен
из репозитория и правка применена заново.
offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.
Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).
Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
lxc_verify.sh (воскресенье 05:00): берёт самый маленький свежий архив,
разворачивает в свободный CT, запускает без сети, проверяет hostname и ОС,
удаляет тестовый контейнер.
Проверено: архив 555M развернулся за 4 с, контейнер поднялся (Ubuntu 22.04,
hostname headscale-lxc), затем удалён.
Найдено: thin pool local-lvm заполнен на 82% — восстановление туда не
проходит, поэтому тест использует хранилище local. Кандидат на очистку —
снапшот vm-115 на 25 ГБ от 14.10 (не удалял, это точка отката).
В сверку добавлен контроль хранилищ: 80% и выше — проблема с уведомлением.
Сразу поймала local-lvm 82%.
bots_verify.sh разворачивает архив ботов во временный каталог, проверяет
целостность sqlite-индекса, наличие журнала диалогов и входящих, затем
отправляет backup.done/backup.failed в ядро. Расписание 03:05.
Сторож расписаний дополнен двумя проверками (PG и боты).
docs/BACKUPS-STATUS.md — таблица: что бэкапится, когда, куда и что из этого
проверено на восстановление. Отдельно отмечено непроверенное: LXC-контейнеры,
vzdump, офсайт важного.
Проверено: архив ботов распаковался (4 файла), индекс ok, журнал и входящие
на месте, событие backup.done записано.
pg_verify.py считает строки в COPY-блоках критичных таблиц дампа
(pg_dumpall) и сравнивает с живой базой: пользователи и приложения
Authentik, аккаунты и события Matrix, снимки Immich, документы Paperless,
репозитории Gitea, карточки hub_core.
Проверено на свежем дампе: значимые таблицы на месте, проблем 0. Разница
в числах объясняется данными после 02:00; hub_core создана сегодня и
помечена отдельно.
Результат уходит событием backup.done/backup.failed в ядро, расписание 02:40.
Ловушка: каталог ops/backups исключён .gitignore, поэтому скрипты лежат
в ops/hub-core.
Обнаружено, что бэкапов Matrix не существовало: три монитора Kuma честно
показывали down, но никто не разбирался.
Скрипт на узле (03:15): pg_dump matrix_db (3.3 МБ) + tar данных CT 155
(17 МБ) + копия базы на VPS + разворачивание дампа в тестовую базу с
подсчётом пользователей (30) + ротация 14 + heartbeat в три монитора.
Проверено: все три монитора стали up (local, offsite, restore), офсайт
копируется, восстановление подтверждено.
Ловушки: pg_dump из CT 155 не работает (нет клиента) — запуск с узла;
scp на VPS нестабилен — заменён на ssh cat; мониторы были push-типа и
ждали сигнала, которого не было.
Блок «Источники за сутки» заменён таблицей: источник, всего событий,
за сутки, время последнего. По ней видно, какой сервис замолчал.
Проверено: четыре источника с числами и временем, панель 5091 байт,
через HTTPS — 200.
GET /services — источники с числом событий и временем последнего,
GET /service/<имя> — история по одному сервису.
cron_guard.py проверяет, что задачи реально отрабатывают: смотрит время
последней записи в журналах и отправляет service.stale боту Инфраструктура.
Подключён к ночной сверке.
Проверено: все десять задач прогнаны как cron и записали журналы, сторож
показывает 10 в порядке, 0 просрочено; telegram честно помечен «ещё не
запускался» (нет ключей).
library_sync.py собирает фильмы и сериалы (Jellyfin), документы (Paperless),
книги (Calibre), альбомы (Navidrome), фотоальбомы (Immich) и заводит на них
карточки в ядре. Запуск 04:15.
Проверено самопроверкой без сервисов: создаются 2 карточки, поиск их
находит, после проверки удалены. Реальный прогон: пять источников без
ошибок, карточек 0 (библиотеки пусты).
Ловушки: albumName в Immich требует кавычек (SQL через файл), русский
поисковый запрос требует urlencode.
logrotate для hub-*.log (8 недель), бэкап /var/lib/hub-bots в
/mnt/backups/hub-bots (02:45, ротация 14), панель обновляется раз в минуту.
Статус спринта переписан: что работает, что нашлось по пути (ghcr, устаревшие
комнаты, ложные падения Kuma, сериализация дат, DSN в systemd, SQL_ASCII),
что ждёт владельца и как проверить.
Воскресенье 20:00: события за 7 дней по источникам, карточки по видам,
связи, проблемы (новые/решённые), действия автоматики, заметное.
Отправляется боту Дайджест.
Проверено: отчёт собран и отправлен — 68 событий, 66 карточек по видам,
1 проблема закрыта, 1 действие.
Раньше сверка писала проблемы только в базу — человек о них не узнавал.
Теперь каждая находка уходит событием service.down через маршрутизацию ядра,
а восстановление — одним сообщением «Все службы в порядке».
Проверено: обычный прогон молчит (0 проблем), имитация падения дала
тревогу в боте Инфраструктура, после удаления имитации снова 0.
События теперь уходят по адресу: media.* и telegram.* — боту Медиа, photo.* —
Фото, book.* — Книги, ha.* — Дом, service/monitor/backup — Инфраструктура,
camera.* — Камеры. Раньше всё валилось в одну комнату.
Добавлены monitor.down/up и camera.detection в «громкие» события.
Найдено по пути: комнаты в bots.env устарели, актуальные — в dm.env;
первая версия маршрутов из-за этого молчала (403 на отправку).
Скрипт gen_routes.py собирает карту из правильных источников.
Проверено: monitor.down пришёл боту Инфраструктура, медийному не пришёл.
Добавлен location /hub/ в существующий домен status.buryans.ru — новых DNS
и сертификатов не потребовалось. Снаружи доступ закрыт входом Authentik,
изнутри сети панель как раньше на 9120.
На панель добавлен блок «Что есть в сервисах» из последней инвентаризации
(Jellyfin, Navidrome, Calibre, Immich, Paperless, Frigate).
Проверено: локально 200 и блок на месте, через HTTPS с нужным Host — 200,
публично — 302 на вход. nginx -t успешно, конфиг забэкаплен.
Утренняя сводка дополнена блоком из последней инвентаризации: медиа,
музыка, книги, фото, документы. Теперь одно сообщение отвечает и «что
произошло», и «что у нас есть».
Проверено: дайджест отправился, блоки событий и заметного на месте.
Ежедневно в 07:30 собирает показатели Jellyfin, Navidrome, Calibre, Immich,
Paperless, Sonarr, Radarr, Frigate и пишет таблицу в data/inventory/
(md + json) и в коллекцию inventory API ядра.
Проверено: все восемь строк заполнены реальными числами (нули — пустые
библиотеки, это оговорено в файле).
По пути: Navidrome читается из volume на хосте CT 125 (в контейнере нет
python3), у Sonarr/Radarr исправлены эндпоинты series/movie.
POST /data/<коллекция> — запись документа, GET /data/<коллекция> — чтение,
POST /export — выгрузка в /root/buryan-infra/data/.
Боты при любом пожелании пишут его в коллекцию wishes (кто, какой бот,
номер, текст). Команда !export выгружает коллекцию из чата. Каждый день
в 23:00 cron выгружает wishes, dialog, events и копирует журналы.
Проверено: пожелание от @polina легло в API и в файл, !export вернул путь,
в папке проекта 6 файлов (wishes, dialog, events, logs).
Коннектор отдаёт monitor.up/monitor.down вместо разового списка; ключ
события включает состояние, карточка монитора остаётся одна (entity_key).
Найдено и исправлено в мониторах: Calibre-web и FreshRSS смотрели на старый
адрес 192.168.1.111 (сервисы на .240), пять мониторов принимали только 2xx
при фактических 302 — добавлены 3xx, два мёртвых монитора выключены
(Nginx Proxy Manager, Paperless-110).
Итог: 50 вверх, 5 вниз (три — push-мониторы бэкапов, это норма).
Копия базы до правок: kuma.db.bak-monitors.
pg_dump hub_core в /mnt/backups/hub-core, ротация 14 файлов, cron 02:30.
Проверено по-настоящему: дамп создан (6 таблиц), развёрнут в тестовую
базу hub_core_test — восстановились все 68 карточек. Тестовая база удалена.
Скрипт лежит отдельным файлом /opt/hub-core/backup.sh (cron не может
вызывать строку из истории).
Панель показывает ещё связи между карточками и таблицу действий сверки
(что, куда, результат, статус). Проверено: 200, 5 блоков, цифры совпадают.
Добавлен docs/SPRINT-STATUS.md — что уже работает и проверено, что ждёт
участия владельца (ключи LLM, Telegram, DNS для новых доменов, MQTT в HA,
камеры, доступ к определениям Prowlarr) и как проверить самому.
Поиск идёт в /search ядра, старый SQLite-индекс остался запасным.
Добавлены команды: !card <id> (карточка, связи, история), !feed
(последние события), !s теперь показывает номер карточки для !card.
Проверено: !feed отдал события, !s нашёл «Дюна: часть вторая #1»,
!card 1 показал ключ tmdb:693134 и историю radarr: media.imported.
GET /search?q= — поиск по карточкам (название и внешние ключи).
GET /entity/{id} — карточка, её связи и история событий.
Проверено: поиск «дюна» вернул 3 карточки, карточка отдала историю
событий. Тестовые данные удалены, в ядре 68 настоящих карточек.
Попутно: datetimes ломали json.dumps — теперь сериализация с default=str,
иначе клиент получал пустой ответ.
CT 126 (frigate-lxc): 2 ядра, 2 ГБ, 16 ГБ, /mnt/media/frigate под записи.
Образ 6.3 ГБ, версия 0.18.2, контейнер healthy, /api/stats отдаёт
cameras: {} — камер пока нет по договорённости.
Подключено: MQTT (mosquitto 192.168.1.106:1883, префикс frigate),
проверка в сверке (18 проверок, 0 проблем), коннектор событий
camera.detection для шины.
Отдельно зафиксирована проблема загрузки: ghcr.io из этой сети почти
недоступен, образ получен через зеркало ghcr.nju.edu.cn с последующим
перетегированием.
Ядро по событию media.imported вызывает POST /Library/Refresh в Jellyfin,
поэтому новое сразу видно в медиатеке, без ожидания расписания.
Каждое действие пишется в журнал actions с результатом и статусом.
Проверено: событие «Тест автодействия» → сканирование HTTP 204 →
запись scan → jellyfin → done. Тестовая карточка удалена.
GET / на hub-core отдаёт HTML-панель: карточки, события всего и за сутки,
открытые проблемы, последние 25 событий, разбивка по источникам.
Страница без внешних зависимостей — работает, даже если остальные сервисы
недоступны. Проверено: 200, цифры совпадают с базой (68/68/68/0).
llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный).
Модель получает список инструментов (команд бота) и либо вызывает нужный,
либо отвечает текстом.
Встроено в бота: если правила не распознали фразу, бот спрашивает модель.
Без ключа адаптер молчит — поведение прежнее.
Проверено на локальной заглушке: фраза «покажи статистику по медиа» →
модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом
записывается в журнал диалогов. health() подтверждает связь.
Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через
EnvironmentFile, формат llm.env.example в репозитории.
linker.py связывает сущности с одинаковыми названиями разных видов:
нормализация (регистр, ё→е, год в скобках, знаки, служебные слова), затем
отношение «одно_название».
Проверено на тесте: «Дюна» (фильм) ↔ «Дюна (1965)» (книга) — связь создана,
тестовые карточки удалены.
Все расписания ядра на месте: коннекторы (10 мин), сверка (03:30), связка
(03:45), дайджест событий (08:30), resume (19:00). Обе службы активны.
HA подключён без токена: читаем реестр сущностей из хранилища внутри
контейнера, получаем события ha.entity.
Дайджест собирает события за сутки, группирует по источникам, показывает
заметное (импорт, заявки, тревоги, документы) и состояние ядра. Расписание
08:30.
Проверено: прогон показал 68 событий (57 Kuma, 8 HA, 2 тревоги, 1 импорт),
68 карточек, 0 открытых проблем.
resume.py обходит пользователей Jellyfin, собирает незавершённые видео,
считает процент и остаток, отправляет список в Matrix (на Android это и
есть push-уведомление, на Google TV открывается та же ссылка в родном
приложении).
Проверено: прогон отправил сообщение «сейчас ничего не досмотрено» —
корректно при пустой библиотеке.
Расписание 19:00 ежедневно.
reconcile.py проверяет 17 служб по HTTP, смотрит состояние контейнера и
поднимает остановленные, записывая действие в журнал actions с командой
отката. Проблемы ведутся в таблице problems: новые создаются, исчезнувшие
закрываются.
Проверено: первый прогон нашёл 1 проблему (n8n на неверном порту),
контейнер работал — автопочинки не было; после правки порта 0 проблем.
Расписание 03:30, лог /var/log/hub-reconcile.log.
Добавлены источники из баз сервисов: Paperless (API), Calibre (metadata.db
через python3), Navidrome (sqlite), Immich (immich_db), Uptime Kuma (kuma.db).
Первый прогон дал 57 событий от Kuma, второй — 0: идемпотентность работает.
В ядре 60 карточек и 60 событий.
По пути: база Kuma лежит не в docker volume, а в /opt/network-lxc/uptime/data;
функции источников должны возвращать (список, ошибка) — две штуки отдавали
просто список, из-за чего падали с unpacking error.
Опрос вместо вебхуков: не требует правок в сервисах, ловит пропущенное,
состояние в state.json — каждое изменение даёт одно событие.
Проверено: первый прогон дал 2 события (тревоги Alertmanager), в ядре
3 карточки и 3 события. Расписание — каждые 10 минут.
Осталось: Uptime Kuma (нужен ключ API), Immich, Paperless, Calibre,
Navidrome, Frigate, Home Assistant.
Первый шаг проекта: база hub_core (UTF8) на общем PostgreSQL, служба
hub-core на порту 9120.
Умеет: принимать события от сервисов (POST /event), вести карточки
сущностей (kind + key, статус, внешние ключи), связывать карточки,
искать и показывать последние события, публиковать важное в личку
владельцу через Matrix.
Проверено: событие radarr/media.imported записалось, карточка
«фильм | Дюна: часть вторая» создалась с кириллицей.
По пути: systemd разбивал DSN по пробелам (нужны кавычки), база была
создана в SQL_ASCII — пересоздана в UTF8.