Описана архитектура связующего слоя: шина событий, граф сущностей, сверка с реальностью, интеллект поверх общего индекса. Слои: сервисы (источник правды) → ядро (события, граф, правила) → интеллект (разбор запросов, поиск, действия) → интерфейс (Matrix, панель). План из четырёх шагов с проверками на каждом: ядро данных в PostgreSQL, шина событий, сверка и действия с подтверждением, затем AI. Принципы: сервисы остаются источником правды, одно направление записи, идемпотентность, деградация без поломки, сначала предложение — потом действие.
13 KiB
Buryan Hub Core: один механизм вместо 35 сервисов
Проект связующего слоя. Цель — чтобы сервисы работали как один организм: одно действие в одном месте видно везде, данные не расходятся, а человек получает одну картину, а не 35 вкладок.
1. Проблема, которую решаем
Сейчас есть 35 доменов и 30 контейнеров. Каждый живёт сам:
| Симптом | Пример из нашей практики |
|---|---|
| Данные расходятся | фильм есть в Seerr, но не в Radarr; заявка висит, потому что нет загрузчика |
| Нет общей картины | «что у нас есть?» — надо обойти 6 сервисов |
| Одно и то же в трёх местах | фильм в Jellyfin, Radarr и Plex — три разных записи |
| Нет истории | «когда это появилось и почему?» — нигде не записано |
| Настройки дублируются | nginx на двух узлах, списки пользователей в 6 сервисах |
| События не доходят | скачалось — узнаёшь, только если сам откроешь |
Вывод: нужен не ещё один сервис, а слой, который держит общую модель данных и общий поток событий.
2. Архитектура: четыре слоя
┌─────────────────────────────────────────────────────────────┐
│ 4. Интерфейс: Matrix (личка с ботами), единая панель │
├─────────────────────────────────────────────────────────────┤
│ 3. Интеллект: разбор запросов, поиск, сводки, действия │
├─────────────────────────────────────────────────────────────┤
│ 2. Ядро: события, граф сущностей, синхронизация, правила │
├─────────────────────────────────────────────────────────────┤
│ 1. Сервисы: Jellyfin, *arr, Immich, Calibre, HA, Frigate… │
└─────────────────────────────────────────────────────────────┘
Слой 1. Сервисы (уже есть)
Ничего не меняем. Они остаются источниками правды для своего домена.
Слой 2. Ядро — то, чего сейчас нет
Три вещи:
2.1. Шина событий. Каждый сервис шлёт вебхук в одну точку. Мы приводим их к одному формату:
{
"at": "2026-10-19T18:00:00Z",
"source": "radarr",
"type": "media.imported",
"entity": {"kind": "фильм", "key": "tmdb:693134", "title": "Дюна 2"},
"payload": {"path": "/data/movies/Дюна 2 (2024)", "size": 42},
"actor": "system"
}
Одна таблица events в общем PostgreSQL (CT 151) + публикация в Matrix.
Любой сервис, бот или сценарий читает один поток вместо семи.
2.2. Граф сущностей. Одна запись «Дюна 2» со связями:
фильм «Дюна 2»
├─ tmdb:693134 (внешний ключ)
├─ в Radarr: id 12 (статус: скачан)
├─ в Jellyfin: item (можно смотреть)
├─ заявка в Seerr: 7 (просил Роман)
├─ файл: /data/... (42 ГБ)
└─ книга-первоисточник → Calibre id 88
Это и есть «полная синхронизация»: не копирование данных между сервисами, а одна карточка, которая знает, где что лежит.
2.3. Правила и сверка. Раз в сутки сверяем модель с реальностью:
- заявка одобрена, но файла нет → предупредить;
- файл есть, но Jellyfin не видит → запустить сканирование;
- пользователь есть в Authentik, но не в Gitea → создать;
- nginx на двух узлах разошёлся → показать diff.
Это то, что мы уже делали руками (выравнивание nginx, users-sync), только автоматически и с отчётом.
Слой 3. Интеллект
| Задача | Решение | Почему так |
|---|---|---|
| Понимать «покажи, что появилось за неделю» | LLM разбирает намерение → вызов инструмента | правила не покроют формулировки |
| Искать «фильм про пустыню с Тимоти» | семантический поиск по индексу (эмбеддинги) | по словам не найдётся |
| Сводки и объяснения | LLM поверх событий | «почему не качается» — это анализ |
| Действия (заказать, тегировать) | план → подтверждение → выполнение | без подтверждения опасно |
Модель: локальная (Ollama, Qwen 2.5 7B на CPU) — без внешних зависимостей и утечек; либо облачный API по ключу, если нужна скорость. Начать с локальной: приватность и предсказуемость.
Слой 4. Интерфейс
- Matrix — единственная точка входа. Личка с ботами, кнопки-подтверждения (реакции), уведомления.
- Панель (Dashy) — витрина: статусы из Prometheus, ссылки, «что нового».
- Никаких «зайди в Sonarr, посмотри очередь» — всё через диалог.
3. Как это выглядит для человека
Пример 1. Заявка на фильм
вы: хочу посмотреть Дюну 2
бот: нашёл в каталоге. Заказать? [да / нет]
вы: да
бот: заказал. Ищу источник…
бот: (через час) качается, 40%. Место есть.
бот: (через два часа) готово, доступно в Jellyfin. Смотреть?
Пример 2. Утро
бот: за ночь: 2 фильма скачались, 1 серия не нашлась (нет источника),
место 71%, тревог нет. Фото загружено 12. Книга новая: «Дюна».
Пример 3. Проблема
бот: заявка «Дюна 2» висит сутки. Причина: нет индексатора для этого
типа. Предлагаю: добавить Jackett-источник. Сделать?
То есть бот не «показывает статистику», а ведёт задачу до результата и говорит причину, когда что-то не работает.
4. Что уже есть и чего не хватает
| Компонент | Состояние |
|---|---|
| Единый вход (Authentik, 35 приложений) | есть |
| Общая база PostgreSQL (CT 151) | есть |
| Шина событий | нет — есть разрозненные вебхуки (Seerr → Matrix, Alertmanager → Matrix) |
| Индекс контента (9 источников) | есть, но плоский (SQLite, без связей и истории) |
| Боты (8) | есть, но без модели данных: отвечают «здесь и сейчас» |
| Автоматизация (n8n, 7 сценариев) | есть, но не связана с ядром |
| Наблюдаемость (Prometheus, Loki, Grafana) | есть |
| AI | нет |
5. План: четыре шага
Шаг 1. Ядро данных (2–3 дня работы)
- Перенести индекс из SQLite в PostgreSQL:
entities,entity_links,events,sync_state. - Схема сущности:
kind,external_ids(jsonb),title,status,source_of_truth,updated_at. - Связи:
entity_links(from, to, relation)— «экранизация», «заявка на», «файл от». - История: каждое изменение → строка в
events.
Проверка: !карточка дюна показывает одну карточку со всеми связями.
Шаг 2. Шина событий (1–2 дня)
- Приёмник
/events(расширение текущего вебхука ботов). - Подключить: Sonarr, Radarr, Seerr, Jellyfin, Immich, Paperless, Calibre, Uptime Kuma, Alertmanager.
- Нормализация в один формат, запись в
events, публикация в Matrix.
Проверка: скачался фильм → в личке появляется событие → оно есть в таблице.
Шаг 3. Сверка и действия (2–3 дня)
- Правила-«дрифты»: заявка без файла, файл без записи в Jellyfin, пользователь без доступа, расхождение конфигов.
- Действия: запустить сканирование, создать пользователя, создать заявку.
- Каждое действие — с подтверждением в Matrix.
Проверка: искусственно ломаем (удаляем запись в Jellyfin) → ядро замечает и предлагает починить.
Шаг 4. Интеллект (3–5 дней)
- Ollama + Qwen в CT, инструмент-вызовы:
search,order,status,explain,run_action. - Боты перестают быть «командами», становятся диалогом.
- Память: предпочтения («не люблю ужасы», «озвучка — Дубляж»).
Проверка: «что-нибудь лёгкое на вечер» → предложение из библиотеки с учётом истории просмотров.
6. Принципы, чтобы не сломать то, что работает
- Сервисы остаются источником правды для своих данных. Ядро не переписывает их, а связывает.
- Одно направление записи. События идут в ядро; действия — из ядра в сервисы через их API, с подтверждением.
- Идемпотентность. Любой сценарий можно запустить дважды без вреда.
- Деградация. Ядро упало — сервисы работают как раньше.
- Ничего не удаляем сразу. Сначала предложение и отчёт, потом действие.
7. Что нужно от вас
| Что | Зачем |
|---|---|
| Решение по AI: локальная модель или облако (ключ) | выбрать поведение и приватность |
| Список Telegram-каналов | мониторинг (Telethon) |
api_id/api_hash |
Telethon |
| Готовность к «действиям с подтверждением» | какой уровень автономии дать ядру |
| Приоритет: медиа или все домены сразу | влияет на порядок шагов |
8. Итог одной фразой
Не «ещё один сервис», а одна карточка на каждый объект (фильм, книга, фото, документ), один поток событий и один диалог — с ботами, которые доводят задачу до конца и объясняют причины, когда что-то не так.