Проект Buryan Hub Core: один механизм вместо 35 сервисов

Описана архитектура связующего слоя: шина событий, граф сущностей,
сверка с реальностью, интеллект поверх общего индекса.

Слои: сервисы (источник правды) → ядро (события, граф, правила) →
интеллект (разбор запросов, поиск, действия) → интерфейс (Matrix, панель).

План из четырёх шагов с проверками на каждом: ядро данных в PostgreSQL,
шина событий, сверка и действия с подтверждением, затем AI.

Принципы: сервисы остаются источником правды, одно направление записи,
идемпотентность, деградация без поломки, сначала предложение — потом действие.
This commit is contained in:
buryan-agent committed 2026-10-19 18:04:10 +03:00
1 parent 494b10b253
commit 92bc3aa4e9
1 file changed
+234
+234
View File
@@ -0,0 +1,234 @@
# Buryan Hub Core: один механизм вместо 35 сервисов
Проект связующего слоя. Цель — чтобы сервисы работали как один организм:
одно действие в одном месте видно везде, данные не расходятся, а человек
получает одну картину, а не 35 вкладок.
---
## 1. Проблема, которую решаем
Сейчас есть 35 доменов и 30 контейнеров. Каждый живёт сам:
| Симптом | Пример из нашей практики |
|---|---|
| Данные расходятся | фильм есть в Seerr, но не в Radarr; заявка висит, потому что нет загрузчика |
| Нет общей картины | «что у нас есть?» — надо обойти 6 сервисов |
| Одно и то же в трёх местах | фильм в Jellyfin, Radarr и Plex — три разных записи |
| Нет истории | «когда это появилось и почему?» — нигде не записано |
| Настройки дублируются | nginx на двух узлах, списки пользователей в 6 сервисах |
| События не доходят | скачалось — узнаёшь, только если сам откроешь |
Вывод: нужен не ещё один сервис, а **слой**, который держит общую модель
данных и общий поток событий.
---
## 2. Архитектура: четыре слоя
```
┌─────────────────────────────────────────────────────────────┐
│ 4. Интерфейс: Matrix (личка с ботами), единая панель │
├─────────────────────────────────────────────────────────────┤
│ 3. Интеллект: разбор запросов, поиск, сводки, действия │
├─────────────────────────────────────────────────────────────┤
│ 2. Ядро: события, граф сущностей, синхронизация, правила │
├─────────────────────────────────────────────────────────────┤
│ 1. Сервисы: Jellyfin, *arr, Immich, Calibre, HA, Frigate… │
└─────────────────────────────────────────────────────────────┘
```
### Слой 1. Сервисы (уже есть)
Ничего не меняем. Они остаются источниками правды для своего домена.
### Слой 2. Ядро — то, чего сейчас нет
Три вещи:
**2.1. Шина событий.** Каждый сервис шлёт вебхук в одну точку. Мы
приводим их к одному формату:
```json
{
"at": "2026-10-19T18:00:00Z",
"source": "radarr",
"type": "media.imported",
"entity": {"kind": "фильм", "key": "tmdb:693134", "title": "Дюна 2"},
"payload": {"path": "/data/movies/Дюна 2 (2024)", "size": 42},
"actor": "system"
}
```
Одна таблица `events` в общем PostgreSQL (CT 151) + публикация в Matrix.
Любой сервис, бот или сценарий читает один поток вместо семи.
**2.2. Граф сущностей.** Одна запись «Дюна 2» со связями:
```
фильм «Дюна 2»
├─ tmdb:693134 (внешний ключ)
├─ в Radarr: id 12 (статус: скачан)
├─ в Jellyfin: item (можно смотреть)
├─ заявка в Seerr: 7 (просил Роман)
├─ файл: /data/... (42 ГБ)
└─ книга-первоисточник → Calibre id 88
```
Это и есть «полная синхронизация»: не копирование данных между сервисами,
а **одна карточка, которая знает, где что лежит**.
**2.3. Правила и сверка.** Раз в сутки сверяем модель с реальностью:
* заявка одобрена, но файла нет → предупредить;
* файл есть, но Jellyfin не видит → запустить сканирование;
* пользователь есть в Authentik, но не в Gitea → создать;
* nginx на двух узлах разошёлся → показать diff.
Это то, что мы уже делали руками (выравнивание nginx, users-sync), только
автоматически и с отчётом.
### Слой 3. Интеллект
| Задача | Решение | Почему так |
|---|---|---|
| Понимать «покажи, что появилось за неделю» | LLM разбирает намерение → вызов инструмента | правила не покроют формулировки |
| Искать «фильм про пустыню с Тимоти» | семантический поиск по индексу (эмбеддинги) | по словам не найдётся |
| Сводки и объяснения | LLM поверх событий | «почему не качается» — это анализ |
| Действия (заказать, тегировать) | план → подтверждение → выполнение | без подтверждения опасно |
**Модель:** локальная (Ollama, Qwen 2.5 7B на CPU) — без внешних
зависимостей и утечек; либо облачный API по ключу, если нужна скорость.
Начать с локальной: приватность и предсказуемость.
### Слой 4. Интерфейс
* **Matrix** — единственная точка входа. Личка с ботами, кнопки-подтверждения
(реакции), уведомления.
* **Панель (Dashy)** — витрина: статусы из Prometheus, ссылки, «что нового».
* Никаких «зайди в Sonarr, посмотри очередь» — всё через диалог.
---
## 3. Как это выглядит для человека
**Пример 1. Заявка на фильм**
```
вы: хочу посмотреть Дюну 2
бот: нашёл в каталоге. Заказать? [да / нет]
вы: да
бот: заказал. Ищу источник…
бот: (через час) качается, 40%. Место есть.
бот: (через два часа) готово, доступно в Jellyfin. Смотреть?
```
**Пример 2. Утро**
```
бот: за ночь: 2 фильма скачались, 1 серия не нашлась (нет источника),
место 71%, тревог нет. Фото загружено 12. Книга новая: «Дюна».
```
**Пример 3. Проблема**
```
бот: заявка «Дюна 2» висит сутки. Причина: нет индексатора для этого
типа. Предлагаю: добавить Jackett-источник. Сделать?
```
То есть бот не «показывает статистику», а **ведёт задачу до результата**
и говорит причину, когда что-то не работает.
---
## 4. Что уже есть и чего не хватает
| Компонент | Состояние |
|---|---|
| Единый вход (Authentik, 35 приложений) | **есть** |
| Общая база PostgreSQL (CT 151) | **есть** |
| Шина событий | **нет** — есть разрозненные вебхуки (Seerr → Matrix, Alertmanager → Matrix) |
| Индекс контента (9 источников) | **есть**, но плоский (SQLite, без связей и истории) |
| Боты (8) | **есть**, но без модели данных: отвечают «здесь и сейчас» |
| Автоматизация (n8n, 7 сценариев) | **есть**, но не связана с ядром |
| Наблюдаемость (Prometheus, Loki, Grafana) | **есть** |
| AI | **нет** |
---
## 5. План: четыре шага
### Шаг 1. Ядро данных (2–3 дня работы)
* Перенести индекс из SQLite в PostgreSQL: `entities`, `entity_links`,
`events`, `sync_state`.
* Схема сущности: `kind`, `external_ids` (jsonb), `title`, `status`,
`source_of_truth`, `updated_at`.
* Связи: `entity_links(from, to, relation)` — «экра­низация», «заявка на»,
«файл от».
* История: каждое изменение → строка в `events`.
**Проверка:** `!карточка дюна` показывает одну карточку со всеми связями.
### Шаг 2. Шина событий (1–2 дня)
* Приёмник `/events` (расширение текущего вебхука ботов).
* Подключить: Sonarr, Radarr, Seerr, Jellyfin, Immich, Paperless, Calibre,
Uptime Kuma, Alertmanager.
* Нормализация в один формат, запись в `events`, публикация в Matrix.
**Проверка:** скачался фильм → в личке появляется событие → оно есть в
таблице.
### Шаг 3. Сверка и действия (2–3 дня)
* Правила-«дрифты»: заявка без файла, файл без записи в Jellyfin,
пользователь без доступа, расхождение конфигов.
* Действия: запустить сканирование, создать пользователя, создать заявку.
* Каждое действие — с подтверждением в Matrix.
**Проверка:** искусственно ломаем (удаляем запись в Jellyfin) → ядро
замечает и предлагает починить.
### Шаг 4. Интеллект (3–5 дней)
* Ollama + Qwen в CT, инструмент-вызовы: `search`, `order`, `status`,
`explain`, `run_action`.
* Боты перестают быть «командами», становятся диалогом.
* Память: предпочтения («не люблю ужасы», «озвучка — Дубляж»).
**Проверка:** «что-нибудь лёгкое на вечер» → предложение из библиотеки с
учётом истории просмотров.
---
## 6. Принципы, чтобы не сломать то, что работает
1. **Сервисы остаются источником правды** для своих данных. Ядро не
переписывает их, а связывает.
2. **Одно направление записи.** События идут в ядро; действия — из ядра
в сервисы через их API, с подтверждением.
3. **Идемпотентность.** Любой сценарий можно запустить дважды без вреда.
4. **Деградация.** Ядро упало — сервисы работают как раньше.
5. **Ничего не удаляем сразу.** Сначала предложение и отчёт, потом действие.
---
## 7. Что нужно от вас
| Что | Зачем |
|---|---|
| Решение по AI: локальная модель или облако (ключ) | выбрать поведение и приватность |
| Список Telegram-каналов | мониторинг (Telethon) |
| `api_id`/`api_hash` | Telethon |
| Готовность к «действиям с подтверждением» | какой уровень автономии дать ядру |
| Приоритет: медиа или все домены сразу | влияет на порядок шагов |
---
## 8. Итог одной фразой
Не «ещё один сервис», а **одна карточка на каждый объект** (фильм, книга,
фото, документ), **один поток событий** и **один диалог** — с ботами,
которые доводят задачу до конца и объясняют причины, когда что-то не так.