From 92bc3aa4e94fac0e9d2239f687a7dbd3f935a706 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Mon, 19 Oct 2026 18:04:10 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9F=D1=80=D0=BE=D0=B5=D0=BA=D1=82=20Buryan?= =?UTF-8?q?=20Hub=20Core:=20=D0=BE=D0=B4=D0=B8=D0=BD=20=D0=BC=D0=B5=D1=85?= =?UTF-8?q?=D0=B0=D0=BD=D0=B8=D0=B7=D0=BC=20=D0=B2=D0=BC=D0=B5=D1=81=D1=82?= =?UTF-8?q?=D0=BE=2035=20=D1=81=D0=B5=D1=80=D0=B2=D0=B8=D1=81=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Описана архитектура связующего слоя: шина событий, граф сущностей, сверка с реальностью, интеллект поверх общего индекса. Слои: сервисы (источник правды) → ядро (события, граф, правила) → интеллект (разбор запросов, поиск, действия) → интерфейс (Matrix, панель). План из четырёх шагов с проверками на каждом: ядро данных в PostgreSQL, шина событий, сверка и действия с подтверждением, затем AI. Принципы: сервисы остаются источником правды, одно направление записи, идемпотентность, деградация без поломки, сначала предложение — потом действие. --- docs/HUB-CORE-PROJECT.md | 234 +++++++++++++++++++++++++++++++++++++++ 1 file changed, 234 insertions(+) create mode 100644 docs/HUB-CORE-PROJECT.md diff --git a/docs/HUB-CORE-PROJECT.md b/docs/HUB-CORE-PROJECT.md new file mode 100644 index 0000000..51f2042 --- /dev/null +++ b/docs/HUB-CORE-PROJECT.md @@ -0,0 +1,234 @@ +# Buryan Hub Core: один механизм вместо 35 сервисов + +Проект связующего слоя. Цель — чтобы сервисы работали как один организм: +одно действие в одном месте видно везде, данные не расходятся, а человек +получает одну картину, а не 35 вкладок. + +--- + +## 1. Проблема, которую решаем + +Сейчас есть 35 доменов и 30 контейнеров. Каждый живёт сам: + +| Симптом | Пример из нашей практики | +|---|---| +| Данные расходятся | фильм есть в Seerr, но не в Radarr; заявка висит, потому что нет загрузчика | +| Нет общей картины | «что у нас есть?» — надо обойти 6 сервисов | +| Одно и то же в трёх местах | фильм в Jellyfin, Radarr и Plex — три разных записи | +| Нет истории | «когда это появилось и почему?» — нигде не записано | +| Настройки дублируются | nginx на двух узлах, списки пользователей в 6 сервисах | +| События не доходят | скачалось — узнаёшь, только если сам откроешь | + +Вывод: нужен не ещё один сервис, а **слой**, который держит общую модель +данных и общий поток событий. + +--- + +## 2. Архитектура: четыре слоя + +``` +┌─────────────────────────────────────────────────────────────┐ +│ 4. Интерфейс: Matrix (личка с ботами), единая панель │ +├─────────────────────────────────────────────────────────────┤ +│ 3. Интеллект: разбор запросов, поиск, сводки, действия │ +├─────────────────────────────────────────────────────────────┤ +│ 2. Ядро: события, граф сущностей, синхронизация, правила │ +├─────────────────────────────────────────────────────────────┤ +│ 1. Сервисы: Jellyfin, *arr, Immich, Calibre, HA, Frigate… │ +└─────────────────────────────────────────────────────────────┘ +``` + +### Слой 1. Сервисы (уже есть) + +Ничего не меняем. Они остаются источниками правды для своего домена. + +### Слой 2. Ядро — то, чего сейчас нет + +Три вещи: + +**2.1. Шина событий.** Каждый сервис шлёт вебхук в одну точку. Мы +приводим их к одному формату: + +```json +{ + "at": "2026-10-19T18:00:00Z", + "source": "radarr", + "type": "media.imported", + "entity": {"kind": "фильм", "key": "tmdb:693134", "title": "Дюна 2"}, + "payload": {"path": "/data/movies/Дюна 2 (2024)", "size": 42}, + "actor": "system" +} +``` + +Одна таблица `events` в общем PostgreSQL (CT 151) + публикация в Matrix. +Любой сервис, бот или сценарий читает один поток вместо семи. + +**2.2. Граф сущностей.** Одна запись «Дюна 2» со связями: + +``` +фильм «Дюна 2» + ├─ tmdb:693134 (внешний ключ) + ├─ в Radarr: id 12 (статус: скачан) + ├─ в Jellyfin: item (можно смотреть) + ├─ заявка в Seerr: 7 (просил Роман) + ├─ файл: /data/... (42 ГБ) + └─ книга-первоисточник → Calibre id 88 +``` + +Это и есть «полная синхронизация»: не копирование данных между сервисами, +а **одна карточка, которая знает, где что лежит**. + +**2.3. Правила и сверка.** Раз в сутки сверяем модель с реальностью: + +* заявка одобрена, но файла нет → предупредить; +* файл есть, но Jellyfin не видит → запустить сканирование; +* пользователь есть в Authentik, но не в Gitea → создать; +* nginx на двух узлах разошёлся → показать diff. + +Это то, что мы уже делали руками (выравнивание nginx, users-sync), только +автоматически и с отчётом. + +### Слой 3. Интеллект + +| Задача | Решение | Почему так | +|---|---|---| +| Понимать «покажи, что появилось за неделю» | LLM разбирает намерение → вызов инструмента | правила не покроют формулировки | +| Искать «фильм про пустыню с Тимоти» | семантический поиск по индексу (эмбеддинги) | по словам не найдётся | +| Сводки и объяснения | LLM поверх событий | «почему не качается» — это анализ | +| Действия (заказать, тегировать) | план → подтверждение → выполнение | без подтверждения опасно | + +**Модель:** локальная (Ollama, Qwen 2.5 7B на CPU) — без внешних +зависимостей и утечек; либо облачный API по ключу, если нужна скорость. +Начать с локальной: приватность и предсказуемость. + +### Слой 4. Интерфейс + +* **Matrix** — единственная точка входа. Личка с ботами, кнопки-подтверждения + (реакции), уведомления. +* **Панель (Dashy)** — витрина: статусы из Prometheus, ссылки, «что нового». +* Никаких «зайди в Sonarr, посмотри очередь» — всё через диалог. + +--- + +## 3. Как это выглядит для человека + +**Пример 1. Заявка на фильм** + +``` +вы: хочу посмотреть Дюну 2 +бот: нашёл в каталоге. Заказать? [да / нет] +вы: да +бот: заказал. Ищу источник… +бот: (через час) качается, 40%. Место есть. +бот: (через два часа) готово, доступно в Jellyfin. Смотреть? +``` + +**Пример 2. Утро** + +``` +бот: за ночь: 2 фильма скачались, 1 серия не нашлась (нет источника), + место 71%, тревог нет. Фото загружено 12. Книга новая: «Дюна». +``` + +**Пример 3. Проблема** + +``` +бот: заявка «Дюна 2» висит сутки. Причина: нет индексатора для этого + типа. Предлагаю: добавить Jackett-источник. Сделать? +``` + +То есть бот не «показывает статистику», а **ведёт задачу до результата** +и говорит причину, когда что-то не работает. + +--- + +## 4. Что уже есть и чего не хватает + +| Компонент | Состояние | +|---|---| +| Единый вход (Authentik, 35 приложений) | **есть** | +| Общая база PostgreSQL (CT 151) | **есть** | +| Шина событий | **нет** — есть разрозненные вебхуки (Seerr → Matrix, Alertmanager → Matrix) | +| Индекс контента (9 источников) | **есть**, но плоский (SQLite, без связей и истории) | +| Боты (8) | **есть**, но без модели данных: отвечают «здесь и сейчас» | +| Автоматизация (n8n, 7 сценариев) | **есть**, но не связана с ядром | +| Наблюдаемость (Prometheus, Loki, Grafana) | **есть** | +| AI | **нет** | + +--- + +## 5. План: четыре шага + +### Шаг 1. Ядро данных (2–3 дня работы) + +* Перенести индекс из SQLite в PostgreSQL: `entities`, `entity_links`, + `events`, `sync_state`. +* Схема сущности: `kind`, `external_ids` (jsonb), `title`, `status`, + `source_of_truth`, `updated_at`. +* Связи: `entity_links(from, to, relation)` — «экра­низация», «заявка на», + «файл от». +* История: каждое изменение → строка в `events`. + +**Проверка:** `!карточка дюна` показывает одну карточку со всеми связями. + +### Шаг 2. Шина событий (1–2 дня) + +* Приёмник `/events` (расширение текущего вебхука ботов). +* Подключить: Sonarr, Radarr, Seerr, Jellyfin, Immich, Paperless, Calibre, + Uptime Kuma, Alertmanager. +* Нормализация в один формат, запись в `events`, публикация в Matrix. + +**Проверка:** скачался фильм → в личке появляется событие → оно есть в +таблице. + +### Шаг 3. Сверка и действия (2–3 дня) + +* Правила-«дрифты»: заявка без файла, файл без записи в Jellyfin, + пользователь без доступа, расхождение конфигов. +* Действия: запустить сканирование, создать пользователя, создать заявку. +* Каждое действие — с подтверждением в Matrix. + +**Проверка:** искусственно ломаем (удаляем запись в Jellyfin) → ядро +замечает и предлагает починить. + +### Шаг 4. Интеллект (3–5 дней) + +* Ollama + Qwen в CT, инструмент-вызовы: `search`, `order`, `status`, + `explain`, `run_action`. +* Боты перестают быть «командами», становятся диалогом. +* Память: предпочтения («не люблю ужасы», «озвучка — Дубляж»). + +**Проверка:** «что-нибудь лёгкое на вечер» → предложение из библиотеки с +учётом истории просмотров. + +--- + +## 6. Принципы, чтобы не сломать то, что работает + +1. **Сервисы остаются источником правды** для своих данных. Ядро не + переписывает их, а связывает. +2. **Одно направление записи.** События идут в ядро; действия — из ядра + в сервисы через их API, с подтверждением. +3. **Идемпотентность.** Любой сценарий можно запустить дважды без вреда. +4. **Деградация.** Ядро упало — сервисы работают как раньше. +5. **Ничего не удаляем сразу.** Сначала предложение и отчёт, потом действие. + +--- + +## 7. Что нужно от вас + +| Что | Зачем | +|---|---| +| Решение по AI: локальная модель или облако (ключ) | выбрать поведение и приватность | +| Список Telegram-каналов | мониторинг (Telethon) | +| `api_id`/`api_hash` | Telethon | +| Готовность к «действиям с подтверждением» | какой уровень автономии дать ядру | +| Приоритет: медиа или все домены сразу | влияет на порядок шагов | + +--- + +## 8. Итог одной фразой + +Не «ещё один сервис», а **одна карточка на каждый объект** (фильм, книга, +фото, документ), **один поток событий** и **один диалог** — с ботами, +которые доводят задачу до конца и объясняют причины, когда что-то не так.