[ARCH] Большой спринт ядра: 5 слоёв, 6 фаз, глубокая интеграция контента/дома/инфры/памяти

This commit is contained in:
root committed 2026-11-05 16:29:22 +03:00
1 parent 63d998c6db
commit 1dfedd8791
1 file changed
+222
+222
View File
@@ -0,0 +1,222 @@
# Большой спринт: ядро Buryans Hub как единая система
Версия 1.0 · 05.11.2026
## 0. Что показала проверка (реальность, а не желаемое)
| Компонент | Факт | Значение для плана |
|---|---|---|
| **hub-core `/catalog`** | уже хранит **семантические сущности**: `movie\|interstellar\|2014` с aliases на двух языках, sources (`jellyfin`,`radarr`), ids, state, size, tmdb | это уже **зародыш памяти мозга** — план строится вокруг него |
| **hub-core `/status.json`** | 74 сервиса, up 69, down 5 | готовая карта «как есть» |
| **OpenClaw** | полноценный агент-рантайм: `openclaw.mjs`, `skills/`, `extensions/`, `src/`, NATS 4222, Redis | мозг не надо писать с нуля — есть фреймворк |
| **Hermes** | 13 заданий, `hermes.db` (журнал), `/metrics` | исполнитель есть, нужен слой политики |
| **n8n** | воркфлоу в sqlite (не в json) | интеграции есть, нужен каталог и порядок |
| **Node-RED** | порт 1880, потоки | реактивный слой есть |
| **hub-bots** | 9 Matrix-ботов | интерфейс есть |
**Вывод:** нам не нужны новые компоненты. Нужно **соединить существующие в одну управляемую, наблюдаемую, самовосстанавливающуюся ткань** — и расширить память ядра с «медиа» на «всё остальное».
---
## 1. Целевое состояние
Одна система с пятью слоями, каждый со строгой ответственностью:
```
┌─────────────────────────────────────────────────────────┐
│ ИНТЕРФЕЙС — Matrix Секретарь (основной), Telegram, │
│ веб-дашборд истории │
└────────────────────────┬────────────────────────────────┘
│ намерения (/intent, /ask)
┌────────────────────────▼────────────────────────────────┐
│ МОЗГ — OpenClaw + DeepSeek (позже локальный LLM) │
│ память: каталог сущностей + RAG по докам/логам │
│ действия: выбор из белого списка + политика │
└────────────────────────┬────────────────────────────────┘
│ действия (RPC) и события
┌────────────────────────▼────────────────────────────────┐
│ НЕРВНАЯ СИСТЕМА — hub-core: граф сущностей, шина │
│ событий, журнал с correlation-id, каталог │
└───────┬──────────────────┬──────────────────┬───────────┘
│ │ │
┌───────▼────────┐ ┌──────▼─────────┐ ┌─────▼──────────┐
│ МЫШЦЫ │ │ ИНТЕГРАЦИИ │ │ РЕАКЦИИ ДОМА │
│ Hermes │ │ n8n (webhook, │ │ Node-RED │
│ детерминиро- │ │ внешние API) │ │ (мгновенные │
│ ванный испол- │ │ │ │ сценарии) │
│ нитель │ └─────────────────┘ └────────────────┘
└───────┬────────┘
│
┌───────▼────────────────────────────────────────────────┐
│ МИР — 33 CT, 125 сервисов, HA, медиа, сеть, SSO, люди │
└─────────────────────────────────────────────────────────┘
```
---
## 2. Принципы построения (чтобы «правильно», а не «лишь бы»)
1. **Единая сущность — единая запись.** Каждый объект (сервис, комната, человек, фильм, автоматизация, датчик) — одна сущность в каталоге с aliases и отношениями. Не «данные в пяти местах».
2. **Всё — события.** Любое изменение (скачался фильм, упал контейнер, сработал датчик) — типизированное событие на шине с `correlation_id`.
3. **Действие — через реестр.** Никто не трогает мир напрямую: только через зарегистрированные действия, которые: идемпотентны, имеют dry-run, лимиты, журнал.
4. **Политика прежде автономии.** Один `policy.yaml`: single-flight, cooldown, retry+backoff, circuit-breaker, budget, дедупликация алертов. Без неё — лавина 04.11.
5. **Память прежде интеллекта.** Сначала полный граф сущностей и RAG-индекс по докам/ADRs/runbooks, потом LLM. LLM без памяти — болтун.
6. **Наблюдаемость встроена.** Каждое действие/событие → journal → Prometheus → Grafana. Нет «тихих» операций.
7. **Человек — на эскалацию, не на рутину.** Автономно только безопасное и идемпотентное; опасное — подтверждение.
---
## 3. Глубокая интеграция по направлениям
### 3.1 Контент (максимальная автоматизация)
**Сейчас:** человек руками правит Radarr, ждёт, смотрит на ffprobe, не имеет русского источника с сидами.
**Цель — контент-движок как сервис:**
```
«скачай сериал X в 4K с русским дубляжом»
→ Мозг: понять запрос (aliases из каталога)
→ Действие: overseerr/radarr/sonarr lookup
→ Выбор релиза: CF «Russian Audio» + сиды + качество
→ Загрузка: qBittorrent через прокси (когда будет источник)
→ Верификация: ffprobe проверка русской дорожки
→ Импорт + подписи (Bazarr)
→ Уведомление в Matrix «готово, русская дорожка ✓»
→ Коллекция в Jellyfin
→ Жизненный цикл: просмотрено → предложение удалить/архивировать (с подтверждением)
```
**Конкретные механизмы:**
| Механизм | Что делает |
|---|---|
| `request_content` | единая точка запроса из Matrix/Telegram/Overseerr |
| `verify_russian_audio` | ffprobe как gate перед «готово» |
| `media_queue_watchdog` | очередь стоит 6 ч → рестарт/замена релиза |
| `source_health` | рейтинг источников по сидам и доступности, failover |
| `subtitles_sync` | Bazarr после импорта |
| `lifecycle_prune` | место <15 % → предложить удалить просмотренное |
| `recommend` | «похожее на то, что смотрели» из Jellyfin |
### 3.2 Автоматизации (переход от «n скриптов» к правилам)
**Сейчас:** 124 записи (cron+cron.d+systemd+hermes), каждая сама по себе.
**Цель — декларативные правила над шиной:**
```yaml
rule: livingroom_motion_light
when: event = "motion_detected" and area = "livingroom" and light.living < 10
do: light.turn_on(livingroom, 30%)
unless: presence = "movie_mode"
```
- Всё в одном реестре, версионируется в git, валидируется CI.
- Node-RED остаётся для миллисекундных реакций HA; n8n — для внешнего мира; Hermes — для плановых и лечебных; **но все пишут события в шину**, чтобы мозг видел целое.
### 3.3 Инфраструктура (self-healing)
| Правило | Действие |
|---|---|
| CT/контейнер упал | поднять → проверить порт → эскалация если не поднялся |
| docker завис | рестарт + восстановление зависимостей |
| после reboot | оркестратор поднимает в порядке зависимостей |
| диск >85 % | ротация, prune, удаление старых бэкапов |
| экспортёр down | рестарт + проверка /metrics |
| `D`-процессы >50 за 5 мин | алерт «деградация IO» (ранний сигнал лавины) |
| сертификат истекает | продление за 14 дней |
### 3.4 Дом
- датчик молчит → рестарт Z2M → алерт
- утечка → Matrix + перекрытие крана (по закупке)
- Frigate увидел → событие → свет/запись/уведомление
- климат: t ниже нормы → проверка, что обогрев/кондиционер отвечает
### 3.5 Люди и память (то, чего сейчас нет вообще)
- **Профили людей** (семья): предпочтения, устройства, комнаты.
- **Память разговоров**: Секретарь помнит контекст между сессиями.
- **Решения и ADR** — в RAG: мозг ссылается на «почему мы сделали так» из `docs/adr/`.
- **Runbook'и** — LLM ищет решение в прошлых инцидентах, а не выдумывает.
### 3.6 Отчётность
- Утренний дайджест: что сломалось, что починили сами, что требует вас.
- Еженедельный: MTTR, % автоисправлений, топ-5 проблем, drift.
---
## 4. Большой спринт: 6 фаз
Каждая фаза — с артефактом и критерием готовности.
### Фаза A — Фундамент (схема + шина + политика) · 3–4 дня
**Артефакты:**
- `schema.yaml` — v1 схемы событий и сущностей (домены: media, home, infra, access, people)
- NATS поднят как шина (уже есть в OpenClaw) + адаптер в hub-core
- `ops/hermes/policy.yaml` + загрузчик: single-flight, cooldown, retry, circuit-breaker, budget, дедуп алертов
- журнал v2: correlation_id, actor, rule, action, result, attempt
**Готово когда:** событие HA→шина→журнал проходит end-to-end; Hermes не запускает задачу дважды (тест).
### Фаза B — Мышцы (реестр действий) · 4–5 дней
**Артефакты:** реестр действий с политикой и dry-run:
- `infra`: pct status/start/stop, docker, service, exporter restart
- `media`: radarr/sonarr search+add, qb pause/resume, ffprobe verify, import scan
- `home`: ha_call_service, ha_get_state
- `content`: search (catalog + overseerr)
**Готово когда:** каждое действие вызывается из реестра, идемпотентно, с журналом и dry-run.
### Фаза C — Память мозга · 4–5 дней
**Артефакты:**
- каталог расширен на все домены (сервисы, комнаты, люди, устройства, автоматизации)
- RAG-индекс по `ops/`, `docs/adr/`, runbook'ам, журналу
- `ai-digest` → `ai-diagnose`: LLM даёт гипотезу + предлагаемое действие из белого списка (human-in-loop)
**Готово когда:** «почему Prowlarr не отвечает» → LLM называет реальную причину + предлагает действие, >70 % без правок.
### Фаза D — Контент-движок · 5–6 дней
**Артефакты:** полный конвейер `request_content → … → готово` (раздел 3.1), включая источник с русским контентом (RuTracker с аккаунтом или Telegram-каналы).
**Готово когда:** фраза «скачай X на русском» заканчивается фильмом с русской дорожкой в Jellyfin и уведомлением, без ваших ручных шагов.
### Фаза E — Дом + инфраструктура автономно · неделя
**Артефакты:** self-healing правила в бою (не dry-run), cross-domain сценарии («конец фильма → свет»), boot-оркестратор.
**Готово когда:** 3 реальных инцидента закрыты без вас; MTTR < 15 мин.
### Фаза F — Автономия и корректность · неделя+
**Артефакты:** error budget, drift-детектор (сверка желаемого и фактического), LLM генерирует черновики правил (ревью), недельный отчёт.
**Готово когда:** доля автономных решений >50 %, алертов на человека 1–3/день.
---
## 5. Что реально получаем
| Метрика | Сейчас | Цель |
|---|---|---|
| MTTR | часы–сутки | <15 мин |
| Алертов/день на человека | десятки | 1–3 |
| Ручных действий | почти всё | <10 % |
| Слепые зоны | есть | 0 |
| Один ассистент на всё | нет (9 ботов, n скриптов) | да |
**Главное качественное изменение:** вместо «кучи инструментов, каждый из которых что-то умеет» — **одна система, которая знает, помнит, действует и отчитывается**. Вы общаетесь с домом как с сотрудником, а не как с набором скриптов.
---
## 6. Что решить владельцу (перед стартом)
1. **Источник русского контента** — RuTracker (нужен аккаунт, Cloudflare блокирует автовход) или Telegram-каналы с кино. От этого зависит Фаза D.
2. **Порог опасного** — что автоматом (рестарт контейнера), что с подтверждением (конфиги, удаление данных).
3. **Локальный LLM** — CT160 поднимаем на Фазе C или оставляем DeepSeek? (DeepSeek быстрее запуститься, локальный — приватнее и дешевле на больших объёмах).
4. **Домен для панели истории** — нужен или хватит Matrix?
---
## 7. Первый шаг (без риска)
Начинаем с **Фазы A, шаг 1**: пишу `schema.yaml` + `ops/hermes/policy.yaml` + загрузчик политики. Ничего не включается в бой — это фундамент, проверяемый тестами. Дальше по фазам, с вашим подтверждением на каждую.
Скажите «стартуем Фазу A» — и я подготовлю схему и политику как первый коммит большого спринта.