[ARCH] Ядро Buryans Hub: роли hub-core/Hermes/OpenClaw/n8n/Node-RED, политика исполнения, сценарии, этапы

This commit is contained in:
root committed 2026-11-05 16:19:23 +03:00
1 parent d22ea5f7ac
commit 63d998c6db
2 files changed
+282

No files matched your search

+201
View File
@@ -0,0 +1,201 @@
# Ядро Buryans Hub: мозг + нервная система
Архитектурный документ. 05.11.2026.
## 1. Что уже развёрнуто (проверено)
| Компонент | Где | Порт | Роль сейчас |
|---|---|---|---|
| **hub-core** | хост | 9120 | шина событий: `/notify` 200, `/catalog` 200, `/intent`, `/ask`, `/voice`, `/status.json` (11 КБ) |
| **Hermes** | хост | 9130 | планировщик: 13 заданий, `/health` 200, `/metrics` 200 |
| **hub-bots** | хост | — | 9 Matrix-ботов (Секретарь + профильные) |
| **hub-agents** | хост | — | рой агентов — **inactive** |
| **OpenClaw** | CT115 | 9108 (SSO) | агентский слой, рядом NATS 4222 и Redis |
| **n8n** | CT108 | 5680 (+ oauth2-proxy 9105) | интеграции, вебхуки |
| **Node-RED** | CT108 | 1880 (+ oauth2-proxy 1881) | реактивные потоки |
Все четыре «мозговых» компонента уже есть, у трёх — готовый SSO (oauth2-proxy), у Hermes и hub-core — только LAN.
## 2. Проблема, которую надо решить
Сегодня:
- 124 автоматизации в реестре (cron + cron.d + systemd + hermes), и **ни одна не имеет политики исполнения**;
- инцидент 04.11 показал: при отказе компоненты начинают «долбить» друг друга (hub-core → postgres → pct exec → лавина);
- алерты идут в Matrix, но **реакции нет** — только человек;
- hub-agents (рой) не работает — LLM-слой практически отсутствует;
- данные размазаны: hermes.db, n8n executions, node-red flows, логи.
## 3. Целевая архитектура: кто за что отвечает
```
┌──────────────────────────────┐
Matrix ──────►│ hub-bots (Секретарь) │ интерфейс для человека
└──────────┬───────────────────┘
│ /intent, /ask
┌──────────▼───────────────────┐
│ hub-core │ НЕРВНАЯ СИСТЕМА
│ события · каталог · notify │ (шина, единый формат)
└───┬──────────┬───────────┬───┘
│ │ │
┌────────────▼──┐ ┌────▼─────┐ ┌──▼─────────────┐
│ Hermes │ │ OpenClaw │ │ n8n / Node-RED │
│ ИСПОЛНИТЕЛЬ │ │ МОЗГ │ │ ИНТЕГРАЦИИ │
│ policy+locks │ │ LLM │ │ внешний мир │
└───────┬───────┘ └────┬─────┘ └───────┬────────┘
│ │ │
┌───────▼───────────────▼────────────────▼───────┐
│ Инфраструктура: 33 CT, HA, медиа, сеть, SSO │
└────────────────────────────────────────────────┘
```
### Роли (жёсткое разделение, иначе будет хаос)
| Компонент | Отвечает | НЕ должен |
|---|---|---|
| **hub-core** | приём и публикация событий, каталог сервисов, единый формат | запускать действия сам |
| **Hermes** | детерминированные действия по политике: перезапуск, чистка, проверка | принимать решения «по смыслу» |
| **OpenClaw (LLM)** | диагностика, объяснение, выбор действия из белого списка, генерация черновиков | трогать инфраструктуру напрямую |
| **n8n** | интеграции с внешним миром: webhook, почта, API третьих сторон | держать критичные циклы опроса |
| **Node-RED** | реактивные потоки для HA и устройств (мгновенные реакции) | быть единственным местом логики |
## 4. Политика исполнения (ядро эффективности)
Без этого слоя любая автоматизация превращается в лавину. Один файл `ops/hermes/policy.yaml`:
```yaml
defaults:
single_flight: true # одна копия задачи
cooldown: 10m # не чаще раза в 10 минут
retry: [0s, 2m, 10m] # три попытки
circuit_breaker: 3 # 3 провала подряд -> стоп
alert_on: "give_up" # алерт только когда сдались
budget: 20/h # не более 20 действий в час на хост
rules:
restart-failed-ct:
match: "container_state != running"
action: "docker start {name}"
max_attempts: 2
escalate_to: matrix
disk-cleanup:
match: "disk_used > 85"
action: "rotate_logs && docker_prune"
cooldown: 6h
media-queue-stall:
match: "queue_progress == 0 for 6h"
action: "restart qbittorrent, re-search"
cooldown: 6h
```
**Принципы:**
1. **Idempotency** — повторный запуск не ломает состояние.
2. **Dry-run по умолчанию** для новых правил (24 часа).
3. **Budget** — глобальный лимит действий; при превышении Hermes останавливается и пишет вам.
4. **Дедупликация алертов** — одинаковое событие в окне 1 ч = одно сообщение.
5. **Журнал всего** — каждое действие в `hermes.db`: что, почему, результат.
## 5. Сценарии по направлениям
### 5.1 Инфраструктура (наибольшая отдача)
| Сценарий | Что делает ядро | Что получаете |
|---|---|---|
| Контейнер упал | Hermes: `pct status` → `docker start` → проверка порта → алерт если не поднялся | простой минуты, а не часы |
| Docker-демон завис | restart docker + перезапуск контейнеров по списку зависимостей | восстановление без вас |
| После перезагрузки | Hermes поднимает CT в порядке зависимостей (postgres → matrix → остальные) | нет «полуживого» утра |
| Диск >85 % | ротация логов, `docker prune`, удаление старых бэкапов | нет внезапного «места нет» |
| Экспортёр метрик down | перезапуск, проверка `/metrics` | мониторинг не слепнет |
| Зависшие процессы (`D`-состояние) | фиксирует, при >50 за 5 мин — алерт «деградация IO» | раннее предупреждение лавины |
| Certbot истекает | за 14 дней продление, при провале — алерт | нет «сертификат протух» |
### 5.2 Дом (HA)
| Сценарий | Ядро |
|---|---|
| Датчик не обновлялся >2 ч | проверка Zigbee2MQTT, перезапуск, алерт |
| Автоматизация не срабатывала | сверка журнала HA с ожидаемым, отчёт |
| Утечка воды | HA → hub-core → Matrix + перекрытие крана (когда будут) |
| Температура в комнате ниже нормы | проверка, что кондиционер/обогрев отвечает |
| Кто-то пришёл (Frigate) | событие → свет/уведомление/запись |
### 5.3 Медиа
| Сценарий | Ядро |
|---|---|
| Очередь стоит >6 ч | restart qBittorrent, повторный поиск |
| Релиз 0 % и 0 сидов >2 ч | пометить «мёртвый», искать другой |
| Скачалось, но не импортировалось | ручной триггер `DownloadedMoviesScan` |
| Место на `/media` <15 % | отчёт + предложение удалить просмотренное |
| Новый русский релиз | уведомление + проверка дорожки через ffprobe |
### 5.4 Доступ и безопасность
| Сценарий | Ядро |
|---|---|
| Сервис без SSO | регулярный отчёт о «дырах» (без автоправки!) |
| Подозрительный вход | алерт по логам Authentik |
| Срок сертификата | см. выше |
| Резервное копирование Authentik/Matrix | проверка свежести дампа |
### 5.5 Отчётность для человека
- **Утренний дайджест**: что сломалось, что починили сами, что требует вас.
- **Вечерняя сводка**: медиа, место, обновления.
- **Еженедельный отчёт**: MTTR, число автоисправлений, топ проблем.
## 6. Практики других (что берём)
| Практика | Откуда | Как применяем |
|---|---|---|
| **Runbook automation** | SRE | каждое правило = runbook в YAML, версионируется |
| **Self-healing / auto-remediation** | Kubernetes operators | «оператор» на Hermes: следит за желаемым состоянием |
| **Circuit breaker + backoff** | микросервисы | защита от лавин (как 04.11) |
| **Alert fatigue reduction** | SRE | дедупликация + алерт только при «сдались» |
| **Human-in-the-loop** | AIOps | LLM предлагает — человек подтверждает (для опасного) |
| **Error budget** | SRE | лимит действий/алертов в час |
| **GitOps** | платформа | `ops/hermes/policy.yaml` + jobs в git, CI-проверка |
| **Desired-state reconciliation** | Ansible/op | Hermes сравнивает «как должно быть» с «как есть» |
## 7. Этапы (с критериями готовности)
### Этап 0 — фундамент политики (2–3 дня)
- `ops/hermes/policy.yaml` + загрузчик в Hermes
- блокировки: single-flight, cooldown, budget, circuit breaker
- журнал действий в `hermes.db` (поля: job, rule, action, result, attempt)
- **Готово, когда:** Hermes не запускает задание дважды и уважает cooldown (проверяем тестом)
### Этап 1 — первые self-healing задания (неделя)
- `restart-failed-ct`, `disk-cleanup`, `exporter-restart`, `boot-orchestrator`
- всё в dry-run 24 ч, потом включаем
- **Готово, когда:** 3 реальных инцидента закрыты без вашего участия
### Этап 2 — дом и медиа (неделя)
- `zigbee-watchdog`, `media-queue-stall`, `import-missing`, `cert-check`
- **Готово, когда:** медиа не «стоит» дольше 6 ч без реакции
### Этап 3 — LLM в контуре (после чистого журнала)
- OpenClaw получает `/diagnose`: текст ошибки → гипотеза + предлагаемое действие из белого списка
- человеку приходит: «предлагаю перезапустить X, причина Y», кнопка «да»
- **Готово, когда:** LLM-предложения принимаются >70 % без правок
### Этап 4 — автономия (месяц+)
- LLM может сам выбрать действие из белого списка при уверенности >порога
- генерация черновиков job'ов с обязательным ревью
- **Готово, когда:** доля автономных решений >50 %, MTTR < 10 мин
## 8. Что реально получаем
| Метрика | Сейчас | Цель |
|---|---|---|
| MTTR (среднее время восстановления) | часы–сутки | <15 мин для типовых |
| Алертов в день на человека | десятки | 1–3 (только требующие решения) |
| Действий вручную | почти всё | <10 % |
| Слепых зон мониторинга | есть | 0 (35/35 таргетов) |
| Повторяемость инцидентов | высокая (04.11) | политика не даёт лавине развиться |
## 9. Что нужно решить (владельцу)
1. **Домен для Hermes** — нужен веб-интерфейс истории или хватит Matrix?
2. **Порог опасных действий** — что разрешено автоматически (перезапуск контейнера), а что только с подтверждением (изменение конфигов, удаление данных)?
3. **OpenClaw** — поднимаем рой (сейчас `hub-agents` inactive) или LLM живёт только в Секретаре и `ai-digest`?
4. **Распределение ролей n8n vs Node-RED** — оставить как есть или закрепить (n8n = внешние интеграции, Node-RED = дом)?
+81
View File
@@ -5559,3 +5559,84 @@ unknown
[2026-11-05 06:00:43] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-05 06:00:43] не удалось отправить уведомление для zigbee2mqtt
[2026-11-05 06:00:43] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
[2026-11-05 12:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest
[2026-11-05 12:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0
[2026-11-05 12:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
[2026-11-05 12:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
[2026-11-05 12:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-05 12:00:04] не удалось отправить уведомление для authentik-security-redis-1
[2026-11-05 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-05 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-05 12:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
[2026-11-05 12:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
[2026-11-05 12:00:06] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
[2026-11-05 12:00:06] не удалось отправить уведомление для calibre-web
[2026-11-05 12:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest
[2026-11-05 12:00:07] нет данных Docker Hub: docmost/docmost:latest:latest
[2026-11-05 12:00:08] нет данных Docker Hub: duplicati/duplicati:latest:latest
[2026-11-05 12:00:08] нет данных Docker Hub: vectorim/element-web:latest:latest
[2026-11-05 12:00:10] нет данных Docker Hub: fireflyiii/core:latest:latest
[2026-11-05 12:00:11] нет данных Docker Hub: freshrss/freshrss:latest:latest
[2026-11-05 12:00:11] нет данных Docker Hub: gitea/gitea:latest:latest
[2026-11-05 12:00:12] нет данных Docker Hub: grafana/grafana:latest:latest
[2026-11-05 12:00:12] нет данных Docker Hub: unknown:unknown
[2026-11-05 12:00:12] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-05 12:00:13] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
[2026-11-05 12:00:14] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
[2026-11-05 12:00:14] нет данных Docker Hub: sissbruecker/linkding:latest:latest
[2026-11-05 12:00:15] нет данных Docker Hub: livekit/livekit-server:latest:latest
[2026-11-05 12:00:15] нет данных Docker Hub: grafana/loki:3.2.1
[2026-11-05 12:00:16] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
[2026-11-05 12:00:17] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
[2026-11-05 12:00:17] не удалось отправить уведомление для matrix-synapse
[2026-11-05 12:00:18] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
[2026-11-05 12:00:18] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
[2026-11-05 12:00:19] нет данных Docker Hub: monica:monica
[2026-11-05 12:00:19] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-05 12:00:19] нет данных Docker Hub: n8nio/n8n:latest:latest
[2026-11-05 12:00:20] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
[2026-11-05 12:00:20] нет данных Docker Hub: deluan/navidrome:latest:latest
[2026-11-05 12:00:21] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
[2026-11-05 12:00:22] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
[2026-11-05 12:00:22] не удалось отправить уведомление для nextcloud
[2026-11-05 12:00:22] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
[2026-11-05 12:00:22] не удалось отправить уведомление для node_red
[2026-11-05 12:00:23] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
[2026-11-05 12:00:24] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-05 12:00:24] не удалось отправить уведомление для paperless_redis
[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-05 12:00:25] нет данных Docker Hub: linuxserver/plex:latest:latest
[2026-11-05 12:00:26] нет данных Docker Hub: prom/prometheus:latest:latest
[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
[2026-11-05 12:00:26] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-05 12:00:26] не удалось отправить уведомление для swarm-redis
[2026-11-05 12:00:27] нет данных Docker Hub: syncthing/syncthing:latest:latest
[2026-11-05 12:00:27] нет данных Docker Hub: tautulli/tautulli:latest:latest
[2026-11-05 12:00:28] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
[2026-11-05 12:00:29] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
[2026-11-05 12:00:30] нет данных Docker Hub: vaultwarden/server:latest:latest
[2026-11-05 12:00:31] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-05 12:00:31] не удалось отправить уведомление для zigbee2mqtt
[2026-11-05 12:00:31] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0