From 63d998c6dbbd44cdb0b9ef322726d532fafb8d2d Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 5 Nov 2026 16:19:23 +0300 Subject: [PATCH] =?UTF-8?q?[ARCH]=20=D0=AF=D0=B4=D1=80=D0=BE=20Buryans=20H?= =?UTF-8?q?ub:=20=D1=80=D0=BE=D0=BB=D0=B8=20hub-core/Hermes/OpenClaw/n8n/N?= =?UTF-8?q?ode-RED,=20=D0=BF=D0=BE=D0=BB=D0=B8=D1=82=D0=B8=D0=BA=D0=B0=20?= =?UTF-8?q?=D0=B8=D1=81=D0=BF=D0=BE=D0=BB=D0=BD=D0=B5=D0=BD=D0=B8=D1=8F,?= =?UTF-8?q?=20=D1=81=D1=86=D0=B5=D0=BD=D0=B0=D1=80=D0=B8=D0=B8,=20=D1=8D?= =?UTF-8?q?=D1=82=D0=B0=D0=BF=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/ARCH-CORE-2026-11-05.md | 201 ++++++++++++++++++++++++++++++++++++ ops/audit/version-watch.log | 81 +++++++++++++++ 2 files changed, 282 insertions(+) create mode 100644 ops/ARCH-CORE-2026-11-05.md diff --git a/ops/ARCH-CORE-2026-11-05.md b/ops/ARCH-CORE-2026-11-05.md new file mode 100644 index 0000000..2a020c8 --- /dev/null +++ b/ops/ARCH-CORE-2026-11-05.md @@ -0,0 +1,201 @@ +# Ядро Buryans Hub: мозг + нервная система + +Архитектурный документ. 05.11.2026. + +## 1. Что уже развёрнуто (проверено) + +| Компонент | Где | Порт | Роль сейчас | +|---|---|---|---| +| **hub-core** | хост | 9120 | шина событий: `/notify` 200, `/catalog` 200, `/intent`, `/ask`, `/voice`, `/status.json` (11 КБ) | +| **Hermes** | хост | 9130 | планировщик: 13 заданий, `/health` 200, `/metrics` 200 | +| **hub-bots** | хост | — | 9 Matrix-ботов (Секретарь + профильные) | +| **hub-agents** | хост | — | рой агентов — **inactive** | +| **OpenClaw** | CT115 | 9108 (SSO) | агентский слой, рядом NATS 4222 и Redis | +| **n8n** | CT108 | 5680 (+ oauth2-proxy 9105) | интеграции, вебхуки | +| **Node-RED** | CT108 | 1880 (+ oauth2-proxy 1881) | реактивные потоки | + +Все четыре «мозговых» компонента уже есть, у трёх — готовый SSO (oauth2-proxy), у Hermes и hub-core — только LAN. + +## 2. Проблема, которую надо решить + +Сегодня: +- 124 автоматизации в реестре (cron + cron.d + systemd + hermes), и **ни одна не имеет политики исполнения**; +- инцидент 04.11 показал: при отказе компоненты начинают «долбить» друг друга (hub-core → postgres → pct exec → лавина); +- алерты идут в Matrix, но **реакции нет** — только человек; +- hub-agents (рой) не работает — LLM-слой практически отсутствует; +- данные размазаны: hermes.db, n8n executions, node-red flows, логи. + +## 3. Целевая архитектура: кто за что отвечает + +``` + ┌──────────────────────────────┐ + Matrix ──────►│ hub-bots (Секретарь) │ интерфейс для человека + └──────────┬───────────────────┘ + │ /intent, /ask + ┌──────────▼───────────────────┐ + │ hub-core │ НЕРВНАЯ СИСТЕМА + │ события · каталог · notify │ (шина, единый формат) + └───┬──────────┬───────────┬───┘ + │ │ │ + ┌────────────▼──┐ ┌────▼─────┐ ┌──▼─────────────┐ + │ Hermes │ │ OpenClaw │ │ n8n / Node-RED │ + │ ИСПОЛНИТЕЛЬ │ │ МОЗГ │ │ ИНТЕГРАЦИИ │ + │ policy+locks │ │ LLM │ │ внешний мир │ + └───────┬───────┘ └────┬─────┘ └───────┬────────┘ + │ │ │ + ┌───────▼───────────────▼────────────────▼───────┐ + │ Инфраструктура: 33 CT, HA, медиа, сеть, SSO │ + └────────────────────────────────────────────────┘ +``` + +### Роли (жёсткое разделение, иначе будет хаос) + +| Компонент | Отвечает | НЕ должен | +|---|---|---| +| **hub-core** | приём и публикация событий, каталог сервисов, единый формат | запускать действия сам | +| **Hermes** | детерминированные действия по политике: перезапуск, чистка, проверка | принимать решения «по смыслу» | +| **OpenClaw (LLM)** | диагностика, объяснение, выбор действия из белого списка, генерация черновиков | трогать инфраструктуру напрямую | +| **n8n** | интеграции с внешним миром: webhook, почта, API третьих сторон | держать критичные циклы опроса | +| **Node-RED** | реактивные потоки для HA и устройств (мгновенные реакции) | быть единственным местом логики | + +## 4. Политика исполнения (ядро эффективности) + +Без этого слоя любая автоматизация превращается в лавину. Один файл `ops/hermes/policy.yaml`: + +```yaml +defaults: + single_flight: true # одна копия задачи + cooldown: 10m # не чаще раза в 10 минут + retry: [0s, 2m, 10m] # три попытки + circuit_breaker: 3 # 3 провала подряд -> стоп + alert_on: "give_up" # алерт только когда сдались + budget: 20/h # не более 20 действий в час на хост + +rules: + restart-failed-ct: + match: "container_state != running" + action: "docker start {name}" + max_attempts: 2 + escalate_to: matrix + disk-cleanup: + match: "disk_used > 85" + action: "rotate_logs && docker_prune" + cooldown: 6h + media-queue-stall: + match: "queue_progress == 0 for 6h" + action: "restart qbittorrent, re-search" + cooldown: 6h +``` + +**Принципы:** +1. **Idempotency** — повторный запуск не ломает состояние. +2. **Dry-run по умолчанию** для новых правил (24 часа). +3. **Budget** — глобальный лимит действий; при превышении Hermes останавливается и пишет вам. +4. **Дедупликация алертов** — одинаковое событие в окне 1 ч = одно сообщение. +5. **Журнал всего** — каждое действие в `hermes.db`: что, почему, результат. + +## 5. Сценарии по направлениям + +### 5.1 Инфраструктура (наибольшая отдача) + +| Сценарий | Что делает ядро | Что получаете | +|---|---|---| +| Контейнер упал | Hermes: `pct status` → `docker start` → проверка порта → алерт если не поднялся | простой минуты, а не часы | +| Docker-демон завис | restart docker + перезапуск контейнеров по списку зависимостей | восстановление без вас | +| После перезагрузки | Hermes поднимает CT в порядке зависимостей (postgres → matrix → остальные) | нет «полуживого» утра | +| Диск >85 % | ротация логов, `docker prune`, удаление старых бэкапов | нет внезапного «места нет» | +| Экспортёр метрик down | перезапуск, проверка `/metrics` | мониторинг не слепнет | +| Зависшие процессы (`D`-состояние) | фиксирует, при >50 за 5 мин — алерт «деградация IO» | раннее предупреждение лавины | +| Certbot истекает | за 14 дней продление, при провале — алерт | нет «сертификат протух» | + +### 5.2 Дом (HA) + +| Сценарий | Ядро | +|---|---| +| Датчик не обновлялся >2 ч | проверка Zigbee2MQTT, перезапуск, алерт | +| Автоматизация не срабатывала | сверка журнала HA с ожидаемым, отчёт | +| Утечка воды | HA → hub-core → Matrix + перекрытие крана (когда будут) | +| Температура в комнате ниже нормы | проверка, что кондиционер/обогрев отвечает | +| Кто-то пришёл (Frigate) | событие → свет/уведомление/запись | + +### 5.3 Медиа + +| Сценарий | Ядро | +|---|---| +| Очередь стоит >6 ч | restart qBittorrent, повторный поиск | +| Релиз 0 % и 0 сидов >2 ч | пометить «мёртвый», искать другой | +| Скачалось, но не импортировалось | ручной триггер `DownloadedMoviesScan` | +| Место на `/media` <15 % | отчёт + предложение удалить просмотренное | +| Новый русский релиз | уведомление + проверка дорожки через ffprobe | + +### 5.4 Доступ и безопасность + +| Сценарий | Ядро | +|---|---| +| Сервис без SSO | регулярный отчёт о «дырах» (без автоправки!) | +| Подозрительный вход | алерт по логам Authentik | +| Срок сертификата | см. выше | +| Резервное копирование Authentik/Matrix | проверка свежести дампа | + +### 5.5 Отчётность для человека + +- **Утренний дайджест**: что сломалось, что починили сами, что требует вас. +- **Вечерняя сводка**: медиа, место, обновления. +- **Еженедельный отчёт**: MTTR, число автоисправлений, топ проблем. + +## 6. Практики других (что берём) + +| Практика | Откуда | Как применяем | +|---|---|---| +| **Runbook automation** | SRE | каждое правило = runbook в YAML, версионируется | +| **Self-healing / auto-remediation** | Kubernetes operators | «оператор» на Hermes: следит за желаемым состоянием | +| **Circuit breaker + backoff** | микросервисы | защита от лавин (как 04.11) | +| **Alert fatigue reduction** | SRE | дедупликация + алерт только при «сдались» | +| **Human-in-the-loop** | AIOps | LLM предлагает — человек подтверждает (для опасного) | +| **Error budget** | SRE | лимит действий/алертов в час | +| **GitOps** | платформа | `ops/hermes/policy.yaml` + jobs в git, CI-проверка | +| **Desired-state reconciliation** | Ansible/op | Hermes сравнивает «как должно быть» с «как есть» | + +## 7. Этапы (с критериями готовности) + +### Этап 0 — фундамент политики (2–3 дня) +- `ops/hermes/policy.yaml` + загрузчик в Hermes +- блокировки: single-flight, cooldown, budget, circuit breaker +- журнал действий в `hermes.db` (поля: job, rule, action, result, attempt) +- **Готово, когда:** Hermes не запускает задание дважды и уважает cooldown (проверяем тестом) + +### Этап 1 — первые self-healing задания (неделя) +- `restart-failed-ct`, `disk-cleanup`, `exporter-restart`, `boot-orchestrator` +- всё в dry-run 24 ч, потом включаем +- **Готово, когда:** 3 реальных инцидента закрыты без вашего участия + +### Этап 2 — дом и медиа (неделя) +- `zigbee-watchdog`, `media-queue-stall`, `import-missing`, `cert-check` +- **Готово, когда:** медиа не «стоит» дольше 6 ч без реакции + +### Этап 3 — LLM в контуре (после чистого журнала) +- OpenClaw получает `/diagnose`: текст ошибки → гипотеза + предлагаемое действие из белого списка +- человеку приходит: «предлагаю перезапустить X, причина Y», кнопка «да» +- **Готово, когда:** LLM-предложения принимаются >70 % без правок + +### Этап 4 — автономия (месяц+) +- LLM может сам выбрать действие из белого списка при уверенности >порога +- генерация черновиков job'ов с обязательным ревью +- **Готово, когда:** доля автономных решений >50 %, MTTR < 10 мин + +## 8. Что реально получаем + +| Метрика | Сейчас | Цель | +|---|---|---| +| MTTR (среднее время восстановления) | часы–сутки | <15 мин для типовых | +| Алертов в день на человека | десятки | 1–3 (только требующие решения) | +| Действий вручную | почти всё | <10 % | +| Слепых зон мониторинга | есть | 0 (35/35 таргетов) | +| Повторяемость инцидентов | высокая (04.11) | политика не даёт лавине развиться | + +## 9. Что нужно решить (владельцу) + +1. **Домен для Hermes** — нужен веб-интерфейс истории или хватит Matrix? +2. **Порог опасных действий** — что разрешено автоматически (перезапуск контейнера), а что только с подтверждением (изменение конфигов, удаление данных)? +3. **OpenClaw** — поднимаем рой (сейчас `hub-agents` inactive) или LLM живёт только в Секретаре и `ai-digest`? +4. **Распределение ролей n8n vs Node-RED** — оставить как есть или закрепить (n8n = внешние интеграции, Node-RED = дом)? diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index dc87fe8..f4bbb01 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -5559,3 +5559,84 @@ unknown [2026-11-05 06:00:43] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-05 06:00:43] не удалось отправить уведомление для zigbee2mqtt [2026-11-05 06:00:43] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 +[2026-11-05 12:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-05 12:00:03] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-05 12:00:03] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-05 12:00:03] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-05 12:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 12:00:04] не удалось отправить уведомление для authentik-security-redis-1 +[2026-11-05 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-05 12:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-05 12:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-05 12:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-05 12:00:06] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-05 12:00:06] не удалось отправить уведомление для calibre-web +[2026-11-05 12:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-05 12:00:07] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-05 12:00:08] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-05 12:00:08] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-05 12:00:10] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-05 12:00:11] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-05 12:00:11] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-05 12:00:12] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-05 12:00:12] нет данных Docker Hub: unknown:unknown +[2026-11-05 12:00:12] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-05 12:00:13] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-05 12:00:14] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-05 12:00:14] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-05 12:00:15] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-05 12:00:15] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-05 12:00:16] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-05 12:00:17] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-05 12:00:17] не удалось отправить уведомление для matrix-synapse +[2026-11-05 12:00:18] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-05 12:00:18] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-05 12:00:19] нет данных Docker Hub: monica:monica +[2026-11-05 12:00:19] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-05 12:00:19] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-05 12:00:20] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-05 12:00:20] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-05 12:00:21] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-05 12:00:22] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-05 12:00:22] не удалось отправить уведомление для nextcloud +[2026-11-05 12:00:22] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-05 12:00:22] не удалось отправить уведомление для node_red +[2026-11-05 12:00:23] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-05 12:00:24] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 12:00:24] не удалось отправить уведомление для paperless_redis +[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-05 12:00:24] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-05 12:00:25] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-05 12:00:26] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-05 12:00:26] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-05 12:00:26] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-05 12:00:26] не удалось отправить уведомление для swarm-redis +[2026-11-05 12:00:27] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-05 12:00:27] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-05 12:00:28] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-05 12:00:29] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-05 12:00:30] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-05 12:00:31] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-05 12:00:31] не удалось отправить уведомление для zigbee2mqtt +[2026-11-05 12:00:31] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0