Files
buryan-infra/ops/ARCH-CORE-2026-11-05.md

14 KiB
Raw Permalink Blame History

Ядро Buryans Hub: мозг + нервная система

Архитектурный документ. 05.11.2026.

1. Что уже развёрнуто (проверено)

Компонент Где Порт Роль сейчас
hub-core хост 9120 шина событий: /notify 200, /catalog 200, /intent, /ask, /voice, /status.json (11 КБ)
Hermes хост 9130 планировщик: 13 заданий, /health 200, /metrics 200
hub-bots хост — 9 Matrix-ботов (Секретарь + профильные)
hub-agents хост — рой агентов — inactive
OpenClaw CT115 9108 (SSO) агентский слой, рядом NATS 4222 и Redis
n8n CT108 5680 (+ oauth2-proxy 9105) интеграции, вебхуки
Node-RED CT108 1880 (+ oauth2-proxy 1881) реактивные потоки

Все четыре «мозговых» компонента уже есть, у трёх — готовый SSO (oauth2-proxy), у Hermes и hub-core — только LAN.

2. Проблема, которую надо решить

Сегодня:

  • 124 автоматизации в реестре (cron + cron.d + systemd + hermes), и ни одна не имеет политики исполнения;
  • инцидент 04.11 показал: при отказе компоненты начинают «долбить» друг друга (hub-core → postgres → pct exec → лавина);
  • алерты идут в Matrix, но реакции нет — только человек;
  • hub-agents (рой) не работает — LLM-слой практически отсутствует;
  • данные размазаны: hermes.db, n8n executions, node-red flows, логи.

3. Целевая архитектура: кто за что отвечает

                 ┌──────────────────────────────┐
   Matrix ──────►│ hub-bots (Секретарь)         │  интерфейс для человека
                 └──────────┬───────────────────┘
                            │ /intent, /ask
                 ┌──────────▼───────────────────┐
                 │ hub-core                     │  НЕРВНАЯ СИСТЕМА
                 │ события · каталог · notify   │  (шина, единый формат)
                 └───┬──────────┬───────────┬───┘
                     │          │           │
        ┌────────────▼──┐  ┌────▼─────┐  ┌──▼─────────────┐
        │ Hermes        │  │ OpenClaw │  │ n8n / Node-RED │
        │ ИСПОЛНИТЕЛЬ   │  │ МОЗГ     │  │ ИНТЕГРАЦИИ     │
        │ policy+locks  │  │ LLM      │  │ внешний мир    │
        └───────┬───────┘  └────┬─────┘  └───────┬────────┘
                │               │                │
        ┌───────▼───────────────▼────────────────▼───────┐
        │ Инфраструктура: 33 CT, HA, медиа, сеть, SSO    │
        └────────────────────────────────────────────────┘

Роли (жёсткое разделение, иначе будет хаос)

Компонент Отвечает НЕ должен
hub-core приём и публикация событий, каталог сервисов, единый формат запускать действия сам
Hermes детерминированные действия по политике: перезапуск, чистка, проверка принимать решения «по смыслу»
OpenClaw (LLM) диагностика, объяснение, выбор действия из белого списка, генерация черновиков трогать инфраструктуру напрямую
n8n интеграции с внешним миром: webhook, почта, API третьих сторон держать критичные циклы опроса
Node-RED реактивные потоки для HA и устройств (мгновенные реакции) быть единственным местом логики

4. Политика исполнения (ядро эффективности)

Без этого слоя любая автоматизация превращается в лавину. Один файл ops/hermes/policy.yaml:

defaults:
  single_flight: true        # одна копия задачи
  cooldown: 10m              # не чаще раза в 10 минут
  retry: [0s, 2m, 10m]       # три попытки
  circuit_breaker: 3         # 3 провала подряд -> стоп
  alert_on: "give_up"        # алерт только когда сдались
  budget: 20/h               # не более 20 действий в час на хост

rules:
  restart-failed-ct:
    match: "container_state != running"
    action: "docker start {name}"
    max_attempts: 2
    escalate_to: matrix
  disk-cleanup:
    match: "disk_used > 85"
    action: "rotate_logs && docker_prune"
    cooldown: 6h
  media-queue-stall:
    match: "queue_progress == 0 for 6h"
    action: "restart qbittorrent, re-search"
    cooldown: 6h

Принципы:

  1. Idempotency — повторный запуск не ломает состояние.
  2. Dry-run по умолчанию для новых правил (24 часа).
  3. Budget — глобальный лимит действий; при превышении Hermes останавливается и пишет вам.
  4. Дедупликация алертов — одинаковое событие в окне 1 ч = одно сообщение.
  5. Журнал всего — каждое действие в hermes.db: что, почему, результат.

5. Сценарии по направлениям

5.1 Инфраструктура (наибольшая отдача)

Сценарий Что делает ядро Что получаете
Контейнер упал Hermes: pct status → docker start → проверка порта → алерт если не поднялся простой минуты, а не часы
Docker-демон завис restart docker + перезапуск контейнеров по списку зависимостей восстановление без вас
После перезагрузки Hermes поднимает CT в порядке зависимостей (postgres → matrix → остальные) нет «полуживого» утра
Диск >85 % ротация логов, docker prune, удаление старых бэкапов нет внезапного «места нет»
Экспортёр метрик down перезапуск, проверка /metrics мониторинг не слепнет
Зависшие процессы (D-состояние) фиксирует, при >50 за 5 мин — алерт «деградация IO» раннее предупреждение лавины
Certbot истекает за 14 дней продление, при провале — алерт нет «сертификат протух»

5.2 Дом (HA)

Сценарий Ядро
Датчик не обновлялся >2 ч проверка Zigbee2MQTT, перезапуск, алерт
Автоматизация не срабатывала сверка журнала HA с ожидаемым, отчёт
Утечка воды HA → hub-core → Matrix + перекрытие крана (когда будут)
Температура в комнате ниже нормы проверка, что кондиционер/обогрев отвечает
Кто-то пришёл (Frigate) событие → свет/уведомление/запись

5.3 Медиа

Сценарий Ядро
Очередь стоит >6 ч restart qBittorrent, повторный поиск
Релиз 0 % и 0 сидов >2 ч пометить «мёртвый», искать другой
Скачалось, но не импортировалось ручной триггер DownloadedMoviesScan
Место на /media <15 % отчёт + предложение удалить просмотренное
Новый русский релиз уведомление + проверка дорожки через ffprobe

5.4 Доступ и безопасность

Сценарий Ядро
Сервис без SSO регулярный отчёт о «дырах» (без автоправки!)
Подозрительный вход алерт по логам Authentik
Срок сертификата см. выше
Резервное копирование Authentik/Matrix проверка свежести дампа

5.5 Отчётность для человека

  • Утренний дайджест: что сломалось, что починили сами, что требует вас.
  • Вечерняя сводка: медиа, место, обновления.
  • Еженедельный отчёт: MTTR, число автоисправлений, топ проблем.

6. Практики других (что берём)

Практика Откуда Как применяем
Runbook automation SRE каждое правило = runbook в YAML, версионируется
Self-healing / auto-remediation Kubernetes operators «оператор» на Hermes: следит за желаемым состоянием
Circuit breaker + backoff микросервисы защита от лавин (как 04.11)
Alert fatigue reduction SRE дедупликация + алерт только при «сдались»
Human-in-the-loop AIOps LLM предлагает — человек подтверждает (для опасного)
Error budget SRE лимит действий/алертов в час
GitOps платформа ops/hermes/policy.yaml + jobs в git, CI-проверка
Desired-state reconciliation Ansible/op Hermes сравнивает «как должно быть» с «как есть»

7. Этапы (с критериями готовности)

Этап 0 — фундамент политики (2–3 дня)

  • ops/hermes/policy.yaml + загрузчик в Hermes
  • блокировки: single-flight, cooldown, budget, circuit breaker
  • журнал действий в hermes.db (поля: job, rule, action, result, attempt)
  • Готово, когда: Hermes не запускает задание дважды и уважает cooldown (проверяем тестом)

Этап 1 — первые self-healing задания (неделя)

  • restart-failed-ct, disk-cleanup, exporter-restart, boot-orchestrator
  • всё в dry-run 24 ч, потом включаем
  • Готово, когда: 3 реальных инцидента закрыты без вашего участия

Этап 2 — дом и медиа (неделя)

  • zigbee-watchdog, media-queue-stall, import-missing, cert-check
  • Готово, когда: медиа не «стоит» дольше 6 ч без реакции

Этап 3 — LLM в контуре (после чистого журнала)

  • OpenClaw получает /diagnose: текст ошибки → гипотеза + предлагаемое действие из белого списка
  • человеку приходит: «предлагаю перезапустить X, причина Y», кнопка «да»
  • Готово, когда: LLM-предложения принимаются >70 % без правок

Этап 4 — автономия (месяц+)

  • LLM может сам выбрать действие из белого списка при уверенности >порога
  • генерация черновиков job'ов с обязательным ревью
  • Готово, когда: доля автономных решений >50 %, MTTR < 10 мин

8. Что реально получаем

Метрика Сейчас Цель
MTTR (среднее время восстановления) часы–сутки <15 мин для типовых
Алертов в день на человека десятки 1–3 (только требующие решения)
Действий вручную почти всё <10 %
Слепых зон мониторинга есть 0 (35/35 таргетов)
Повторяемость инцидентов высокая (04.11) политика не даёт лавине развиться

9. Что нужно решить (владельцу)

  1. Домен для Hermes — нужен веб-интерфейс истории или хватит Matrix?
  2. Порог опасных действий — что разрешено автоматически (перезапуск контейнера), а что только с подтверждением (изменение конфигов, удаление данных)?
  3. OpenClaw — поднимаем рой (сейчас hub-agents inactive) или LLM живёт только в Секретаре и ai-digest?
  4. Распределение ролей n8n vs Node-RED — оставить как есть или закрепить (n8n = внешние интеграции, Node-RED = дом)?