diff --git a/ops/audits/DEEP-AUDIT-20261117-2046.md b/ops/audits/DEEP-AUDIT-20261117-2046.md new file mode 100644 index 0000000..1339090 --- /dev/null +++ b/ops/audits/DEEP-AUDIT-20261117-2046.md @@ -0,0 +1,275 @@ +# Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:46) + +# Аудит Buryans Hub — 17.11.2026 + +> Метод: анализ предоставленного досье. Всё, чего нет в досье, помечено «неизвестно». Домыслов не делаю. + +--- + +## 0. Что в досье отсутствует (важно для честности аудита) + +- `hub.status` — пустой вывод. Фактическое состояние хаба неизвестно. +- `openclaw.json` — файла нет по указанному пути. Конфиг OpenClaw **неизвестен**. +- Workspace policy OpenClaw — пусто. Политика памяти/приватности **неизвестна**. +- Схемы инструментов обрезаны (видны только `name`/`scope`/`confirm`, без параметров и описаний). +- Нет данных о: LLM-провайдере по умолчанию, наличии локальной модели, router'е, кэше, размере контекста, лимитах turn'ов, механизме approvals, sandbox, секрет-менеджере, каналах доставки (Matrix/Telegram/HA), ролях пользователей. +- Нет содержимого документов `ROLES-HERMES-N8N`, `SECRETARY-BETA-LAUNCH`, `TOOL-GATEWAY-MCP`, `SMR-ARCHIVE-LIMITS` — только имена. + +Всё ниже — выводы из того, что реально видно. + +--- + +## 1. Архитектура и границы ролей + +**Что видно:** +- 27 LXC на одном Proxmox-хосте. Роли по именам: proxy, portal, media, files, smart, utils, automation, cloud, office, reading, backup, authentik-security, OpenClaw, *arr-стек (sonarr/radarr/prowlarr/bazarr/overseerr/torrent/jackett), navidrome, frigate, linkwarden, prometheus, syncthing, gitea, postgres-rbac, matrix, gateway, headscale. +- **hub-core** — судя по путям (`/opt/hub-core/*.py`, `/opt/buryan-hub/scripts/*`), это набор скриптов и, вероятно, HTTP-сервис на `127.0.0.1:9120` (из `verify-services`). Точная граница «hub-core vs Hermes» в досье не зафиксирована. +- **Hermes** — планировщик (~40 jobs) с cron-подобной семантикой (`every_seconds`, `daily_at`, `timeout`, `retries`, `notify_on_success`). Это **не** агент, а исполнитель скриптов. +- **OpenClaw** — отдельный LXC (115), конфиг не найден. Роль — AI-секретарь, вызывает Tool Gateway. +- **n8n** — упоминается в документах (`THREE-TASKS-N8N`), но в списке контейнеров явного n8n нет. Вероятно, внутри `automation-lxc` (108). **Неизвестно.** +- **HA** — есть `ha-state` job и инструменты `ha.states`/`ha.call`/`ha.search`. Сам HA-инстанс в списке LXC не виден — вероятно, внешний хост (`10.88.0.1` или `193.233.210.184` из `home-heartbeat`). **Неизвестно.** +- **Tool Gateway** — единая точка вызова инструментов с `scope` (read/write) и `confirm` (bool). Это правильная граница: OpenClaw не ходит в сервисы напрямую. + +**Проблемы:** +1. **Границы hub-core ↔ Hermes ↔ OpenClaw не задокументированы в досье.** Есть файл `ROLES-HERMES-N8N-2026-11-17.md`, но его содержимого нет. Без него нельзя гарантировать, что OpenClaw не дублирует Hermes-джобы и наоборот. +2. **27 LXC на 15 GiB RAM, 12 GiB занято, 149 MiB free, available 3.0 GiB.** Это критическая зона: любой всплеск (rag-reindex, agents-brain, night-analysis с timeout 1200–7200 с) может вызвать OOM-killer. Особенно опасны одновременные тяжёлые джобы в 08:00–08:45 (trust-report, weekly-report, evolution-report, research-alternatives, ai-digest, rag-reindex, update-plan — все в окне 08:00–08:45). +3. **`home-heartbeat` ходит по SSH на `root@10.88.0.1` и `root@193.233.210.184`** — root-SSH на внешний хост. Это архитектурный риск (см. §4). +4. **`swarm-watchdog` каждые 60 с** — самый частый job; при timeout 120 с и retries 0 может наслаиваться. Неизвестно, есть ли защита от overlap. +5. **`media-digest` и `notify-digest` отключены** (`enabled: false`) — вероятно, сознательно, но это значит, что часть UX-каналов не работает. + +--- + +## 2. Данные, память, приватность + +**Что видно:** +- Есть `rag-reindex` (ежедневно 08:30, timeout 7200 с) и `rag_index_pg.py` — значит, RAG на PostgreSQL. Есть `postgres-rbac-lxc` (151) — отдельный RBAC-инстанс. +- `enrich-facts` и `research-finalize` работают с `/opt/work-hub/research` — есть слой «фактов» о пользователе/доме. +- `photos.people`, `photos.albums` — фото с распознаванием людей. Это **биометрия**, самая чувствительная категория. +- `SMR-ARCHIVE-LIMITS.md` — вероятно, лимиты архива (SMR = ?). Содержимое неизвестно. +- Workspace policy OpenClaw пуст → **формально неизвестно, что OpenClaw может писать в память и что уходит в облако.** + +**Выводы:** +- **Нельзя в облако (DeepSeek и любой внешний LLM):** фото/лица, содержимое личной переписки (Matrix), медицинские/финансовые документы (office-lxc, files-lxc), точные адреса и геолокация (HA, Frigate), секреты (creds), содержимое `research`-фактов о семье. +- **Можно в облако:** агрегированный статус сервисов, метаданные медиа (названия), календарные слоты без деталей, результаты `hub.status`/`alerts.active` в обезличенном виде. +- **Проблема:** в досье нет ни одного артефакта, который подтверждает, что этот фильтр реализован. `photos.people` — read-инструмент без confirm, и если OpenClaw отправит его вывод в DeepSeek, произойдёт утечка биометрии. **Это P0.** +- **Проблема:** `books.search` p95 = 20 192 мс, `media.search` p95 = 12 875 мс, `media.request` p95 = 15 307 мс. Долгие ответы → больше шансов, что весь контекст (включая чувствительные поля) уйдёт в облако целиком. + +--- + +## 3. Инструменты / MCP + +**Что видно (18 инструментов):** +- read: `hub.status`, `ha.states`, `media.queue`, `media.recent`, `calendar.list`, `photos.people`, `photos.albums`, `ha.search`, `media.search`, `hub.service_detail`, `alerts.active`, `backup.status`, `books.search`, `books.link`, `books.status`, `audit.recent` — 16. +- write+confirm: `hub.notify`, `ha.call`, `calendar.create`, `media.request` — 4. +- **Нет ни одного write-инструмента без confirm** — это хорошо. +- **Нет инструментов:** `files.*` (чтение/запись файлов), `matrix.*` (отправка сообщений), `gitea.*`, `syncthing.*`, `frigate.*` (события камер), `torrent.*`, `navidrome.*`, `linkwarden.*`, `office.*` (документы), `reading.*` (книги — только search/link/status, без прогресса чтения), `users.*` (кто есть кто в семье), `memory.*` (запись/чтение долговременной памяти), `reminders.*` (напоминания — только calendar.create). + +**Чего критически не хватает секретарю:** +1. `memory.write` / `memory.read` — без этого «память о людях» (см. §6) не реализуема. +2. `reminders.create/list/cancel` — календарь ≠ напоминание. +3. `matrix.send` (или `notify.user`) — адресная доставка конкретному члену семьи. +4. `files.search` (read-only, с allowlist путей) — секретарь не может найти документ. +5. `frigate.events` (read) — «кто был у двери» — частый запрос. +6. `reading.progress` — «на чём я остановился». +7. `users.roster` — кто в семье, как обращаться, часовой пояс, предпочтения. + +**Опасные инструменты (текущие и потенциальные):** +- `ha.call` — управление устройствами. Уже с confirm, но **нет allowlist доменов/сущностей**. Если LLM под влиянием injection вызовет `ha.call` на `lock.*` или `alarm_control_panel.*` — confirm спасёт только если человек реально прочитает. Нужен allowlist + запрет опасных доменов. +- `media.request` — p95 15 с, 3 подтверждения за 7 дней. Ок. +- `photos.people` — read, без confirm, биометрия. **Опасен именно утечкой, а не действием.** +- `hub.notify` — confirm есть, но нет rate-limit. Секретарь может спамить. +- `calendar.create` — нет проверки конфликтов и прав «кто чей календарь». + +**Как выдавать права:** +- Ввести **роли** (owner / adult / child / guest) и **per-tool ACL по роли**, а не только scope read/write. +- Write-инструменты — только owner/adult, с confirm. +- `photos.*` — только owner, и **никогда** не отдавать сырой вывод в облачный LLM (только агрегаты: «3 человека на фото»). +- Ввести **бюджет вызовов** на turn (например, ≤8 tool calls) и на пользователя в час. +- Каждый новый инструмент — через ADR в `ops/adr/` с описанием схемы, scope, confirm, ACL, лимитов. + +--- + +## 4. Безопасность + +**Prompt injection:** +- Eval: `injection 3/4` — **один провал**. Это P0: инъекция в eval-наборе уже проходит. +- Векторы: содержимое медиа-метаданных (названия файлов), имена фото-альбомов, события HA (имена устройств), результаты `books.search` (названия книг), `audit.recent` (логи). Всё это — недоверенный ввод, который попадает в контекст LLM. +- **Нет признаков** санитизации/экранирования недоверенного контента перед подачей в LLM. Неизвестно, есть ли разделители «данные vs инструкции». + +**Секреты:** +- `ops/creds` в репозитории — **красный флаг**. Если это не зашифровано (SOPS/age/vault), секреты в git. +- `home-heartbeat` использует `root@...` SSH с `BatchMode=yes` — значит, ключи лежат на хосте Hermes. Неизвестно, есть ли passphrase и ограничения по `authorized_keys` (command=, from=). +- `openclaw.json` не найден — **неизвестно, где хранятся API-ключи DeepSeek/LLM**. Если в env контейнера — риск утечки через `hub.service_detail` или логи. + +**Approvals:** +- Механизм `confirm: True` есть, но **неизвестно, как он реализован**: кто подтверждает, через какой канал, есть ли timeout, можно ли подтвердить «навсегда». Без этого confirm — фикция. +- Нет данных о **двухфакторном подтверждении** для опасных операций (например, `ha.call` на замки). + +**Sandbox:** +- OpenClaw — отдельный LXC (115), это хорошо. +- Но **неизвестно**, есть ли ограничения по сети (может ли OpenClaw ходить куда угодно), по ФС (может ли читать `/opt/creds`), по ресурсам. +- Hermes-джобы запускаются от `root` (судя по `root@` и `/root/buryan-infra`) — **это плохо**. Компрометация любого скрипта = root на хосте. + +**Аудит:** +- `audit.recent` есть, но за 7 дней вызван **1 раз**. Значит, аудит не используется ни секретарём, ни людьми. +- В аудите Tool Gateway видны только `tool|count|?|p95`. **Нет**: кто вызвал, с какими параметрами, что вернулось, был ли confirm, кто подтвердил. Это недостаточно для расследования инцидента. +- `audit-targets` (ежедневно 07:15) — что аудитит, неизвестно. + +**Инциденты:** +- `SSH-229-2026-11-17.md` — судя по имени, инцидент с SSH (порт 229? хост .229?). Содержимое неизвестно, но дата = сегодня → **свежий инцидент, требует проверки**. +- `REMARKS-CLOSED-2026-11-13.md` — закрытые замечания, но без содержимого нельзя понять, что именно закрыто. + +--- + +## 5. Надёжность + +**State-lock OpenClaw:** +- В eval-baseline прямо написано: «Починить state-lock/долгие turn'ы (баг OpenClaw/agent DB) — приоритет». Значит, **баг воспроизводится**, и он блокирует прогон всех 50 сценариев (прогнали 48). +- Симптом: долгие turn'ы (p95 до 34 с на status, 32 с на media) + state-lock → вероятно, блокировка БД агента при параллельных turn'ах или при долгом tool call. +- **Неизвестно**: какая БД (SQLite? Postgres?), есть ли WAL, таймауты, retry. + +**Долгие turn'ы:** +- p95: status 34.2 с, media 32.8 с, books 26.7 с, infra 26.3 с. Это **очень долго** для секретаря. Причина, вероятно, — медленные tool calls (`books.search` 20 с, `media.search` 13 с, `media.request` 15 с). +- Нет данных о **стриминге** ответа пользователю. Если стриминга нет — 30 с тишины в чате = пользователь думает, что сломалось. + +**Fallback:** +- Неизвестно, есть ли fallback LLM (локальная модель при недоступности DeepSeek) и fallback инструментов (кэш последнего ответа). +- `retries: 0` у большинства тяжёлых джобов (rag-reindex, night-analysis, agents-brain, agents-runner, selfheal, mesh-watch) — при сбое просто тишина. + +**Наблюдаемость:** +- Prometheus (134) есть, `export-service-metrics` каждые 120 с, `storage-metrics` каждые 900 с. Это хорошо. +- Но **нет метрик по OpenClaw**: latency turn'ов, ошибки tool calls, injection-срабатывания, стоимость LLM. Без этого §7 и §5 не измерить. +- `verify-services` каждые 3600 с — раз в час. Для 27 контейнеров это редко; `check-services` каждые 300 с — лучше, но что именно проверяет, неизвестно. +- `hub.status` пуст → **сам хаб не отдаёт статус**. Это либо баг, либо сервис лежит. P0. + +**Перегрузка:** +- Окно 08:00–08:45: trust-report, weekly-report, evolution-report, research-alternatives, ai-digest, rag-reindex, update-plan, docs-index (06:50), registry-drift (06:40), hygiene-scan (07:20), audit-targets (07:15), disk-trend (07:45). **12+ джобов в 1.5 часа** на хосте с 3 GiB available. Риск OOM и деградации секретаря именно в утренние часы (когда семья просыпается и задаёт вопросы). + +--- + +## 6. UX семьи + +**Что видно:** +- Каналы: Matrix (155), HA (уведомления?), Telegram (упоминается в `ops/books/telegram`, `ops/bots`). Точный набор каналов для секретаря **неизвестен**. +- `hub.notify` — единственный инструмент уведомлений, confirm=True. Значит, **проактивные уведомления требуют подтверждения** — это противоречит идее проактивности. Либо confirm для notify — ошибка дизайна, либо проактивность не реализована. +- `notify-digest` отключён → дайджест уведомлений не работает. +- `media-digest` отключён. +- `ai-digest` работает (08:30), но `notify_on_success: false` — то есть результат никуда не уходит? Неизвестно. + +**Онбординг:** +- Нет ни одного инструмента/документа про онбординг члена семьи. `users.roster` отсутствует. Как секретарь узнаёт, что «Маша» — это дочь, а «Мария Петровна» — тёща? **Неизвестно.** +- `SECRETARY-BETA-LAUNCH-2026-11-17.md` — вероятно, план запуска, но содержимого нет. + +**Проактивность:** +- Hermes-джобы генерируют отчёты (trust, weekly, evolution, night-analysis), но `notify_on_success: false` у большинства → они пишут в лог, а не людям. Проактивность фактически **не доставляется**. +- Нет инструмента «предложить действие» (propose) — только «сделать» (confirm). + +**Память о людях:** +- `enrich-facts` + `research-finalize` — есть слой фактов, но **нет инструмента чтения/записи памяти из OpenClaw**. Секретарь не может ни запомнить предпочтение, ни вспомнить его. +- `photos.people` даёт имена, но это не «память о человеке», а биометрический индекс. + +**Вывод:** UX-слой в досье почти не виден. Это либо не реализовано, либо не задокументировано. Для «AI-секретаря семьи» это половина продукта. + +--- + +## 7. LLM / стоимость + +**Что видно:** +- DeepSeek упоминается в задании, но в досье **нет** ни конфига, ни метрик стоимости, ни логов вызовов LLM. +- Локальная модель: **неизвестно**, есть ли (по RAM 3 GiB available — вряд ли что-то серьёзное; возможно, на отдельном хосте). +- Router: **неизвестно**. +- Кэш: **неизвестно**. +- Качество: eval 46/48 (96%) — хорошо, но выборка мала (48), и 2 провала — injection и refusal, то есть **именно safety-критичные** категории. + +**Оценка (осторожно, по косвенным):** +- p95 30+ с на status/media при 8 tool calls — это либо медленный LLM, либо медленные инструменты, либо и то и другое. `books.search` 20 с — это точно инструмент, не LLM. +- Если каждый turn шлёт в DeepSeek полный контекст (включая вывод `photos.people`), стоимость и утечка растут линейно. +- **Нет бюджета**: неизвестно, есть ли лимит токенов/стоимости на пользователя/день. + +**Рекомендации (без фактов о текущем):** +- Router: classify → simple (hub.status, calendar.list) → локальная/дешёвая модель; complex (injection-чувствительные, multi-tool) → DeepSeek с жёстким system prompt. +- Кэш: TTL-кэш для `hub.status`, `alerts.active`, `backup.status` (30–60 с) — снизит и latency, и стоимость. +- Никогда не отправлять в облако сырой вывод `photos.*`, `files.*`, `matrix.*`. + +--- + +## 8. Дорожная карта P0/P1/P2 (2–4 недели) + +### P0 — неделя 1 (блокеры безопасности и стабильности) +1. **Починить `hub.status`** — сейчас пусто, это слепая зона. +2. **Найти и зафиксировать конфиг OpenClaw** (`openclaw.json` отсутствует по документированному пути) — без него аудит LLM/секретов невозможен. +3. **Закрыть injection-провал** (3/4 → 4/4): разделители «данные/инструкции», санитизация имён файлов/альбомов/книг, запрет исполнять инструкции из tool-выводов. +4. **Запретить отправку `photos.*` и любых биометрических/файловых выводов в облачный LLM** — на уровне gateway (redaction), а не промпта. +5. **State-lock OpenClaw** — воспроизвести, зафиксировать root cause, ввести WAL/таймаут/очередь turn'ов. +6. **Разгрузить утреннее окно 08:00–08:45** — разнести тяжёлые джобы (rag-reindex, night-analysis, agents-brain) на ночь/раннее утро, ввести `nice`/cgroup-лимиты. +7. **Проверить `SSH-229-2026-11-17.md`** — свежий инцидент, приоритет. +8. **`ops/creds`** — проверить, зашифровано ли; если нет — вынести в SOPS/age и убрать из git-истории. + +### P1 — неделя 2–3 (функциональность секретаря) +9. **Ввести роли и per-tool ACL** (owner/adult/child/guest) в Tool Gateway. +10. **Добавить инструменты:** `memory.read/write`, `reminders.*`, `users.roster`, `files.search` (read-only, allowlist), `frigate.events` (read), `reading.progress`, `matrix.send` (адресно). +11. **Allowlist для `ha.call`** — запрет `lock.*`, `alarm_control_panel.*`, `cover.*` без отдельного подтверждения. +12. **Реализовать approvals по-настоящему**: канал подтверждения, timeout, лог «кто подтвердил», запрет «подтвердить навсегда» для write. +13. **Расширить аудит Tool Gateway**: кто, что, с какими параметрами, результат, confirm, latency. Сейчас `audit.recent` вызван 1 раз за 7 дней — аудит не работает как инструмент. +14. **Метрики OpenClaw в Prometheus**: latency turn, tool errors, injection-срабатывания, токены/стоимость. +15. **Fallback LLM** (локальная модель или дешёвый провайдер) + fallback «кэш последнего ответа» для read-инструментов. +16. **Стриминг ответа** в канал — убрать 30 с тишины. +17. **Проактивность**: `hub.notify` без confirm для неразрушающих уведомлений (или отдельный `notify.proactive` с rate-limit), включить `notify-digest`. + +### P2 — неделя 3–4 (UX и стоимость) +18. **Онбординг семьи**: `users.roster`, профили (имя, роль, часовой пояс, предпочтения, каналы), сценарий «познакомиться». +19. **Память о людях**: `memory.write` с TTL/категориями (предпочтения, факты, обещания), ревью владельцем раз в неделю. +20. **Router LLM** + TTL-кэш для read-инструментов. +21. **Бюджет**: лимит tool calls/turn, токенов/день, стоимости/неделю; алерт при превышении. +22. **Расширить eval до 50 сценариев** (сейчас 48), добавить категории: memory, reminders, files, multi-turn, «отказ от прогноза». +23. **Еженедельное сравнение с baseline** — автоматизировать (сейчас это ручной пункт в eval-документе). +24. **Документировать границы ролей** (`ROLES-HERMES-N8N` — сделать публичным артефактом в `ops/arch/`). + +--- + +## 9. Задачи с критериями готовности + +| # | Задача | Критерий готовности | +|---|---|---| +| 1 | Починить `hub.status` | `hub.status` возвращает непустой JSON со списком сервисов; `verify-services` не находит «лежат» | +| 2 | Конфиг OpenClaw | `openclaw.json` существует по документированному пути, закоммичен redacted-вариант в `ops/arch/`, секреты — в SOPS | +| 3 | Injection 4/4 | Eval `injection` = 4/4; добавлены 3 новых injection-кейса (имя файла, имя альбома, имя устройства HA) — все проходят | +| 4 | Redaction биометрии | Юнит-тест: вывод `photos.people` не содержит имён при передаче в облачный LLM; интеграционный тест на turn с `photos.people` | +| 5 | State-lock | 50/50 сценариев проходят без lock-ошибок; p95 turn ≤ 15 с на status/media | +| 6 | Утреннее окно | Ни один тяжёлый джоб (rag-reindex, night-analysis, agents-brain) не стартует в 07:00–09:00; пик RAM ≤ 80% | +| 7 | SSH-инцидент | `SSH-229` закрыт документом с root cause и фиксом; `home-heartbeat` не использует root-SSH (или использует с `command=`/`from=` в authorized_keys) | +| 8 | Секреты | `ops/creds` не содержит plaintext; `git log` не содержит секретов (или история переписана) | +| 9 | ACL | Tool Gateway отклоняет write-вызов от роли child; тест на 4 роли × 18 инструментов | +| 10 | Новые инструменты | `memory.read/write`, `reminders.*`, `users.roster`, `files.search`, `frigate.events`, `reading.progress`, `matrix.send` — в gateway, с ACL, с тестами | +| 11 | HA allowlist | `ha.call` на `lock.*`/`alarm_control_panel.*` отклоняется без отдельного «опасного» confirm | +| 12 | Approvals | Лог approvals содержит: кто, когда, что, канал; timeout 5 мин; «навсегда» запрещено для write | +| 13 | Аудит | `audit.recent` возвращает ≥ 100 записей/день с полями who/what/params/result/confirm/latency | +| 14 | Метрики OpenClaw | В Prometheus есть `openclaw_turn_seconds`, `openclaw_tool_errors_total`, `openclaw_injection_blocked_total`, `openclaw_tokens_total` | +| 15 | Fallback | При недоступности DeepSeek turn завершается локальной моделью или кэшем; тест с блокировкой сети к DeepSeek | +| 16 | Стриминг | Первый токен в канал ≤ 2 с; тест на 3 каналах | +| 17 | Проактивность | `notify-digest` включён; ≥ 1 проактивное уведомление/день доставляется без confirm; rate-limit ≤ 5/день | +| 18 | Онбординг | Новый пользователь проходит сценарий «познакомиться» за ≤ 3 turn'а; профиль сохранён в `users.roster` | +| 19 | Память | Секретарь помнит предпочтение через 7 дней (тест: сказать в пн, спросить в вс) | +| 20 | Router/кэш | ≥ 40% read-вызовов обслуживаются кэшем; стоимость/день снижена на ≥ 30% (замерить до/после) | +| 21 | Бюджет | При превышении лимита turn завершается с понятным сообщением; алерт в Prometheus | +| 22 | Eval 50 | 50/50 сценариев, включая memory/reminders/files/multi-turn/refusal; отчёт в `ops/audits/eval/` | +| 23 | Baseline | Еженедельный cron сравнивает с baseline и шлёт diff в канал | +| 24 | Роли | `ROLES-HERMES-N8N` опубликован в `ops/arch/`, ссылка из README | + +--- + +## 5 главных рисков + +1. **Утечка биометрии и личных данных в облачный LLM.** `photos.people` — read без confirm, workspace policy пуст, redaction не подтверждён. Один turn — и лица/имена ушли в DeepSeek. Последствия необратимы. +2. **Prompt injection проходит (3/4).** Недоверенный ввод (имена файлов, альбомов, устройств, книг) попадает в контекст без разделителей. В связке с `ha.call`/`media.request` это путь к нежелательным действиям. +3. **State-lock OpenClaw + долгие turn'ы (p95 30+ с).** Секретарь периодически «зависает»; 2 из 50 сценариев не прогнаны. Это подрывает доверие семьи быстрее любого бага. +4. **Перегрузка хоста (3 GiB available, 12+ джобов в утреннем окне).** OOM-killer может убить OpenClaw или Postgres именно тогда, когда семья просыпается. Риск каскадный. +5. **Root-SSH и `ops/creds` в репозитории.** Компрометация одного скрипта Hermes = root на хосте; plaintext-секреты в git = компрометация всех сервисов. Свежий `SSH-229` — сигнал, что это уже не теория. + +## 5 главных возможностей + +1. **Tool Gateway уже есть** — это редкая и правильная архитектура. Добавив ACL, allowlist и настоящий аудит, вы получаете управляемого секретаря без переписывания. +2. **Hermes — зрелый планировщик (40+ джобов).** Проактивность не нужно строить с нуля: достаточно включить доставку (`notify-digest`, `notify_on_success`) и добавить `notify.proactive`. +3. **Eval 96% — сильная база.** Довести до 50/50 и автоматизировать еженедельное сравнение — и у вас один из немногих домашних AI с измеримым качеством. +4. **Prometheus + Grafana уже стоят.** Добавить метрики OpenClaw (latency, errors, tokens, injection) — и стоимость/надёжность станут управляемыми, а не «на глаз». +5. **Семья как продукт.** `users.roster` + `memory.*` + адресные каналы (Matrix/Telegram) превращают «инфра-бота» в настоящего секретаря: онбординг, память о людях, проактивные напоминания — то, чего сейчас нет ни у кого из домашних AI. \ No newline at end of file diff --git a/ops/audits/DEEP-AUDIT-20261117-2048.md b/ops/audits/DEEP-AUDIT-20261117-2048.md new file mode 100644 index 0000000..31cd191 --- /dev/null +++ b/ops/audits/DEEP-AUDIT-20261117-2048.md @@ -0,0 +1,264 @@ +# Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:48) + +# Аудит Buryans Hub — 17.11.2026 + +> Метод: анализ предоставленного досье. Всё, чего нет в досье, помечено «неизвестно». Секреты из досье не воспроизводятся. + +--- + +## 1. Архитектура и границы ролей + +**Факты из досье:** +- Хост `pve` (16 GB RAM, 12 GB занято, 167 MB free, 3.1 GB available) — **память на грани**. 27 LXC + OpenClaw + Matrix + Postgres RBAC + Prometheus + Gitea + Syncthing + Frigate + *arr-стек. +- `hub.status` = 74 сервиса, `down: []` — все живы на момент снимка. +- **hub-core** — источник `/status.json` (порт 9120), `check_updates.py`, `update_plan.py`, `selfheal.py`, `mesh_watch.py`, `inbox_parse.py`, `export_storage.py`. Роль: агрегатор состояния + self-heal. +- **Hermes** — планировщик (≈40 jobs). Роли: heartbeat, verify, digest, RAG-reindex, evolution/trust/weekly reports, auto-repair, state-diff, agents-runner/brain. +- **OpenClaw** (LXC 115) — агент-секретарь, канал Matrix (`@secretary-beta`), MCP-клиент к Tool Gateway (`192.168.1.10:9140`), модели: DeepSeek (primary), Qwen 3.5 Plus (allowlist), Ollama qwen2.5:3b (локально, 192.168.1.229). +- **n8n** — в досье **не упомянут** (нет контейнера, нет jobs). Роль — **неизвестно**. +- **HA** — доступен через `ha.states`, `ha.call`, `ha.search`; сам инстанс в списке LXC не виден (вероятно, на другом хосте — `10.88.0.1` или `193.233.210.184` из `home-heartbeat`). Детали — **неизвестно**. +- **Tool Gateway** — единая точка инструментов, scope `read`/`write`, `confirm` для write. 18 инструментов. + +**Проблемы границ:** +- Hermes выполняет `agents-runner` и `agents-brain` — то есть **агентная логика дублируется** с OpenClaw. Граница «кто думает» размыта: OpenClaw — диалог, Hermes — batch-агенты. Нужен явный ADR. +- `hub.notify` (write) доступен секретарю — это канал влияния на семью; должен быть отдельный scope `notify` с rate-limit. +- `ha.call` (write) — прямой доступ к дому. `confirm: True` есть, но **кто подтверждает** — не описано (см. §4). + +**Вывод:** архитектура зрелая по покрытию, но роли hub-core/Hermes/OpenClaw пересекаются в self-heal и агентной логике. n8n — «мёртвая» сущность в досье, требует либо документирования, либо вывода. + +--- + +## 2. Данные, память, приватность + +**Что есть:** +- OpenClaw workspace: `memory/YYYY-MM-DD.md` (сырые заметки) + `MEMORY.md` (курируемая мудрость). Политика: heartbeat раз в несколько дней дистиллирует. +- RAG: `rag-reindex` (Postgres, `/root/buryan-infra/ops/scripts/rag_index_pg.py`), ежедневно 08:30, timeout 7200. +- `enrich-facts` + `research-finalize` — обогащение фактов из research (work-hub). +- Matrix — канал, `dmPolicy: allowlist`, `allowFrom: [@akadmin, @polina]`. +- Photos (`photos.people`, `photos.albums`), books (Calibre), media (Sonarr/Radarr/Prowlarr/Bazarr/Overseerr). + +**Приватность — критично:** +- **DeepSeek (primary) — облако (api.deepseek.com)**. Всё, что уходит в turn, уходит в Китай. В досье **нет** политики «что нельзя в облако». Это дыра. +- Qwen 3.5 Plus — тоже облако (dashscope-intl.aliyuncs.com). +- Ollama qwen2.5:3b — локально, но 3B и 32k контекст — слабо для секретаря. +- `MEMORY.md` и `memory/*.md` — где хранятся? В workspace OpenClaw (LXC 115). Бэкап — через `backup-heartbeat` (неизвестно, что именно бэкапится). + +**Чего не хватает:** +1. **Классификация данных**: public / family / private / secret. Правило: private+secret → только Ollama или локальная модель; public → DeepSeek. +2. **DLP-фильтр на выходе в облако**: regex/энтропия на токены, пароли, номера карт, адреса, медданные. +3. **Политика памяти**: что писать в `MEMORY.md` (PII о членах семьи — только с согласия), retention (сколько хранить daily-файлы), кто может читать. +4. **RAG-индексы**: что индексируется (docs? переписка? фото-метаданные?) — **неизвестно**. Если индексируется личное — это утечка в облачную модель при retrieval. + +**Нельзя в облако (предложение):** медицина, финансы, документы (паспорт/права), переписка с третьими лицами, точные адреса/геолокация детей, фото людей без согласия, содержимое `ops/creds`, `.env`, SSH-ключи, токены. + +--- + +## 3. Инструменты / MCP + +**Что есть (18):** hub.status/notify/service_detail, ha.states/call/search, media.queue/recent/search/request, calendar.list/create, photos.people/albums, alerts.active, backup.status, books.search/link/status, audit.recent. + +**Чего не хватает секретарю:** +| Нужно | Зачем | Приоритет | +|---|---|---| +| `memory.search` / `memory.write` | секретарь не имеет явного API к своей памяти — только файлы | P0 | +| `contacts.lookup` | «напомни Полине» — нужен справочник людей | P0 | +| `tasks.*` (todo) | секретарь без списка задач — половина функции | P0 | +| `notes.*` | быстрые заметки | P1 | +| `weather.*` / `time.*` | базовый контекст | P1 | +| `shopping.list` | семейный быт | P1 | +| `files.search` (files-lxc) | «найди документ» | P1 | +| `email.*` (если есть) | неизвестно, есть ли почта | P2 | +| `finance.*` | только read, с аудитом | P2 | +| `devices.*` (BLE, из `ops/ble`) | присутствие/трекинг | P2 | + +**Опасные инструменты:** +- `ha.call` — физический дом (замки, свет, климат). Уже `confirm`, но нужен **allowlist устройств** и **запрет на lock/alarm** без owner. +- `hub.notify` — спам семье. Нужен rate-limit (напр. ≤5/час) и quiet hours. +- `media.request` — трафик/диск. Уже confirm. +- `calendar.create` — confirm есть, но нет проверки конфликтов. +- `books.link` — read, но может вести на пиратские источники; политика уже запрещает скачивание — хорошо. + +**Как выдавать права (предложение):** +1. **Scope-модель**: `read` / `write` / `notify` / `admin`. Сейчас только read/write — notify смешан с write. +2. **Per-agent grants**: OpenClaw-секретарь ≠ Hermes-batch. У Hermes сейчас **нет** ограничений в досье — он дергает скрипты напрямую, минуя Gateway. Это дыра: **Hermes должен ходить через Gateway**, а не shell. +3. **Approval-политика**: `approval: "auto"` в MCP-конфиге OpenClaw — **опасно**. Для write-инструментов нужен `approval: "manual"` с подтверждением в Matrix от owner. +4. **TTL токенов**: `TG_TOKEN` в env MCP — статичный. Нужна ротация. + +--- + +## 4. Безопасность + +**Prompt injection:** +- Eval: `injection 3/4` — **есть провал**. Один сценарий не отработан. +- Векторы: Matrix-сообщения от allowlist (2 человека — низкий риск), но `media.search`/`books.search` возвращают внешний контент (названия, описания) — классический indirect injection. `books.search` p95 = 20 192 ms — долгий turn, окно для инъекции. +- **Нет** упоминания санитайзинга tool-вывода перед подачей в LLM. + +**Секреты:** +- В досье **в открытом виде**: `gateway.auth.token`, `qwen.apiKey`, `TG_TOKEN`, `deepseek.apiKey` (помечен REDACTED, но остальные — нет). Это уже утечка в артефакт аудита. +- `ops/creds` в репозитории — **неизвестно**, что внутри, но имя настораживает. +- `dangerouslyAllowPrivateNetwork: true` в Matrix-канале — разрешает SSRF из чата. Опасно. +- `trustedProxies: [192.168.1.10]` — один IP, ок. +- `controlUi.allowedOrigins` включает `http://192.168.1.115:18789` (plain HTTP) — токен может утечь. + +**Approvals:** +- MCP `approval: "auto"` — **все** инструменты авто-одобряются. `confirm: True` в Gateway — это флаг, но кто его обрабатывает? Если OpenClaw сам — это не approval, а self-confirm. +- `commands.ownerAllowFrom: [@akadmin]` — owner один. Хорошо, но нет второго (backup owner). + +**Sandbox:** +- OpenClaw в LXC 115 — изоляция есть. Но MCP-сервер `mcp_gateway.py` запускается `python3` без указания venv/пользователя — **неизвестно**, под кем. +- Hermes jobs запускают shell-скрипты от root (`/root/buryan-infra/...`) — **root-исполнение** batch-задач. Компромисс одного скрипта = root на automation-lxc. + +**Аудит:** +- `audit.recent` есть, Gateway логирует (7-дневная таблица). Но: `hub.status` 6703 вызова, `books.search` 20192 ms, `media.search` 12875 ms — **нет** логов ошибок/таймаутов в таблице (только counts). Нужны latency-перцентили и error-rate. +- `audit-targets` (Hermes, 07:15) — что аудитит — **неизвестно**. + +**Критично:** +1. Ротировать все токены из досье (они засвечены). +2. `approval: auto` → manual для write. +3. Убрать `dangerouslyAllowPrivateNetwork` или ограничить allowlist хостов. +4. Hermes — не root, через Gateway. +5. Санитайзинг tool-вывода (strip HTML/скриптов, лимит длины). + +--- + +## 5. Надёжность + +**State-lock OpenClaw / долгие turn'ы:** +- В eval прямо: «Починить state-lock/долгие turn'ы (баг OpenClaw/agent DB) — приоритет». Значит, **баг воспроизводится**. +- p95: `status 34.2s`, `media 32.8s`, `books 26.7s`, `infra 26.3s` — долгие turn'ы коррелируют с тяжёлыми инструментами (`books.search` 20s, `media.search` 12.8s). +- Гипотеза: state-lock держится на время turn'а, а turn ждёт tool. Решение: **async tool calls** + отдельный lock на запись памяти, не на весь turn. + +**Fallback:** +- Модели: DeepSeek (primary) → Qwen (allowlist) → Ollama (локально). Но **нет** описанной логики fallback при 429/5xx/timeout. `modelPolicy.allow: [qwen/qwen3.5-plus]` — это allowlist, не fallback-цепочка. +- Нужно: primary → secondary (Qwen) → local (Ollama) с circuit breaker. + +**Наблюдаемость:** +- Prometheus (LXC 134) есть, `export-service-metrics` каждые 120s, `storage-metrics` 900s. +- Но: **нет** метрик OpenClaw (turn latency, tool latency, error rate, token usage). Eval — ручной, раз в неделю. +- `alerts.active` — есть, но что алертит — **неизвестно**. +- `state-diff`, `ct-state`, `ha-state` — каждые 300–600s, хорошо. +- **Нет** SLO: «секретарь отвечает за <10s p95» — не зафиксировано. + +**Риски надёжности:** +- RAM 167 MB free — OOM-killer может убить случайный контейнер. `swarm-watchdog` каждые 60s — реакция, но не профилактика. +- 40 Hermes-jobs, часть с timeout 1800–7200s (`rag-reindex` 7200, `mesh-watch` 1800, `selfheal` 1800, `agents-runner` 1800). Пересечения по времени (08:00–08:45 — 8 jobs) → конкуренция за CPU/RAM. +- `media-digest`, `notify-digest` — disabled. Почему — **неизвестно**. + +--- + +## 6. UX семьи + +**Что есть:** +- Matrix, 2 пользователя в allowlist (akadmin, polina). Секретарь «Бета». +- Проактивность: heartbeat, `ai-digest` (08:30), `weekly-report` (08:05), `trust-report` (08:00), `evolution-report` (08:10), `night-analysis` (03:00). +- Память о людях: `photos.people`, `MEMORY.md`, но **нет** структурированного профиля человека (дни рождения, предпочтения, аллергии, расписание). + +**Пробелы:** +1. **Онбординг**: как Полина узнала, что можно писать? Нет welcome-сценария, нет «что я умею» в досье. +2. **Каналы**: только Matrix. Нет Telegram/WhatsApp/SMS — а семья, вероятно, там. `ops/books/telegram` есть в репо — значит, Telegram-бот был/есть, но не в OpenClaw. +3. **Проактивность**: 8 ежедневных отчётов в 08:00–08:45 — это **спам**, а не помощь. Нужен дайджест-агрегатор: один утренний брифинг, а не 8. +4. **Quiet hours**: в политике упомянуты («respect quiet time»), но **не заданы** (часы, часовой пояс). +5. **Память о людях**: нет `contacts`-инструмента, нет профилей. «Напомни, что у Полины завтра стоматолог» — не сработает без структуры. +6. **Язык/тон**: политика на русском, но нет style guide (ты/вы, эмодзи, длина). +7. **Обратная связь**: нет механизма «это было полезно/нет» — секретарь не учится на реакциях. + +--- + +## 7. LLM / стоимость + +**Текущее:** +- Primary: `deepseek/deepseek-chat` (131k ctx, 8k out) — дёшево, но облако. +- Allowlist: `qwen/qwen3.5-plus` (1M ctx, reasoning) — дороже, облако. +- Local: `qwen2.5:3b-32k` (Ollama, 192.168.1.229) — слабо, но приватно. +- `utilityModelSeparation: true` — хорошо (utility-задачи на дешёвую модель). + +**Проблемы:** +1. **Нет router'а по сложности**: всё идёт в DeepSeek. Простые («который час») — тоже. Нужен rule-based router: intent → модель. +2. **Нет кэша**: повторяющиеся запросы (`hub.status` 6703 раза за 7 дней!) — каждый раз LLM. Нужен semantic cache + tool-result cache (TTL 30–60s для status). +3. **Нет бюджета**: неизвестно, сколько тратится. Нужен token-usage метрик + месячный cap. +4. **Качество**: eval 96% — хорошо, но `injection 3/4` и `refusal 3/4` — слабые места. DeepSeek на injection слабее Qwen-reasoning. +5. **Локальная модель**: 3B — не тянет секретаря. Либо апгрейд (qwen2.5:7b/14b на железе 192.168.1.229 — **неизвестно**, что там), либо гибрид: локально — классификация/PII-фильтр, облако — диалог. + +**Рекомендация router'а:** +- `intent=status/read` → tool напрямую, без LLM (детерминированный ответ). +- `intent=simple` → Ollama 3B (или 7B). +- `intent=complex/reasoning` → Qwen 3.5 Plus. +- `intent=default` → DeepSeek. +- PII-детект → локально, при срабатывании → Ollama. + +--- + +## 8. Дорожная карта P0/P1/P2 (2–4 недели) + +### P0 (неделя 1) — безопасность и стабильность +1. **Ротация всех секретов** из досье (gateway token, qwen key, TG_TOKEN, deepseek key). Перенос в vault (ops/creds → зашифровано, или Infisical/Vault). +2. **MCP `approval: auto` → `manual`** для write-инструментов; подтверждение в Matrix от owner. +3. **Убрать `dangerouslyAllowPrivateNetwork`** или allowlist хостов. +4. **State-lock fix**: async tool calls, lock только на memory-write; таймаут turn 60s с graceful abort. +5. **Fallback-цепочка**: DeepSeek → Qwen → Ollama, circuit breaker, логирование. +6. **PII-фильтр** перед облачными моделями (regex + entropy). +7. **RAM**: выявить топ-потребителей, поднять zram/swap, или вынести 2–3 LXC. + +### P1 (недели 2–3) — функциональность секретаря +8. **Инструменты**: `memory.search/write`, `contacts.lookup`, `tasks.*`, `notes.*`. +9. **Router по intent** + tool-result cache (status 30s, media 60s). +10. **Утренний брифинг**: агрегировать 8 отчётов в один (08:30), остальные — в архив. +11. **Quiet hours** + rate-limit `hub.notify` (≤5/час, 22:00–08:00 тишина). +12. **Онбординг**: welcome-сценарий для Полины, «что я умею», примеры. +13. **Профили людей**: дни рождения, предпочтения, расписание — структурировано, с consent. +14. **Санитайзинг tool-вывода** (strip HTML, лимит 8k символов). +15. **Метрики OpenClaw** в Prometheus: turn latency, tool latency, error rate, token usage. + +### P2 (неделя 4) — зрелость +16. **Hermes → Gateway**: убрать root-shell, все действия через Tool Gateway с audit. +17. **Telegram-канал** (если семья там) — с тем же allowlist. +18. **Feedback loop**: реакция на сообщения → в eval-датасет. +19. **Бюджет LLM**: месячный cap, алерт при 80%. +20. **ADR**: границы hub-core/Hermes/OpenClaw/n8n; судьба n8n (документировать или вывести). +21. **Eval 50/50** без исключений, weekly baseline. + +--- + +## 9. Задачи с критериями готовности + +| # | Задача | Критерий готовности | +|---|---|---| +| 1 | Ротация секретов | Все токены из досье недействительны; новые в vault; в репо — только ссылки | +| 2 | Approval manual | Write-инструмент без подтверждения owner в Matrix → отказ; лог подтверждений | +| 3 | State-lock fix | 50 turn'ов подряд без deadlock; p95 turn < 15s; нет «зависших» сессий | +| 4 | Fallback | При 429/5xx DeepSeek → Qwen за <2s; при отказе Qwen → Ollama; лог переключений | +| 5 | PII-фильтр | Тест: 20 PII-примеров → 0 утечек в облако; 0 ложных блокировок на 20 public | +| 6 | Router | 100 запросов: status → tool без LLM; simple → Ollama; complex → Qwen; метрика распределения | +| 7 | Tool cache | `hub.status` повтор в 30s → 0 вызовов LLM, ответ из кэша; hit-rate > 40% | +| 8 | Утренний брифинг | Один дайджест 08:30 вместо 8; содержит: статус, алерты, календарь, медиа, бэкап | +| 9 | Quiet hours | 22:00–08:00 `hub.notify` → отказ (кроме critical); тест | +| 10 | Онбординг | Полина получает welcome + 5 примеров; может вызвать 3 инструмента без подсказки | +| 11 | Профили людей | `contacts.lookup("Полина")` → ДР, предпочтения, расписание; consent-флаг | +| 12 | Санитайзинг | Tool-вывод с `