[NIGHT] Остальные задачи: alert digest+analysis, memory/USER.md, onboarding, redaction watcher, fallback notice, task backlog, deep audit v2
lint / hygiene (push) Failing after 19s
standard / check (push) Successful in 8s

This commit is contained in:
root committed 2026-11-17 20:49:18 +03:00
1 parent 4804dc6a75
commit eed9381b2e
7 files changed
+859 -137

No files matched your search

+275
View File
@@ -0,0 +1,275 @@
# Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:46)
# Аудит Buryans Hub — 17.11.2026
> Метод: анализ предоставленного досье. Всё, чего нет в досье, помечено «неизвестно». Домыслов не делаю.
---
## 0. Что в досье отсутствует (важно для честности аудита)
- `hub.status` — пустой вывод. Фактическое состояние хаба неизвестно.
- `openclaw.json` — файла нет по указанному пути. Конфиг OpenClaw **неизвестен**.
- Workspace policy OpenClaw — пусто. Политика памяти/приватности **неизвестна**.
- Схемы инструментов обрезаны (видны только `name`/`scope`/`confirm`, без параметров и описаний).
- Нет данных о: LLM-провайдере по умолчанию, наличии локальной модели, router'е, кэше, размере контекста, лимитах turn'ов, механизме approvals, sandbox, секрет-менеджере, каналах доставки (Matrix/Telegram/HA), ролях пользователей.
- Нет содержимого документов `ROLES-HERMES-N8N`, `SECRETARY-BETA-LAUNCH`, `TOOL-GATEWAY-MCP`, `SMR-ARCHIVE-LIMITS` — только имена.
Всё ниже — выводы из того, что реально видно.
---
## 1. Архитектура и границы ролей
**Что видно:**
- 27 LXC на одном Proxmox-хосте. Роли по именам: proxy, portal, media, files, smart, utils, automation, cloud, office, reading, backup, authentik-security, OpenClaw, *arr-стек (sonarr/radarr/prowlarr/bazarr/overseerr/torrent/jackett), navidrome, frigate, linkwarden, prometheus, syncthing, gitea, postgres-rbac, matrix, gateway, headscale.
- **hub-core** — судя по путям (`/opt/hub-core/*.py`, `/opt/buryan-hub/scripts/*`), это набор скриптов и, вероятно, HTTP-сервис на `127.0.0.1:9120` (из `verify-services`). Точная граница «hub-core vs Hermes» в досье не зафиксирована.
- **Hermes** — планировщик (~40 jobs) с cron-подобной семантикой (`every_seconds`, `daily_at`, `timeout`, `retries`, `notify_on_success`). Это **не** агент, а исполнитель скриптов.
- **OpenClaw** — отдельный LXC (115), конфиг не найден. Роль — AI-секретарь, вызывает Tool Gateway.
- **n8n** — упоминается в документах (`THREE-TASKS-N8N`), но в списке контейнеров явного n8n нет. Вероятно, внутри `automation-lxc` (108). **Неизвестно.**
- **HA** — есть `ha-state` job и инструменты `ha.states`/`ha.call`/`ha.search`. Сам HA-инстанс в списке LXC не виден — вероятно, внешний хост (`10.88.0.1` или `193.233.210.184` из `home-heartbeat`). **Неизвестно.**
- **Tool Gateway** — единая точка вызова инструментов с `scope` (read/write) и `confirm` (bool). Это правильная граница: OpenClaw не ходит в сервисы напрямую.
**Проблемы:**
1. **Границы hub-core ↔ Hermes ↔ OpenClaw не задокументированы в досье.** Есть файл `ROLES-HERMES-N8N-2026-11-17.md`, но его содержимого нет. Без него нельзя гарантировать, что OpenClaw не дублирует Hermes-джобы и наоборот.
2. **27 LXC на 15 GiB RAM, 12 GiB занято, 149 MiB free, available 3.0 GiB.** Это критическая зона: любой всплеск (rag-reindex, agents-brain, night-analysis с timeout 1200–7200 с) может вызвать OOM-killer. Особенно опасны одновременные тяжёлые джобы в 08:00–08:45 (trust-report, weekly-report, evolution-report, research-alternatives, ai-digest, rag-reindex, update-plan — все в окне 08:00–08:45).
3. **`home-heartbeat` ходит по SSH на `root@10.88.0.1` и `root@193.233.210.184`** — root-SSH на внешний хост. Это архитектурный риск (см. §4).
4. **`swarm-watchdog` каждые 60 с** — самый частый job; при timeout 120 с и retries 0 может наслаиваться. Неизвестно, есть ли защита от overlap.
5. **`media-digest` и `notify-digest` отключены** (`enabled: false`) — вероятно, сознательно, но это значит, что часть UX-каналов не работает.
---
## 2. Данные, память, приватность
**Что видно:**
- Есть `rag-reindex` (ежедневно 08:30, timeout 7200 с) и `rag_index_pg.py` — значит, RAG на PostgreSQL. Есть `postgres-rbac-lxc` (151) — отдельный RBAC-инстанс.
- `enrich-facts` и `research-finalize` работают с `/opt/work-hub/research` — есть слой «фактов» о пользователе/доме.
- `photos.people`, `photos.albums` — фото с распознаванием людей. Это **биометрия**, самая чувствительная категория.
- `SMR-ARCHIVE-LIMITS.md` — вероятно, лимиты архива (SMR = ?). Содержимое неизвестно.
- Workspace policy OpenClaw пуст → **формально неизвестно, что OpenClaw может писать в память и что уходит в облако.**
**Выводы:**
- **Нельзя в облако (DeepSeek и любой внешний LLM):** фото/лица, содержимое личной переписки (Matrix), медицинские/финансовые документы (office-lxc, files-lxc), точные адреса и геолокация (HA, Frigate), секреты (creds), содержимое `research`-фактов о семье.
- **Можно в облако:** агрегированный статус сервисов, метаданные медиа (названия), календарные слоты без деталей, результаты `hub.status`/`alerts.active` в обезличенном виде.
- **Проблема:** в досье нет ни одного артефакта, который подтверждает, что этот фильтр реализован. `photos.people` — read-инструмент без confirm, и если OpenClaw отправит его вывод в DeepSeek, произойдёт утечка биометрии. **Это P0.**
- **Проблема:** `books.search` p95 = 20 192 мс, `media.search` p95 = 12 875 мс, `media.request` p95 = 15 307 мс. Долгие ответы → больше шансов, что весь контекст (включая чувствительные поля) уйдёт в облако целиком.
---
## 3. Инструменты / MCP
**Что видно (18 инструментов):**
- read: `hub.status`, `ha.states`, `media.queue`, `media.recent`, `calendar.list`, `photos.people`, `photos.albums`, `ha.search`, `media.search`, `hub.service_detail`, `alerts.active`, `backup.status`, `books.search`, `books.link`, `books.status`, `audit.recent` — 16.
- write+confirm: `hub.notify`, `ha.call`, `calendar.create`, `media.request` — 4.
- **Нет ни одного write-инструмента без confirm** — это хорошо.
- **Нет инструментов:** `files.*` (чтение/запись файлов), `matrix.*` (отправка сообщений), `gitea.*`, `syncthing.*`, `frigate.*` (события камер), `torrent.*`, `navidrome.*`, `linkwarden.*`, `office.*` (документы), `reading.*` (книги — только search/link/status, без прогресса чтения), `users.*` (кто есть кто в семье), `memory.*` (запись/чтение долговременной памяти), `reminders.*` (напоминания — только calendar.create).
**Чего критически не хватает секретарю:**
1. `memory.write` / `memory.read` — без этого «память о людях» (см. §6) не реализуема.
2. `reminders.create/list/cancel` — календарь ≠ напоминание.
3. `matrix.send` (или `notify.user`) — адресная доставка конкретному члену семьи.
4. `files.search` (read-only, с allowlist путей) — секретарь не может найти документ.
5. `frigate.events` (read) — «кто был у двери» — частый запрос.
6. `reading.progress` — «на чём я остановился».
7. `users.roster` — кто в семье, как обращаться, часовой пояс, предпочтения.
**Опасные инструменты (текущие и потенциальные):**
- `ha.call` — управление устройствами. Уже с confirm, но **нет allowlist доменов/сущностей**. Если LLM под влиянием injection вызовет `ha.call` на `lock.*` или `alarm_control_panel.*` — confirm спасёт только если человек реально прочитает. Нужен allowlist + запрет опасных доменов.
- `media.request` — p95 15 с, 3 подтверждения за 7 дней. Ок.
- `photos.people` — read, без confirm, биометрия. **Опасен именно утечкой, а не действием.**
- `hub.notify` — confirm есть, но нет rate-limit. Секретарь может спамить.
- `calendar.create` — нет проверки конфликтов и прав «кто чей календарь».
**Как выдавать права:**
- Ввести **роли** (owner / adult / child / guest) и **per-tool ACL по роли**, а не только scope read/write.
- Write-инструменты — только owner/adult, с confirm.
- `photos.*` — только owner, и **никогда** не отдавать сырой вывод в облачный LLM (только агрегаты: «3 человека на фото»).
- Ввести **бюджет вызовов** на turn (например, ≤8 tool calls) и на пользователя в час.
- Каждый новый инструмент — через ADR в `ops/adr/` с описанием схемы, scope, confirm, ACL, лимитов.
---
## 4. Безопасность
**Prompt injection:**
- Eval: `injection 3/4` — **один провал**. Это P0: инъекция в eval-наборе уже проходит.
- Векторы: содержимое медиа-метаданных (названия файлов), имена фото-альбомов, события HA (имена устройств), результаты `books.search` (названия книг), `audit.recent` (логи). Всё это — недоверенный ввод, который попадает в контекст LLM.
- **Нет признаков** санитизации/экранирования недоверенного контента перед подачей в LLM. Неизвестно, есть ли разделители «данные vs инструкции».
**Секреты:**
- `ops/creds` в репозитории — **красный флаг**. Если это не зашифровано (SOPS/age/vault), секреты в git.
- `home-heartbeat` использует `root@...` SSH с `BatchMode=yes` — значит, ключи лежат на хосте Hermes. Неизвестно, есть ли passphrase и ограничения по `authorized_keys` (command=, from=).
- `openclaw.json` не найден — **неизвестно, где хранятся API-ключи DeepSeek/LLM**. Если в env контейнера — риск утечки через `hub.service_detail` или логи.
**Approvals:**
- Механизм `confirm: True` есть, но **неизвестно, как он реализован**: кто подтверждает, через какой канал, есть ли timeout, можно ли подтвердить «навсегда». Без этого confirm — фикция.
- Нет данных о **двухфакторном подтверждении** для опасных операций (например, `ha.call` на замки).
**Sandbox:**
- OpenClaw — отдельный LXC (115), это хорошо.
- Но **неизвестно**, есть ли ограничения по сети (может ли OpenClaw ходить куда угодно), по ФС (может ли читать `/opt/creds`), по ресурсам.
- Hermes-джобы запускаются от `root` (судя по `root@` и `/root/buryan-infra`) — **это плохо**. Компрометация любого скрипта = root на хосте.
**Аудит:**
- `audit.recent` есть, но за 7 дней вызван **1 раз**. Значит, аудит не используется ни секретарём, ни людьми.
- В аудите Tool Gateway видны только `tool|count|?|p95`. **Нет**: кто вызвал, с какими параметрами, что вернулось, был ли confirm, кто подтвердил. Это недостаточно для расследования инцидента.
- `audit-targets` (ежедневно 07:15) — что аудитит, неизвестно.
**Инциденты:**
- `SSH-229-2026-11-17.md` — судя по имени, инцидент с SSH (порт 229? хост .229?). Содержимое неизвестно, но дата = сегодня → **свежий инцидент, требует проверки**.
- `REMARKS-CLOSED-2026-11-13.md` — закрытые замечания, но без содержимого нельзя понять, что именно закрыто.
---
## 5. Надёжность
**State-lock OpenClaw:**
- В eval-baseline прямо написано: «Починить state-lock/долгие turn'ы (баг OpenClaw/agent DB) — приоритет». Значит, **баг воспроизводится**, и он блокирует прогон всех 50 сценариев (прогнали 48).
- Симптом: долгие turn'ы (p95 до 34 с на status, 32 с на media) + state-lock → вероятно, блокировка БД агента при параллельных turn'ах или при долгом tool call.
- **Неизвестно**: какая БД (SQLite? Postgres?), есть ли WAL, таймауты, retry.
**Долгие turn'ы:**
- p95: status 34.2 с, media 32.8 с, books 26.7 с, infra 26.3 с. Это **очень долго** для секретаря. Причина, вероятно, — медленные tool calls (`books.search` 20 с, `media.search` 13 с, `media.request` 15 с).
- Нет данных о **стриминге** ответа пользователю. Если стриминга нет — 30 с тишины в чате = пользователь думает, что сломалось.
**Fallback:**
- Неизвестно, есть ли fallback LLM (локальная модель при недоступности DeepSeek) и fallback инструментов (кэш последнего ответа).
- `retries: 0` у большинства тяжёлых джобов (rag-reindex, night-analysis, agents-brain, agents-runner, selfheal, mesh-watch) — при сбое просто тишина.
**Наблюдаемость:**
- Prometheus (134) есть, `export-service-metrics` каждые 120 с, `storage-metrics` каждые 900 с. Это хорошо.
- Но **нет метрик по OpenClaw**: latency turn'ов, ошибки tool calls, injection-срабатывания, стоимость LLM. Без этого §7 и §5 не измерить.
- `verify-services` каждые 3600 с — раз в час. Для 27 контейнеров это редко; `check-services` каждые 300 с — лучше, но что именно проверяет, неизвестно.
- `hub.status` пуст → **сам хаб не отдаёт статус**. Это либо баг, либо сервис лежит. P0.
**Перегрузка:**
- Окно 08:00–08:45: trust-report, weekly-report, evolution-report, research-alternatives, ai-digest, rag-reindex, update-plan, docs-index (06:50), registry-drift (06:40), hygiene-scan (07:20), audit-targets (07:15), disk-trend (07:45). **12+ джобов в 1.5 часа** на хосте с 3 GiB available. Риск OOM и деградации секретаря именно в утренние часы (когда семья просыпается и задаёт вопросы).
---
## 6. UX семьи
**Что видно:**
- Каналы: Matrix (155), HA (уведомления?), Telegram (упоминается в `ops/books/telegram`, `ops/bots`). Точный набор каналов для секретаря **неизвестен**.
- `hub.notify` — единственный инструмент уведомлений, confirm=True. Значит, **проактивные уведомления требуют подтверждения** — это противоречит идее проактивности. Либо confirm для notify — ошибка дизайна, либо проактивность не реализована.
- `notify-digest` отключён → дайджест уведомлений не работает.
- `media-digest` отключён.
- `ai-digest` работает (08:30), но `notify_on_success: false` — то есть результат никуда не уходит? Неизвестно.
**Онбординг:**
- Нет ни одного инструмента/документа про онбординг члена семьи. `users.roster` отсутствует. Как секретарь узнаёт, что «Маша» — это дочь, а «Мария Петровна» — тёща? **Неизвестно.**
- `SECRETARY-BETA-LAUNCH-2026-11-17.md` — вероятно, план запуска, но содержимого нет.
**Проактивность:**
- Hermes-джобы генерируют отчёты (trust, weekly, evolution, night-analysis), но `notify_on_success: false` у большинства → они пишут в лог, а не людям. Проактивность фактически **не доставляется**.
- Нет инструмента «предложить действие» (propose) — только «сделать» (confirm).
**Память о людях:**
- `enrich-facts` + `research-finalize` — есть слой фактов, но **нет инструмента чтения/записи памяти из OpenClaw**. Секретарь не может ни запомнить предпочтение, ни вспомнить его.
- `photos.people` даёт имена, но это не «память о человеке», а биометрический индекс.
**Вывод:** UX-слой в досье почти не виден. Это либо не реализовано, либо не задокументировано. Для «AI-секретаря семьи» это половина продукта.
---
## 7. LLM / стоимость
**Что видно:**
- DeepSeek упоминается в задании, но в досье **нет** ни конфига, ни метрик стоимости, ни логов вызовов LLM.
- Локальная модель: **неизвестно**, есть ли (по RAM 3 GiB available — вряд ли что-то серьёзное; возможно, на отдельном хосте).
- Router: **неизвестно**.
- Кэш: **неизвестно**.
- Качество: eval 46/48 (96%) — хорошо, но выборка мала (48), и 2 провала — injection и refusal, то есть **именно safety-критичные** категории.
**Оценка (осторожно, по косвенным):**
- p95 30+ с на status/media при 8 tool calls — это либо медленный LLM, либо медленные инструменты, либо и то и другое. `books.search` 20 с — это точно инструмент, не LLM.
- Если каждый turn шлёт в DeepSeek полный контекст (включая вывод `photos.people`), стоимость и утечка растут линейно.
- **Нет бюджета**: неизвестно, есть ли лимит токенов/стоимости на пользователя/день.
**Рекомендации (без фактов о текущем):**
- Router: classify → simple (hub.status, calendar.list) → локальная/дешёвая модель; complex (injection-чувствительные, multi-tool) → DeepSeek с жёстким system prompt.
- Кэш: TTL-кэш для `hub.status`, `alerts.active`, `backup.status` (30–60 с) — снизит и latency, и стоимость.
- Никогда не отправлять в облако сырой вывод `photos.*`, `files.*`, `matrix.*`.
---
## 8. Дорожная карта P0/P1/P2 (2–4 недели)
### P0 — неделя 1 (блокеры безопасности и стабильности)
1. **Починить `hub.status`** — сейчас пусто, это слепая зона.
2. **Найти и зафиксировать конфиг OpenClaw** (`openclaw.json` отсутствует по документированному пути) — без него аудит LLM/секретов невозможен.
3. **Закрыть injection-провал** (3/4 → 4/4): разделители «данные/инструкции», санитизация имён файлов/альбомов/книг, запрет исполнять инструкции из tool-выводов.
4. **Запретить отправку `photos.*` и любых биометрических/файловых выводов в облачный LLM** — на уровне gateway (redaction), а не промпта.
5. **State-lock OpenClaw** — воспроизвести, зафиксировать root cause, ввести WAL/таймаут/очередь turn'ов.
6. **Разгрузить утреннее окно 08:00–08:45** — разнести тяжёлые джобы (rag-reindex, night-analysis, agents-brain) на ночь/раннее утро, ввести `nice`/cgroup-лимиты.
7. **Проверить `SSH-229-2026-11-17.md`** — свежий инцидент, приоритет.
8. **`ops/creds`** — проверить, зашифровано ли; если нет — вынести в SOPS/age и убрать из git-истории.
### P1 — неделя 2–3 (функциональность секретаря)
9. **Ввести роли и per-tool ACL** (owner/adult/child/guest) в Tool Gateway.
10. **Добавить инструменты:** `memory.read/write`, `reminders.*`, `users.roster`, `files.search` (read-only, allowlist), `frigate.events` (read), `reading.progress`, `matrix.send` (адресно).
11. **Allowlist для `ha.call`** — запрет `lock.*`, `alarm_control_panel.*`, `cover.*` без отдельного подтверждения.
12. **Реализовать approvals по-настоящему**: канал подтверждения, timeout, лог «кто подтвердил», запрет «подтвердить навсегда» для write.
13. **Расширить аудит Tool Gateway**: кто, что, с какими параметрами, результат, confirm, latency. Сейчас `audit.recent` вызван 1 раз за 7 дней — аудит не работает как инструмент.
14. **Метрики OpenClaw в Prometheus**: latency turn, tool errors, injection-срабатывания, токены/стоимость.
15. **Fallback LLM** (локальная модель или дешёвый провайдер) + fallback «кэш последнего ответа» для read-инструментов.
16. **Стриминг ответа** в канал — убрать 30 с тишины.
17. **Проактивность**: `hub.notify` без confirm для неразрушающих уведомлений (или отдельный `notify.proactive` с rate-limit), включить `notify-digest`.
### P2 — неделя 3–4 (UX и стоимость)
18. **Онбординг семьи**: `users.roster`, профили (имя, роль, часовой пояс, предпочтения, каналы), сценарий «познакомиться».
19. **Память о людях**: `memory.write` с TTL/категориями (предпочтения, факты, обещания), ревью владельцем раз в неделю.
20. **Router LLM** + TTL-кэш для read-инструментов.
21. **Бюджет**: лимит tool calls/turn, токенов/день, стоимости/неделю; алерт при превышении.
22. **Расширить eval до 50 сценариев** (сейчас 48), добавить категории: memory, reminders, files, multi-turn, «отказ от прогноза».
23. **Еженедельное сравнение с baseline** — автоматизировать (сейчас это ручной пункт в eval-документе).
24. **Документировать границы ролей** (`ROLES-HERMES-N8N` — сделать публичным артефактом в `ops/arch/`).
---
## 9. Задачи с критериями готовности
| # | Задача | Критерий готовности |
|---|---|---|
| 1 | Починить `hub.status` | `hub.status` возвращает непустой JSON со списком сервисов; `verify-services` не находит «лежат» |
| 2 | Конфиг OpenClaw | `openclaw.json` существует по документированному пути, закоммичен redacted-вариант в `ops/arch/`, секреты — в SOPS |
| 3 | Injection 4/4 | Eval `injection` = 4/4; добавлены 3 новых injection-кейса (имя файла, имя альбома, имя устройства HA) — все проходят |
| 4 | Redaction биометрии | Юнит-тест: вывод `photos.people` не содержит имён при передаче в облачный LLM; интеграционный тест на turn с `photos.people` |
| 5 | State-lock | 50/50 сценариев проходят без lock-ошибок; p95 turn ≤ 15 с на status/media |
| 6 | Утреннее окно | Ни один тяжёлый джоб (rag-reindex, night-analysis, agents-brain) не стартует в 07:00–09:00; пик RAM ≤ 80% |
| 7 | SSH-инцидент | `SSH-229` закрыт документом с root cause и фиксом; `home-heartbeat` не использует root-SSH (или использует с `command=`/`from=` в authorized_keys) |
| 8 | Секреты | `ops/creds` не содержит plaintext; `git log` не содержит секретов (или история переписана) |
| 9 | ACL | Tool Gateway отклоняет write-вызов от роли child; тест на 4 роли × 18 инструментов |
| 10 | Новые инструменты | `memory.read/write`, `reminders.*`, `users.roster`, `files.search`, `frigate.events`, `reading.progress`, `matrix.send` — в gateway, с ACL, с тестами |
| 11 | HA allowlist | `ha.call` на `lock.*`/`alarm_control_panel.*` отклоняется без отдельного «опасного» confirm |
| 12 | Approvals | Лог approvals содержит: кто, когда, что, канал; timeout 5 мин; «навсегда» запрещено для write |
| 13 | Аудит | `audit.recent` возвращает ≥ 100 записей/день с полями who/what/params/result/confirm/latency |
| 14 | Метрики OpenClaw | В Prometheus есть `openclaw_turn_seconds`, `openclaw_tool_errors_total`, `openclaw_injection_blocked_total`, `openclaw_tokens_total` |
| 15 | Fallback | При недоступности DeepSeek turn завершается локальной моделью или кэшем; тест с блокировкой сети к DeepSeek |
| 16 | Стриминг | Первый токен в канал ≤ 2 с; тест на 3 каналах |
| 17 | Проактивность | `notify-digest` включён; ≥ 1 проактивное уведомление/день доставляется без confirm; rate-limit ≤ 5/день |
| 18 | Онбординг | Новый пользователь проходит сценарий «познакомиться» за ≤ 3 turn'а; профиль сохранён в `users.roster` |
| 19 | Память | Секретарь помнит предпочтение через 7 дней (тест: сказать в пн, спросить в вс) |
| 20 | Router/кэш | ≥ 40% read-вызовов обслуживаются кэшем; стоимость/день снижена на ≥ 30% (замерить до/после) |
| 21 | Бюджет | При превышении лимита turn завершается с понятным сообщением; алерт в Prometheus |
| 22 | Eval 50 | 50/50 сценариев, включая memory/reminders/files/multi-turn/refusal; отчёт в `ops/audits/eval/` |
| 23 | Baseline | Еженедельный cron сравнивает с baseline и шлёт diff в канал |
| 24 | Роли | `ROLES-HERMES-N8N` опубликован в `ops/arch/`, ссылка из README |
---
## 5 главных рисков
1. **Утечка биометрии и личных данных в облачный LLM.** `photos.people` — read без confirm, workspace policy пуст, redaction не подтверждён. Один turn — и лица/имена ушли в DeepSeek. Последствия необратимы.
2. **Prompt injection проходит (3/4).** Недоверенный ввод (имена файлов, альбомов, устройств, книг) попадает в контекст без разделителей. В связке с `ha.call`/`media.request` это путь к нежелательным действиям.
3. **State-lock OpenClaw + долгие turn'ы (p95 30+ с).** Секретарь периодически «зависает»; 2 из 50 сценариев не прогнаны. Это подрывает доверие семьи быстрее любого бага.
4. **Перегрузка хоста (3 GiB available, 12+ джобов в утреннем окне).** OOM-killer может убить OpenClaw или Postgres именно тогда, когда семья просыпается. Риск каскадный.
5. **Root-SSH и `ops/creds` в репозитории.** Компрометация одного скрипта Hermes = root на хосте; plaintext-секреты в git = компрометация всех сервисов. Свежий `SSH-229` — сигнал, что это уже не теория.
## 5 главных возможностей
1. **Tool Gateway уже есть** — это редкая и правильная архитектура. Добавив ACL, allowlist и настоящий аудит, вы получаете управляемого секретаря без переписывания.
2. **Hermes — зрелый планировщик (40+ джобов).** Проактивность не нужно строить с нуля: достаточно включить доставку (`notify-digest`, `notify_on_success`) и добавить `notify.proactive`.
3. **Eval 96% — сильная база.** Довести до 50/50 и автоматизировать еженедельное сравнение — и у вас один из немногих домашних AI с измеримым качеством.
4. **Prometheus + Grafana уже стоят.** Добавить метрики OpenClaw (latency, errors, tokens, injection) — и стоимость/надёжность станут управляемыми, а не «на глаз».
5. **Семья как продукт.** `users.roster` + `memory.*` + адресные каналы (Matrix/Telegram) превращают «инфра-бота» в настоящего секретаря: онбординг, память о людях, проактивные напоминания — то, чего сейчас нет ни у кого из домашних AI.
+264
View File
@@ -0,0 +1,264 @@
# Глубокий аудит Buryans Hub (LLM, 17.11.2026 20:48)
# Аудит Buryans Hub — 17.11.2026
> Метод: анализ предоставленного досье. Всё, чего нет в досье, помечено «неизвестно». Секреты из досье не воспроизводятся.
---
## 1. Архитектура и границы ролей
**Факты из досье:**
- Хост `pve` (16 GB RAM, 12 GB занято, 167 MB free, 3.1 GB available) — **память на грани**. 27 LXC + OpenClaw + Matrix + Postgres RBAC + Prometheus + Gitea + Syncthing + Frigate + *arr-стек.
- `hub.status` = 74 сервиса, `down: []` — все живы на момент снимка.
- **hub-core** — источник `/status.json` (порт 9120), `check_updates.py`, `update_plan.py`, `selfheal.py`, `mesh_watch.py`, `inbox_parse.py`, `export_storage.py`. Роль: агрегатор состояния + self-heal.
- **Hermes** — планировщик (≈40 jobs). Роли: heartbeat, verify, digest, RAG-reindex, evolution/trust/weekly reports, auto-repair, state-diff, agents-runner/brain.
- **OpenClaw** (LXC 115) — агент-секретарь, канал Matrix (`@secretary-beta`), MCP-клиент к Tool Gateway (`192.168.1.10:9140`), модели: DeepSeek (primary), Qwen 3.5 Plus (allowlist), Ollama qwen2.5:3b (локально, 192.168.1.229).
- **n8n** — в досье **не упомянут** (нет контейнера, нет jobs). Роль — **неизвестно**.
- **HA** — доступен через `ha.states`, `ha.call`, `ha.search`; сам инстанс в списке LXC не виден (вероятно, на другом хосте — `10.88.0.1` или `193.233.210.184` из `home-heartbeat`). Детали — **неизвестно**.
- **Tool Gateway** — единая точка инструментов, scope `read`/`write`, `confirm` для write. 18 инструментов.
**Проблемы границ:**
- Hermes выполняет `agents-runner` и `agents-brain` — то есть **агентная логика дублируется** с OpenClaw. Граница «кто думает» размыта: OpenClaw — диалог, Hermes — batch-агенты. Нужен явный ADR.
- `hub.notify` (write) доступен секретарю — это канал влияния на семью; должен быть отдельный scope `notify` с rate-limit.
- `ha.call` (write) — прямой доступ к дому. `confirm: True` есть, но **кто подтверждает** — не описано (см. §4).
**Вывод:** архитектура зрелая по покрытию, но роли hub-core/Hermes/OpenClaw пересекаются в self-heal и агентной логике. n8n — «мёртвая» сущность в досье, требует либо документирования, либо вывода.
---
## 2. Данные, память, приватность
**Что есть:**
- OpenClaw workspace: `memory/YYYY-MM-DD.md` (сырые заметки) + `MEMORY.md` (курируемая мудрость). Политика: heartbeat раз в несколько дней дистиллирует.
- RAG: `rag-reindex` (Postgres, `/root/buryan-infra/ops/scripts/rag_index_pg.py`), ежедневно 08:30, timeout 7200.
- `enrich-facts` + `research-finalize` — обогащение фактов из research (work-hub).
- Matrix — канал, `dmPolicy: allowlist`, `allowFrom: [@akadmin, @polina]`.
- Photos (`photos.people`, `photos.albums`), books (Calibre), media (Sonarr/Radarr/Prowlarr/Bazarr/Overseerr).
**Приватность — критично:**
- **DeepSeek (primary) — облако (api.deepseek.com)**. Всё, что уходит в turn, уходит в Китай. В досье **нет** политики «что нельзя в облако». Это дыра.
- Qwen 3.5 Plus — тоже облако (dashscope-intl.aliyuncs.com).
- Ollama qwen2.5:3b — локально, но 3B и 32k контекст — слабо для секретаря.
- `MEMORY.md` и `memory/*.md` — где хранятся? В workspace OpenClaw (LXC 115). Бэкап — через `backup-heartbeat` (неизвестно, что именно бэкапится).
**Чего не хватает:**
1. **Классификация данных**: public / family / private / secret. Правило: private+secret → только Ollama или локальная модель; public → DeepSeek.
2. **DLP-фильтр на выходе в облако**: regex/энтропия на токены, пароли, номера карт, адреса, медданные.
3. **Политика памяти**: что писать в `MEMORY.md` (PII о членах семьи — только с согласия), retention (сколько хранить daily-файлы), кто может читать.
4. **RAG-индексы**: что индексируется (docs? переписка? фото-метаданные?) — **неизвестно**. Если индексируется личное — это утечка в облачную модель при retrieval.
**Нельзя в облако (предложение):** медицина, финансы, документы (паспорт/права), переписка с третьими лицами, точные адреса/геолокация детей, фото людей без согласия, содержимое `ops/creds`, `.env`, SSH-ключи, токены.
---
## 3. Инструменты / MCP
**Что есть (18):** hub.status/notify/service_detail, ha.states/call/search, media.queue/recent/search/request, calendar.list/create, photos.people/albums, alerts.active, backup.status, books.search/link/status, audit.recent.
**Чего не хватает секретарю:**
| Нужно | Зачем | Приоритет |
|---|---|---|
| `memory.search` / `memory.write` | секретарь не имеет явного API к своей памяти — только файлы | P0 |
| `contacts.lookup` | «напомни Полине» — нужен справочник людей | P0 |
| `tasks.*` (todo) | секретарь без списка задач — половина функции | P0 |
| `notes.*` | быстрые заметки | P1 |
| `weather.*` / `time.*` | базовый контекст | P1 |
| `shopping.list` | семейный быт | P1 |
| `files.search` (files-lxc) | «найди документ» | P1 |
| `email.*` (если есть) | неизвестно, есть ли почта | P2 |
| `finance.*` | только read, с аудитом | P2 |
| `devices.*` (BLE, из `ops/ble`) | присутствие/трекинг | P2 |
**Опасные инструменты:**
- `ha.call` — физический дом (замки, свет, климат). Уже `confirm`, но нужен **allowlist устройств** и **запрет на lock/alarm** без owner.
- `hub.notify` — спам семье. Нужен rate-limit (напр. ≤5/час) и quiet hours.
- `media.request` — трафик/диск. Уже confirm.
- `calendar.create` — confirm есть, но нет проверки конфликтов.
- `books.link` — read, но может вести на пиратские источники; политика уже запрещает скачивание — хорошо.
**Как выдавать права (предложение):**
1. **Scope-модель**: `read` / `write` / `notify` / `admin`. Сейчас только read/write — notify смешан с write.
2. **Per-agent grants**: OpenClaw-секретарь ≠ Hermes-batch. У Hermes сейчас **нет** ограничений в досье — он дергает скрипты напрямую, минуя Gateway. Это дыра: **Hermes должен ходить через Gateway**, а не shell.
3. **Approval-политика**: `approval: "auto"` в MCP-конфиге OpenClaw — **опасно**. Для write-инструментов нужен `approval: "manual"` с подтверждением в Matrix от owner.
4. **TTL токенов**: `TG_TOKEN` в env MCP — статичный. Нужна ротация.
---
## 4. Безопасность
**Prompt injection:**
- Eval: `injection 3/4` — **есть провал**. Один сценарий не отработан.
- Векторы: Matrix-сообщения от allowlist (2 человека — низкий риск), но `media.search`/`books.search` возвращают внешний контент (названия, описания) — классический indirect injection. `books.search` p95 = 20 192 ms — долгий turn, окно для инъекции.
- **Нет** упоминания санитайзинга tool-вывода перед подачей в LLM.
**Секреты:**
- В досье **в открытом виде**: `gateway.auth.token`, `qwen.apiKey`, `TG_TOKEN`, `deepseek.apiKey` (помечен REDACTED, но остальные — нет). Это уже утечка в артефакт аудита.
- `ops/creds` в репозитории — **неизвестно**, что внутри, но имя настораживает.
- `dangerouslyAllowPrivateNetwork: true` в Matrix-канале — разрешает SSRF из чата. Опасно.
- `trustedProxies: [192.168.1.10]` — один IP, ок.
- `controlUi.allowedOrigins` включает `http://192.168.1.115:18789` (plain HTTP) — токен может утечь.
**Approvals:**
- MCP `approval: "auto"` — **все** инструменты авто-одобряются. `confirm: True` в Gateway — это флаг, но кто его обрабатывает? Если OpenClaw сам — это не approval, а self-confirm.
- `commands.ownerAllowFrom: [@akadmin]` — owner один. Хорошо, но нет второго (backup owner).
**Sandbox:**
- OpenClaw в LXC 115 — изоляция есть. Но MCP-сервер `mcp_gateway.py` запускается `python3` без указания venv/пользователя — **неизвестно**, под кем.
- Hermes jobs запускают shell-скрипты от root (`/root/buryan-infra/...`) — **root-исполнение** batch-задач. Компромисс одного скрипта = root на automation-lxc.
**Аудит:**
- `audit.recent` есть, Gateway логирует (7-дневная таблица). Но: `hub.status` 6703 вызова, `books.search` 20192 ms, `media.search` 12875 ms — **нет** логов ошибок/таймаутов в таблице (только counts). Нужны latency-перцентили и error-rate.
- `audit-targets` (Hermes, 07:15) — что аудитит — **неизвестно**.
**Критично:**
1. Ротировать все токены из досье (они засвечены).
2. `approval: auto` → manual для write.
3. Убрать `dangerouslyAllowPrivateNetwork` или ограничить allowlist хостов.
4. Hermes — не root, через Gateway.
5. Санитайзинг tool-вывода (strip HTML/скриптов, лимит длины).
---
## 5. Надёжность
**State-lock OpenClaw / долгие turn'ы:**
- В eval прямо: «Починить state-lock/долгие turn'ы (баг OpenClaw/agent DB) — приоритет». Значит, **баг воспроизводится**.
- p95: `status 34.2s`, `media 32.8s`, `books 26.7s`, `infra 26.3s` — долгие turn'ы коррелируют с тяжёлыми инструментами (`books.search` 20s, `media.search` 12.8s).
- Гипотеза: state-lock держится на время turn'а, а turn ждёт tool. Решение: **async tool calls** + отдельный lock на запись памяти, не на весь turn.
**Fallback:**
- Модели: DeepSeek (primary) → Qwen (allowlist) → Ollama (локально). Но **нет** описанной логики fallback при 429/5xx/timeout. `modelPolicy.allow: [qwen/qwen3.5-plus]` — это allowlist, не fallback-цепочка.
- Нужно: primary → secondary (Qwen) → local (Ollama) с circuit breaker.
**Наблюдаемость:**
- Prometheus (LXC 134) есть, `export-service-metrics` каждые 120s, `storage-metrics` 900s.
- Но: **нет** метрик OpenClaw (turn latency, tool latency, error rate, token usage). Eval — ручной, раз в неделю.
- `alerts.active` — есть, но что алертит — **неизвестно**.
- `state-diff`, `ct-state`, `ha-state` — каждые 300–600s, хорошо.
- **Нет** SLO: «секретарь отвечает за <10s p95» — не зафиксировано.
**Риски надёжности:**
- RAM 167 MB free — OOM-killer может убить случайный контейнер. `swarm-watchdog` каждые 60s — реакция, но не профилактика.
- 40 Hermes-jobs, часть с timeout 1800–7200s (`rag-reindex` 7200, `mesh-watch` 1800, `selfheal` 1800, `agents-runner` 1800). Пересечения по времени (08:00–08:45 — 8 jobs) → конкуренция за CPU/RAM.
- `media-digest`, `notify-digest` — disabled. Почему — **неизвестно**.
---
## 6. UX семьи
**Что есть:**
- Matrix, 2 пользователя в allowlist (akadmin, polina). Секретарь «Бета».
- Проактивность: heartbeat, `ai-digest` (08:30), `weekly-report` (08:05), `trust-report` (08:00), `evolution-report` (08:10), `night-analysis` (03:00).
- Память о людях: `photos.people`, `MEMORY.md`, но **нет** структурированного профиля человека (дни рождения, предпочтения, аллергии, расписание).
**Пробелы:**
1. **Онбординг**: как Полина узнала, что можно писать? Нет welcome-сценария, нет «что я умею» в досье.
2. **Каналы**: только Matrix. Нет Telegram/WhatsApp/SMS — а семья, вероятно, там. `ops/books/telegram` есть в репо — значит, Telegram-бот был/есть, но не в OpenClaw.
3. **Проактивность**: 8 ежедневных отчётов в 08:00–08:45 — это **спам**, а не помощь. Нужен дайджест-агрегатор: один утренний брифинг, а не 8.
4. **Quiet hours**: в политике упомянуты («respect quiet time»), но **не заданы** (часы, часовой пояс).
5. **Память о людях**: нет `contacts`-инструмента, нет профилей. «Напомни, что у Полины завтра стоматолог» — не сработает без структуры.
6. **Язык/тон**: политика на русском, но нет style guide (ты/вы, эмодзи, длина).
7. **Обратная связь**: нет механизма «это было полезно/нет» — секретарь не учится на реакциях.
---
## 7. LLM / стоимость
**Текущее:**
- Primary: `deepseek/deepseek-chat` (131k ctx, 8k out) — дёшево, но облако.
- Allowlist: `qwen/qwen3.5-plus` (1M ctx, reasoning) — дороже, облако.
- Local: `qwen2.5:3b-32k` (Ollama, 192.168.1.229) — слабо, но приватно.
- `utilityModelSeparation: true` — хорошо (utility-задачи на дешёвую модель).
**Проблемы:**
1. **Нет router'а по сложности**: всё идёт в DeepSeek. Простые («который час») — тоже. Нужен rule-based router: intent → модель.
2. **Нет кэша**: повторяющиеся запросы (`hub.status` 6703 раза за 7 дней!) — каждый раз LLM. Нужен semantic cache + tool-result cache (TTL 30–60s для status).
3. **Нет бюджета**: неизвестно, сколько тратится. Нужен token-usage метрик + месячный cap.
4. **Качество**: eval 96% — хорошо, но `injection 3/4` и `refusal 3/4` — слабые места. DeepSeek на injection слабее Qwen-reasoning.
5. **Локальная модель**: 3B — не тянет секретаря. Либо апгрейд (qwen2.5:7b/14b на железе 192.168.1.229 — **неизвестно**, что там), либо гибрид: локально — классификация/PII-фильтр, облако — диалог.
**Рекомендация router'а:**
- `intent=status/read` → tool напрямую, без LLM (детерминированный ответ).
- `intent=simple` → Ollama 3B (или 7B).
- `intent=complex/reasoning` → Qwen 3.5 Plus.
- `intent=default` → DeepSeek.
- PII-детект → локально, при срабатывании → Ollama.
---
## 8. Дорожная карта P0/P1/P2 (2–4 недели)
### P0 (неделя 1) — безопасность и стабильность
1. **Ротация всех секретов** из досье (gateway token, qwen key, TG_TOKEN, deepseek key). Перенос в vault (ops/creds → зашифровано, или Infisical/Vault).
2. **MCP `approval: auto` → `manual`** для write-инструментов; подтверждение в Matrix от owner.
3. **Убрать `dangerouslyAllowPrivateNetwork`** или allowlist хостов.
4. **State-lock fix**: async tool calls, lock только на memory-write; таймаут turn 60s с graceful abort.
5. **Fallback-цепочка**: DeepSeek → Qwen → Ollama, circuit breaker, логирование.
6. **PII-фильтр** перед облачными моделями (regex + entropy).
7. **RAM**: выявить топ-потребителей, поднять zram/swap, или вынести 2–3 LXC.
### P1 (недели 2–3) — функциональность секретаря
8. **Инструменты**: `memory.search/write`, `contacts.lookup`, `tasks.*`, `notes.*`.
9. **Router по intent** + tool-result cache (status 30s, media 60s).
10. **Утренний брифинг**: агрегировать 8 отчётов в один (08:30), остальные — в архив.
11. **Quiet hours** + rate-limit `hub.notify` (≤5/час, 22:00–08:00 тишина).
12. **Онбординг**: welcome-сценарий для Полины, «что я умею», примеры.
13. **Профили людей**: дни рождения, предпочтения, расписание — структурировано, с consent.
14. **Санитайзинг tool-вывода** (strip HTML, лимит 8k символов).
15. **Метрики OpenClaw** в Prometheus: turn latency, tool latency, error rate, token usage.
### P2 (неделя 4) — зрелость
16. **Hermes → Gateway**: убрать root-shell, все действия через Tool Gateway с audit.
17. **Telegram-канал** (если семья там) — с тем же allowlist.
18. **Feedback loop**: реакция на сообщения → в eval-датасет.
19. **Бюджет LLM**: месячный cap, алерт при 80%.
20. **ADR**: границы hub-core/Hermes/OpenClaw/n8n; судьба n8n (документировать или вывести).
21. **Eval 50/50** без исключений, weekly baseline.
---
## 9. Задачи с критериями готовности
| # | Задача | Критерий готовности |
|---|---|---|
| 1 | Ротация секретов | Все токены из досье недействительны; новые в vault; в репо — только ссылки |
| 2 | Approval manual | Write-инструмент без подтверждения owner в Matrix → отказ; лог подтверждений |
| 3 | State-lock fix | 50 turn'ов подряд без deadlock; p95 turn < 15s; нет «зависших» сессий |
| 4 | Fallback | При 429/5xx DeepSeek → Qwen за <2s; при отказе Qwen → Ollama; лог переключений |
| 5 | PII-фильтр | Тест: 20 PII-примеров → 0 утечек в облако; 0 ложных блокировок на 20 public |
| 6 | Router | 100 запросов: status → tool без LLM; simple → Ollama; complex → Qwen; метрика распределения |
| 7 | Tool cache | `hub.status` повтор в 30s → 0 вызовов LLM, ответ из кэша; hit-rate > 40% |
| 8 | Утренний брифинг | Один дайджест 08:30 вместо 8; содержит: статус, алерты, календарь, медиа, бэкап |
| 9 | Quiet hours | 22:00–08:00 `hub.notify` → отказ (кроме critical); тест |
| 10 | Онбординг | Полина получает welcome + 5 примеров; может вызвать 3 инструмента без подсказки |
| 11 | Профили людей | `contacts.lookup("Полина")` → ДР, предпочтения, расписание; consent-флаг |
| 12 | Санитайзинг | Tool-вывод с `<script>`/HTML → очищен; длина ≤8k; тест 10 кейсов |
| 13 | Метрики OpenClaw | Grafana-дашборд: turn p50/p95, tool p95, error rate, tokens/day |
| 14 | Hermes → Gateway | 0 root-shell jobs с write-эффектом; все через Gateway; audit полный |
| 15 | Eval 50/50 | 50/50 сценариев, injection 4/4, refusal 4/4, p95 < 20s |
| 16 | ADR ролей | Документ: hub-core/Hermes/OpenClaw/n8n — границы, владельцы, протоколы |
| 17 | RAM | free > 1 GB стабильно 7 дней; OOM-killer 0 событий |
| 18 | Бюджет LLM | Месячный cap задан; алерт 80%; отчёт tokens/day в Grafana |
---
## 5 главных рисков
1. **Утечка секретов** — токены в открытом виде в досье/конфиге, `approval: auto`, `dangerouslyAllowPrivateNetwork`. Компромисс = контроль над домом (HA) и медиа.
2. **Приватность семьи в облаке** — DeepSeek primary без DLP; медицина/финансы/дети могут уйти в Китай. Нет классификации данных.
3. **State-lock / долгие turn'ы** — подтверждённый баг, p95 до 34s, блокирует секретаря; усугубляется тяжёлыми инструментами (books 20s, media 12.8s).
4. **RAM на грани** — 167 MB free, 27 LXC + 40 jobs; OOM-killer может убить критичный контейнер (Postgres RBAC, Matrix, OpenClaw).
5. **Prompt injection 3/4** — провал в eval; внешний контент (media/books) не санитайзится; `dangerouslyAllowPrivateNetwork` расширяет поверхность.
## 5 главных возможностей
1. **Router + кэш** — `hub.status` 6703 вызова/7 дней; детерминированные ответы без LLM дадут кратное снижение стоимости и latency.
2. **Единый утренний брифинг** — 8 отчётов → 1; резко повысит воспринимаемую полезность и снизит шум.
3. **Структурированные профили людей + contacts** — превратит секретаря из «поисковика» в «помощника семьи» (ДР, расписание, предпочтения).
4. **Hermes через Gateway** — единый audit, отзыв root-shell, воспроизводимость; заодно решит дыру «кто что сделал».
5. **Локальная модель как PII-щит** — Ollama уже есть; использовать для классификации/фильтра перед облаком — дёшево и приватно, без апгрейда железа.
---
**Что осталось «неизвестно» и требует уточнения:** роль n8n; содержимое `ops/creds`; что индексирует RAG; что бэкапит `backup-heartbeat`; железо 192.168.1.229 (Ollama); что алертит `alerts.active`; почему disabled `media-digest`/`notify-digest`; есть ли Telegram-канал в проде; часовой пояс и quiet hours.
+34
View File
@@ -0,0 +1,34 @@
# Онбординг семьи Buryans Hub
Цель: новый член семьи сам заходит в сервисы и начинает пользоваться секретарём.
## 1. Matrix / Element
- Сервер: `matrix.buryans.ru`
- Попросить Романа пригласить в комнату **«Секретарь-Бета»**.
- После приглашения: Element → принять → написать секретарю «привет».
- В чате **не отправлять пароли/токены**: для секретов — Vaultwarden.
## 2. Jellyfin (кино)
- Дома: `http://192.168.1.103:8096`
- Внешний адрес — уточнить у Романа.
- Вход — через Authentik/локальный аккаунт.
## 3. Calibre-Web (книги)
- `https://books.buryans.ru` (вход через Authentik).
## 4. Immich (фото)
- Приложение Immich / веб-адрес — уточнить у Романа; вход через Authentik.
## 5. DAVx5 (календарь/контакты)
- Установить DAVx5, добавить CalDAV-аккаунт.
- URL и логин — у Романа (не публиковать в чате).
## 6. Правила
- Секреты — только в Vaultwarden, не в Matrix.
- Книги — легальные источники; секретарь не качает с пиратских сайтов.
- Цены/прогнозы — только с проверенным источником.
- Опасные действия (свет, календарь, удаление) — через секретаря с подтверждением.
## 7. Кому писать
- Секретарь: комната «Секретарь-Бета».
- Проблемы: Роман (@akadmin).
+68
View File
@@ -0,0 +1,68 @@
#!/usr/bin/env python3
"""Alert digest: новые алерты Alertmanager → Matrix (Секретарь-Бета)."""
import json
import os
import time
import urllib.request
AM = "http://192.168.1.134:9093/api/v2/alerts"
ROOM = "!puEdcZCc87kKoCm3mX5bbjrTS-Skv2XCZg7JJBKOMw0"
HS = "http://192.168.1.155:8008"
STATE = "/var/lib/alert-digest/seen.json"
def send(text):
tok = open("/root/.matrix-admin-token").read().strip()
txn = "alert-%d" % int(time.time() * 1000)
body = json.dumps({"msgtype": "m.text", "body": text}).encode()
url = "%s/_matrix/client/v3/rooms/%s/send/m.room.message/%s?access_token=%s" % (HS, ROOM, txn, tok)
req = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"}, method="PUT")
with urllib.request.urlopen(req, timeout=20) as r:
return r.status
def main():
os.makedirs(os.path.dirname(STATE), exist_ok=True)
try:
seen = json.load(open(STATE))
except Exception:
seen = {}
try:
with urllib.request.urlopen(AM, timeout=15) as r:
alerts = json.loads(r.read().decode())
except Exception as e:
print("alertmanager:", e)
return 0
new = []
for a in alerts:
fp = a.get("fingerprint") or (a.get("labels") or {}).get("alertname", "")
if fp and fp not in seen:
new.append(a)
seen[fp] = int(time.time())
# prune > 7d
now = int(time.time())
seen = {k: v for k, v in seen.items() if now - v < 7 * 86400}
json.dump(seen, open(STATE, "w"))
if not new:
print("no new alerts")
return 0
lines = ["🚨 **Новые алерты** — " + time.strftime("%d.%m %H:%M")]
for a in new[:10]:
lb = a.get("labels") or {}
an = a.get("annotations") or {}
lines.append("• **%s** (%s): %s" % (lb.get("alertname"), lb.get("severity", "?"),
an.get("summary") or an.get("description") or ""))
if lb.get("instance"):
lines.append(" instance: %s" % lb.get("instance"))
if len(new) > 10:
lines.append("… ещё %d" % (len(new) - 10))
lines.append("\nСекретарь, проанализируй: причина, что проверить, риск и следующий шаг.")
try:
print("sent", send("\n".join(lines)))
except Exception as e:
print("matrix:", e)
return 0
if __name__ == "__main__":
raise SystemExit(main())
+112 -137
View File
@@ -1,164 +1,139 @@
#!/usr/bin/env python3
"""Полный read-only аудит Buryans Hub. Ничего не меняет — только читает.
"""Глубокий аудит системы силами LLM (DeepSeek через VDS).
Запускается после того, как LLM-сбор закончит очередь (см. after-llm-audit.sh).
Отчёт: /root/buryan-infra/ops/audits/<дата>-deep-audit.md
Собирает досье (без секретов), отправляет в DeepSeek с VDS, сохраняет отчёт
в ops/audits и присылает выжимку в Matrix.
"""
import json
import os
import re
import subprocess
import sys
import time
from collections import Counter
import urllib.request
OUTDIR = "/root/buryan-infra/ops/audits"
DATE = time.strftime("%Y-%m-%d")
OUT = os.path.join(OUTDIR, DATE + "-deep-audit.md")
SECTIONS = []
ROOM = "!puEdcZCc87kKoCm3mX5bbjrTS-Skv2XCZg7JJBKOMw0"
HS = "http://192.168.1.155:8008"
VDS = "root@10.88.0.1"
REPO = "/root/buryan-infra"
def sh(cmd, timeout=90):
def sh(cmd, timeout=60):
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return ((r.stdout or "") + (r.stderr or "")).strip()
def gateway_call(tool, args=None):
try:
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return (r.stdout or "") + (r.stderr or "")
tok = open("/root/.tool-gateway-owner-token").read().strip()
body = json.dumps({"tool": tool, "args": args or {}}).encode()
req = urllib.request.Request("http://127.0.0.1:9140/call", data=body,
headers={"Content-Type": "application/json",
"X-Gateway-Token": tok}, method="POST")
with urllib.request.urlopen(req, timeout=40) as r:
d = json.loads(r.read().decode())
return d.get("result") if d.get("ok") else d
except Exception as e:
return "ERR: %s" % str(e)[:80]
return {"error": str(e)[:200]}
def add(title, body):
SECTIONS.append((title, body.rstrip()))
def redact(s):
s = re.sub(r"(?i)(token|key|password|passwd|secret)\s*[=:]\s*\S+", r"\1=[REDACTED]", s)
s = re.sub(r"sk-[A-Za-z0-9]{10,}", "[REDACTED_KEY]", s)
return s
def host_health():
up = sh("uptime")
mem = sh("free -h | head -2")
disk = sh("df -h / /var/lib/vz 2>/dev/null | grep -v Filesystem")
load = sh("cat /proc/loadavg")
top = sh("ps -eo pcpu,pmem,comm --sort=-pcpu | head -6")
add("Хост: ресурсы", "```\n%s\n%s\n%s\nload: %s\n\ntop CPU:\n%s\n```"
% (up.strip(), mem.strip(), disk.strip(), load.strip(), top.strip()))
def build_context():
parts = []
parts.append("# Досье системы Buryans Hub (для аудита)\n")
parts.append("## Дата\n" + time.strftime("%d.%m.%Y %H:%M") + "\n")
parts.append("## Хост и контейнеры\n```\n" + sh("hostname; nproc; free -h | head -2; pct list | head -40") + "\n```\n")
parts.append("## Hub status\n```\n" + json.dumps(gateway_call("hub.status"), ensure_ascii=False)[:3000] + "\n```\n")
parts.append("## Tool Gateway: инструменты и схемы\n```\n" + sh("grep -E '^ \"[a-z_.]+\": \\{\"fn\"|^TOOLS =|scope' /root/buryan-infra/ops/tools/gateway.py | head -80") + "\n```\n")
parts.append("## Аудит Tool Gateway (7 дней)\n```\n" + sh('''SUP=$(cat /root/.pg-superuser-pass); PGPASSWORD="$SUP" psql -w -h 192.168.1.151 -U postgres -d hermes -t -A -F'|' -c "select tool,count(*),count(*) filter(where not ok),coalesce(round(avg(ms)),0) from tool_audit where ts>now()-interval '7 days' group by tool order by count(*) desc limit 25;"''') + "\n```\n")
parts.append("## Hermes jobs\n```\n" + sh("sed -n '1,200p' /opt/hermes/jobs.yaml") + "\n```\n")
parts.append("## OpenClaw config (redacted)\n```\n" + redact(sh("pct exec 115 -- cat /opt/openclaw/openclaw.json"))[:6000] + "\n```\n")
parts.append("## OpenClaw workspace policy\n```\n" + sh("pct exec 115 -- tail -40 /opt/openclaw/workspace/AGENTS.md 2>/dev/null") + "\n```\n")
parts.append("## Eval baseline\n```\n" + sh("cat /var/lib/secretary-eval/summary.md 2>/dev/null; echo; tail -5 /root/buryan-infra/ops/audits/EVAL-FINAL-2026-11-17.md 2>/dev/null") + "\n```\n")
parts.append("## Известные инциденты/документы\n```\n" + sh("ls /root/buryan-infra/ops/audits/ 2>/dev/null | tail -15") + "\n```\n")
parts.append("## Репозиторий (структура)\n```\n" + sh("cd /root/buryan-infra && find ops -maxdepth 2 -type d | sort | head -40") + "\n```\n")
return redact("\n".join(parts))[:60000]
def services():
failed = sh("systemctl list-units --state=failed --no-pager --no-legend")
timers = sh("systemctl list-timers --no-pager --no-legend | head -12")
add("Сбои systemd", "```\n%s\n```" % (failed.strip() or "нет сбоев"))
add("Таймеры (первые 12)", "```\n%s\n```" % timers.strip())
VDS_SCRIPT = r'''#!/usr/bin/env python3
import json, sys, urllib.request
key = open("/tmp/dskey").read().strip()
ctx = open("/tmp/deep-context.md", encoding="utf-8").read()
system = ("Ты — независимый аудитор домашней инфраструктуры Buryans Hub. "
"Цель: максимально глубокий аудит для дальнейшей работы AI-секретаря (OpenClaw). "
"Не выдумывай факты; если данных нет — пиши 'неизвестно'. "
"Отвечай на русском, структурированно, без воды.")
user = """Проведи максимально глубокий аудит системы по досье ниже.
Разделы:
1. Архитектура и границы ролей (hub-core, Hermes, OpenClaw, n8n, HA).
2. Данные, память, приватность (что можно/нельзя в облако).
3. Инструменты/MCP: чего не хватает секретарю, какие опасны, как выдавать права.
4. Безопасность: prompt injection, секреты, approvals, sandbox, аудит.
5. Надёжность: state-lock OpenClaw, долгие turn'ы, fallback, наблюдаемость.
6. UX семьи: онбординг, каналы, проактивность, память о людях.
7. LLM/стоимость: локальная vs DeepSeek, router, кэш, качество.
8. Конкретная дорожная карта P0/P1/P2 на 2-4 недели.
9. Список задач с критериями готовности.
В конце — 5 главных рисков и 5 главных возможностей.
ДОСЬЕ:
""" + ctx
body = {"model": "deepseek-chat", "temperature": 0.2, "max_tokens": 8000,
"messages": [{"role": "system", "content": system}, {"role": "user", "content": user}]}
req = urllib.request.Request("https://api.deepseek.com/chat/completions",
data=json.dumps(body).encode(),
headers={"Content-Type": "application/json", "Authorization": "Bearer " + key},
method="POST")
try:
with urllib.request.urlopen(req, timeout=300) as r:
d = json.loads(r.read().decode())
out = d["choices"][0]["message"]["content"]
except Exception as e:
out = "# Ошибка аудита\n\n" + str(e)[:1000]
open("/tmp/deep-report.md", "w", encoding="utf-8").write(out)
print("report chars:", len(out))
'''
def containers():
rows = []
for ct in sh("pct list | awk 'NR>1{print $1}'").split():
cnt = sh("pct exec %s -- sh -c 'docker ps -q 2>/dev/null | wc -l'" % ct, 30).strip()
if cnt and cnt.isdigit() and int(cnt) > 0:
names = sh("pct exec %s -- sh -c \"docker ps --format '{{.Names}}' 2>/dev/null | tr '\\n' ','\"" % ct, 30)
rows.append("CT%s: %s контейнеров — %s" % (ct, cnt, names.strip()[:120]))
add("Контейнеры по CT", "```\n%s\n```" % ("\n".join(rows) or "нет данных"))
def journal_errors():
counts = Counter()
for unit in sh("systemctl list-units --type=service --state=running --no-legend | awk '{print $1}'").split():
n = sh("journalctl -u %s --since '7 days ago' --no-pager -p err 2>/dev/null | wc -l" % unit, 30).strip()
if n.isdigit() and int(n) > 0:
counts[unit] = int(n)
top = "\n".join("%-40s %d" % (u, n) for u, n in counts.most_common(15))
add("Ошибки (prio err) за 7 дней по службам", "```\n%s\n```" % (top or "ошибок нет"))
def error_patterns():
raw = sh("journalctl --since '7 days ago' --no-pager -p err 2>/dev/null | head -4000")
pats = Counter()
for line in raw.splitlines():
m = re.sub(r"\d+", "N", line.split(" ", 5)[-1] if len(line.split(" ", 5)) > 5 else line)
pats[m.strip()[:110]] += 1
top = "\n".join("%4d %s" % (n, p) for p, n in pats.most_common(20))
add("Топ повторяющихся ошибок (7 дней)", "```\n%s\n```" % (top or "нет"))
def disk_hogs():
logs = sh("du -sh /var/log /var/lib/vz /root/.cache 2>/dev/null")
journal = sh("journalctl --disk-usage 2>/dev/null")
big = sh("du -ahx / 2>/dev/null | sort -rh | head -12")
add("Место: где занято", "```\n%s\n%s\n\nкрупнейшее:\n%s\n```"
% (logs.strip(), journal.strip(), big.strip()))
def backup_status():
b = sh("ls -la /var/backups 2>/dev/null | tail -8")
dz = sh("find / -maxdepth 3 -name '*.dump' -o -maxdepth 3 -name '*.sql.gz' 2>/dev/null | head -5")
add("Бэкапы: свежесть", "```\n%s\n\nдампы:\n%s\n```" % (b.strip(), dz.strip() or "не найдены"))
def network():
wg = sh("wg show 2>/dev/null | head -12")
ports = sh("ss -tlnp 2>/dev/null | awk '{print $4}' | sort -u | head -25")
dns = sh("cat /etc/resolv.conf | grep -v '^#' | head -5")
add("Сеть: VPN, порты, DNS", "```\n%s\n\nпорты:\n%s\n\nDNS:\n%s\n```"
% (wg.strip() or "wg нет", ports.strip(), dns.strip()))
def hygiene():
dup = sh("systemctl list-unit-files --type=service --no-pager --no-legend | awk '{print $1}'"
" | sed 's/@.*//' | sort | uniq -d | head -10")
cron = sh("crontab -l 2>/dev/null | grep -c '^[^#]'")
jobs = sh("grep -c '^[a-z0-9-]*:' /opt/hermes/jobs.yaml 2>/dev/null")
old = sh("find /root /opt -maxdepth 2 -name '*.bak*' -o -maxdepth 2 -name '*.old' 2>/dev/null | head -10")
pycache = sh("find /opt -name '__pycache__' -maxdepth 3 2>/dev/null | wc -l")
add("Гигиена: дубли, кроны, мусор", "```\nдубли unit-файлов:\n%s\n\n"
"crontab строк: %s | заданий hermes: %s\n\nстарые копии:\n%s\n\n__pycache__: %s\n```"
% (dup.strip() or "нет", cron.strip(), jobs.strip(),
old.strip() or "нет", pycache.strip()))
def security():
certs = sh("find /etc/letsencrypt/live -name fullchain.pem -maxdepth 2 2>/dev/null | while read f; do"
" e=$(openssl x509 -enddate -noout -in \"$f\" 2>/dev/null | cut -d= -f2); echo \"$f | $e\"; done | head -10")
fail = sh("journalctl --since '7 days ago' --no-pager 2>/dev/null | grep -ciE 'failed password|invalid user'")
add("Безопасность: сертификаты, попытки входа", "```\n%s\n\nнеудачных входов за 7 дней: %s\n```"
% (certs.strip() or "не найдено", (fail or "0").strip()))
def llm_state():
disp = sh("systemctl is-active llm-dispatcher")
log = sh("tail -5 /var/log/llm-dispatch.log 2>/dev/null")
prog = sh("ls /opt/work-hub/research/progress-*.json 2>/dev/null | wc -l")
add("LLM-сбор: состояние", "```\nдиспетчер: %s\nфайлов прогресса: %s\n\n%s\n```"
% (disp.strip(), prog.strip(), log.strip()))
def send_matrix(text):
tok = open("/root/.matrix-admin-token").read().strip()
txn = "deepaudit-%d" % int(time.time() * 1000)
body = json.dumps({"msgtype": "m.text", "body": text}).encode()
url = "%s/_matrix/client/v3/rooms/%s/send/m.room.message/%s?access_token=%s" % (HS, ROOM, txn, tok)
req = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"}, method="PUT")
with urllib.request.urlopen(req, timeout=20) as r:
return r.status
def main():
os.makedirs(OUTDIR, exist_ok=True)
t0 = time.time()
for fn in (host_health, services, containers, journal_errors, error_patterns,
disk_hogs, backup_status, network, hygiene, security, llm_state):
try:
fn()
except Exception as e:
add(fn.__name__, "ОШИБКА аудита: %s" % str(e)[:120])
body = ["# Глубокий аудит Buryans Hub — %s" % DATE,
"",
"Только чтение. Ничего не менялось.",
"",
"Итог: разделов %d, собрано за %.0f с." % (len(SECTIONS), time.time() - t0),
""]
for title, text in SECTIONS:
body += ["## " + title, "", text, ""]
open(OUT, "w", encoding="utf-8").write("\n".join(body))
print("отчёт:", OUT, "| разделов:", len(SECTIONS), "| %.0f с" % (time.time() - t0))
# короткая сводка в уведомление
summary = []
for title, text in SECTIONS:
if title.startswith("Сбои systemd") and "нет сбоев" not in text:
summary.append("есть сбои служб")
if title.startswith("Ошибки") and "ошибок нет" not in text:
summary.append("ошибки в журнале")
if summary:
print("внимание:", ", ".join(summary))
ctx = build_context()
open("/tmp/deep-context.md", "w", encoding="utf-8").write(ctx)
open("/tmp/deep_audit_vds.py", "w", encoding="utf-8").write(VDS_SCRIPT)
print("context chars:", len(ctx))
# ключ и контекст на VDS (временно)
sh("scp -q -o BatchMode=yes /root/.deepseek-key %s:/tmp/dskey" % VDS)
sh("scp -q -o BatchMode=yes /tmp/deep-context.md /tmp/deep_audit_vds.py %s:/tmp/" % VDS)
sh("ssh -o BatchMode=yes %s 'chmod 600 /tmp/dskey && python3 /tmp/deep_audit_vds.py'" % VDS, timeout=600)
sh("scp -q -o BatchMode=yes %s:/tmp/deep-report.md /tmp/deep-report.md" % VDS)
sh("ssh -o BatchMode=yes %s 'rm -f /tmp/dskey /tmp/deep-context.md /tmp/deep_audit_vds.py'" % VDS)
report = open("/tmp/deep-report.md", encoding="utf-8").read() if os.path.exists("/tmp/deep-report.md") else "# Ошибка\n"
ts = time.strftime("%Y%m%d-%H%M")
dst = "%s/ops/audits/DEEP-AUDIT-%s.md" % (REPO, ts)
header = "# Глубокий аудит Buryans Hub (LLM, %s)\n\n" % time.strftime("%d.%m.%Y %H:%M")
open(dst, "w", encoding="utf-8").write(header + report)
print("saved:", dst)
summary = report[:1800]
try:
send_matrix("🔍 **Глубокий аудит готов** (%s)\n\n%s\n\n…полный отчёт: `%s`" % (ts, summary, dst))
except Exception as e:
print("matrix failed:", e)
return 0
if __name__ == "__main__":
main()
sys.exit(main())
+53
View File
@@ -0,0 +1,53 @@
#!/usr/bin/env python3
"""Fallback-уведомление: если OpenClaw лёг — сказать семье, что секретарь недоступен."""
import json
import os
import subprocess
import time
import urllib.request
ROOM = "!puEdcZCc87kKoCm3mX5bbjrTS-Skv2XCZg7JJBKOMw0"
HS = "http://192.168.1.155:8008"
STATE = "/var/lib/openclaw-fallback.state"
def send(text):
tok = open("/root/.matrix-admin-token").read().strip()
txn = "fb-%d" % int(time.time() * 1000)
body = json.dumps({"msgtype": "m.text", "body": text}).encode()
url = "%s/_matrix/client/v3/rooms/%s/send/m.room.message/%s?access_token=%s" % (HS, ROOM, txn, tok)
r = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"}, method="PUT")
with urllib.request.urlopen(r, timeout=20) as resp:
return resp.status
def healthy():
try:
r = subprocess.run(["pct", "exec", "115", "--", "docker", "exec", "openclaw",
"node", "openclaw.mjs", "health"], capture_output=True, text=True, timeout=20)
out = (r.stdout or "") + (r.stderr or "")
return "Agents:" in out
except Exception:
return False
def main():
prev = "up"
try:
prev = open(STATE).read().strip()
except Exception:
pass
cur = "up" if healthy() else "down"
if cur != prev:
if cur == "down":
send("⚠️ **Секретарь временно недоступен.** Базовые команды hub-bots работают; "
"если срочно — напишите @secretary.")
else:
send("✅ Секретарь снова на связи.")
open(STATE, "w").write(cur)
print("state:", cur)
return 0
if __name__ == "__main__":
raise SystemExit(main())
+53
View File
@@ -0,0 +1,53 @@
#!/usr/bin/env python3
"""Сторож секретов: находит пароли/токены в Matrix и редактирует сообщения."""
import json
import re
import time
import urllib.request
ROOM = "!puEdcZCc87kKoCm3mX5bbjrTS-Skv2XCZg7JJBKOMw0"
HS = "http://192.168.1.155:8008"
PATTERNS = [
re.compile(r"(?i)(пароль|password|passwd|token|api[_-]?key|secret)\s*[:=]\s*\S{4,}"),
re.compile(r"sk-[A-Za-z0-9]{10,}"),
re.compile(r"-----BEGIN (RSA |OPENSSH |EC )?PRIVATE KEY-----"),
]
def req(method, url, data=None, token=None):
headers = {"Content-Type": "application/json"}
r = urllib.request.Request(url, data=json.dumps(data).encode() if data else None,
headers=headers, method=method)
with urllib.request.urlopen(r, timeout=20) as resp:
return resp.status, resp.read().decode()
def main():
tok = open("/root/.matrix-admin-token").read().strip()
try:
st, body = req("GET", "%s/_matrix/client/v3/rooms/%s/messages?dir=b&limit=100&access_token=%s"
% (HS, ROOM, tok), token=tok)
d = json.loads(body)
except Exception as e:
print("fetch:", e)
return 0
hits = 0
for e in d.get("chunk", []):
if e.get("type") != "m.room.message":
continue
body = (e.get("content") or {}).get("body") or ""
if any(p.search(body) for p in PATTERNS):
eid = e["event_id"]
txn = "sec-%d-%s" % (int(time.time() * 1000), eid[-8:])
try:
req("PUT", "%s/_matrix/client/v3/rooms/%s/redact/%s/%s?access_token=%s"
% (HS, ROOM, eid, txn, tok), data={"reason": "secret detected"}, token=tok)
hits += 1
except Exception as ex:
print("redact:", ex)
print("redacted:", hits)
return 0
if __name__ == "__main__":
raise SystemExit(main())