# SPRINT V1 — журнал прогресса ## 05.11.2026 · Фазы A и B (первый заход) ### ✅ Фаза A — фундамент | Артефакт | Что | Коммит | |---|---|---| | `ops/scripts/build_topology.py` | сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог | `bfe74c4` | | `ops/topology/topology.json` | **294 узла, 290 рёбер** (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) | `bfe74c4` | | `ops/scripts/topo_query.py` | запросы: `blast` (что пострадает), `deps`, `hubs`, `find` | `bfe74c4` | | `ops/topology/ledger.md` | лёджер: 166 контейнеров, RAM/CPU/порты/образы | `bfe74c4` | | `ops/hermes/policy.yaml` | 9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run | `bfe74c4` | | `ops/hermes/guards.py` | предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch | `2d0523c` | **Проверено:** - `guards.py selftest` → все 4 предохранителя работают; - blast radius: `ct114 (Authentik)` → 13 зависимых узлов; - «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10). ### ✅ Фаза B — мышцы и гигиена | Артефакт | Что | Коммит | |---|---|---| | `ops/scripts/hygiene_scan.py` | скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск | `2d0523c` | | `ops/hermes/actions.py` | **8 действий** с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service | `15287eb` | | `ops/hermes/maintenance.yaml` | исключения (CT160 llm-lxc — намеренно остановлен) | `15287eb` | | `ops/scripts/hygiene_notify.py` | сводка гигиены в Matrix (комната INFRA) | `15287eb` | | `/opt/hermes/jobs.yaml` | задание `hygiene-scan` ежедневно 07:20 | `2d0523c` | **Проверено:** - задание отработало end-to-end: `event: done`, отчёт сгенерирован; - предохранитель заблокировал дублирующий запуск (`single-flight`); - dry-run: действия логируются как «would do», реальных изменений нет; - сводка ушла в Matrix: HTTP 200. ### 🔧 Найдено и исправлено по ходу | Находка | Действие | |---|---| | Jackett дублировался в CT119 и CT124 | удалён мой экземпляр из CT119, штатный CT124 оставлен | | CT160 (llm-lxc) — пустой резерв 4 ГБ | остановлен (LLM переехал на мини-ПК), внесён в maintenance | | `hub-yandex-bridge` — enabled, но inactive | зафиксировано в отчёте, причина: ошибки API Яндекс (`api.iot.yandex.net`) | | **33 disabled юнита `hub-*`** | зафиксировано как «заготовки без запуска» — недоделанная функциональность | ### 📊 Текущий отчёт гигиены ``` Найдено: 24 high: 1 (hub-yandex-bridge enabled, но не работает) medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing) low: 5 (CT с onboot=0) info: 10 (топ потребителей RAM) ``` Предложения агента (dry-run): ``` [L3_domain_auto] retry_search — 17 фильмов без файла ``` ### 🔍 Расширение гигиены (по запросу владельца) Сканер переписан в расширяемом виде: **15 проверок** вместо 6. | Новая проверка | Что ловит | |---|---| | сертификаты | Let's Encrypt на хосте и VPS, <21 дня → high | | бэкапы | свежесть архивов в `/var/lib/vz/dump` | | docker-мусор | образы, тома, остановленные контейнеры | | логи | файлы >200 МБ, размер journal | | **failed-юниты** | `systemctl --failed` | | диск CT | заполнение >85% внутри контейнеров | | **права на секреты** | файлы в `/root` с доступом группы/всех | | swap/PSI | давление памяти (индикатор лавины) | | cron-пики | 8+ задач в одну минуту | ### 🔧 Найдено и исправлено расширенной гигиеной | Находка | Что сделал | |---|---| | **5 упавших PVE-сервисов**: `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd` | причина — `pmxcfs` был недоступен при загрузке 04.11. Подняты, все active. **pvescheduler** критичен — он запускает бэкапы | | `swapfile16.swap` failed | поднят, swap работает | | **16 файлов-секретов с правами 644** | закрыты до 600, проверка «осталось не 600» — пусто | | `fail2ban` failed | поднят, active | **Результат:** находок стало **19** (было 30), high — **1** (только `hub-yandex-bridge`). ### 🔬 Три дополнительные проверки (по запросу владельца) | Проверка | Что сделано | Результат | |---|---|---| | **Drift-детектор** | `check_compose_drift` — обходит все `deploy/ct*`, запускает `check-compose-parity.py`, собирает расхождения | найдено **5 расхождений**: CT110 (2 env), CT113 (2 образа), CT134 (1 образ) | | **Здоровье бэкапов** | `check_backup_freshness` — возраст логов 4 заданий + свежесть vzdump | ✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч | | **`hub-yandex-bridge`** | токен `api.iot.yandex.net` даёт **HTTP 400** (недействителен) | юнит **выключен** (`disable --now`), причина записана в `maintenance.yaml`, cookie закрыт 600 | **Исправленный drift:** - `deploy/ct113`: `grafana/loki:3.2.1 → 3.7.9`, `grafana/promtail:3.2.1 → 3.5.1` - `deploy/ct134`: `prom/alertmanager:v0.27.0 → v0.34.1` **Остался один drift (CT110):** compose содержит env-ключи (`OIDC_*` для mealie, `AUTHENTICATION_GUARD_*` для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует `docker compose up -d` (пересоздание) — **не делал без подтверждения**, т.к. firefly хранит финансовые данные. **Текущий отчёт: 21 находка** (high 1 — drift CT110, medium 9, low 5, info 6). ### 🔧 CT110: разобрано до причины (по подтверждению владельца) Попытка `docker compose up -d firefly mealie` **ничего не изменила** — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом: | Факт | Значение | |---|---| | Live compose на CT110 | `/opt/lifestyle-lxc/docker-compose.yml` — **111 строк, 2 сервиса** (firefly, mealie) | | Файл в репозитории | `deploy/ct110/docker-compose.yml` — **343 строки** (снимок всех контейнеров, сгенерирован `docker-to-compose.py`) | | Compose-проектов в CT110 | **8**: `/opt/beszel`, `/opt/ct110`, `/opt/dozzle`, `/opt/lifestyle-lxc`, `/opt/memos`, `/opt/monica`, `/opt/sso-monica`, `/opt/stirling` | **То есть CT110 — «мультипроектный»:** в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла. **Что сделано:** 1. Снимок `deploy/ct110` **перегенерирован по живому состоянию**: 187 строк, 8 сервисов, 10 секретов → `check-compose-parity.py 110` → **0 расхождений**. 2. `check_compose_drift` разделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT». **Итог:** `high: 0`. В отчёте осталось 21 находка, все medium/low/info. ### Следующие шаги ### 🧠 LLM-узел подключён (Фаза C, часть 1) **192.168.1.229** — мини-ПК Intel Core Ultra 5 125H, 18 потоков, 15 ГиБ DDR5, Ubuntu 24.04.3. | Что | Результат | |---|---| | Память | swap 4→**11 ГБ**, `swappiness` 60→**10**, journald 500 МБ | | Ollama | 0.40.14, API `:11434`, `KEEP_ALIVE=-1`, `NUM_PARALLEL=1`, `MAX_LOADED=1` | | Модель | **qwen2.5:7b** (4.7 ГБ) | | Скорость | **8.2 ток/с** (CPU, 18 потоков) | | Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно, swap не тронут | | iGPU Intel Arc | ❌ не поддерживается этим билдом (Vulkan/iGPU/oneAPI не помогли) | | Доступ | проверен с Proxmox, `ops/scripts/llm_query.py` работает | | Документация | `ops/llm/README.md` | | Гигиена | новая проверка `check_llm_node` (нет узла = high, нет модели = medium) | Коммит: `98845fe`. ### 🧠 RAG-память (Фаза C, часть 2) | Параметр | Значение | |---|---| | Документов | **741** | | Чанков | **3032** | | Размер индекса | 11.5 МБ | | Ошибок индексации | 0 | | Эмбеддинги | nomic-embed-text (768), локальный узел | | Поиск | гибрид: 0.7·косинус + 0.3·ключевые слова | | Переиндексация | ежедневно 03:40 (`rag-reindex`) | **Проверка:** вопрос «что случилось с chronyd» → ответ совпал с реальным исправлением, источники — `ops/CHRONYD-SANDBOX-2026-11-04.md`. Коммит: `7ced982`. ### 🧠 Агент развития (Фаза C, часть 3) `ops/scripts/evolution_agent.py` — tech-radar отчёт по реестру сервисов. | Метрика | Значение | |---|---| | Сервисов в анализе | 127 | | RETIRE-кандидатов | 2 (`paperless` 516 МиБ, `n8n` 307 МиБ) | | Дублей образов | 7 | | Без SSO (`sso: direct`) | 22 | | Без бэкапа | 0 | | Задание | ежедневно 08:10 (`evolution-report`) | **Проверка кандидатов вручную:** - `paperless` — **истинный кандидат**: приложение убрано, остался только `oauth2-proxy-paperless` (висит зря); - `n8n` — **ложный**: сервис работает (n8n + прокси), просто у него нет зависимых в графе. Вывод: отчёт требует человеческой проверки — это заложено в тексте отчёта. Коммит: `e0c36dd`. ### ⚡ Устойчивость к отключению питания (после инцидента 05.11) Причина падения хоста в 21:40 — **отключение электричества** (подтверждено владельцем). | Что сделано | Результат | |---|---| | `onboot: 1` для всех CT | было 5 CT без автозапуска (114, 115, 116, 122, 160); теперь все кроме CT160 (maintenance) | | `pve-ensure-rw.service` | remount rw **до** старта pve-cluster (иначе pmxcfs падает) | | `pve-start-all.service` | после сети: pve-cluster, 9 служб, swap, все CT, наш стек | | Проверка | оба юнита запускаются, идемпотентны | Коммит: `f5f3586` → `ops/boot/`. **Требует владельца:** в BIOS включить `AC Power Loss → Power On`, иначе после отключения света сервер не включится сам. ### Следующие шаги (когда продолжим) 1. **RAG-индекс** по `ops/`, `docs/adr/`, runbook'ам — память мозга. 2. **`ai-digest` → локальная модель** (приватность, без лимитов DeepSeek). 3. **Агент развития** (tech-radar отчёт) — ночной прогон на локальной модели. 4. **Фаза D**: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker). 5. **Фаза E**: включение автономии — по накопленной статистике доверия. 6. **33 disabled-юнита** `hub-*` — решить: внедрять, консервировать или удалять. 7. **`hub-yandex-bridge`**: восстановить после нового OAuth-токена Яндекса.