14 KiB
SPRINT V1 — журнал прогресса
05.11.2026 · Фазы A и B (первый заход)
✅ Фаза A — фундамент
| Артефакт | Что | Коммит |
|---|---|---|
ops/scripts/build_topology.py |
сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог | bfe74c4 |
ops/topology/topology.json |
294 узла, 290 рёбер (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) | bfe74c4 |
ops/scripts/topo_query.py |
запросы: blast (что пострадает), deps, hubs, find |
bfe74c4 |
ops/topology/ledger.md |
лёджер: 166 контейнеров, RAM/CPU/порты/образы | bfe74c4 |
ops/hermes/policy.yaml |
9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run | bfe74c4 |
ops/hermes/guards.py |
предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch | 2d0523c |
Проверено:
guards.py selftest→ все 4 предохранителя работают;- blast radius:
ct114 (Authentik)→ 13 зависимых узлов; - «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10).
✅ Фаза B — мышцы и гигиена
| Артефакт | Что | Коммит |
|---|---|---|
ops/scripts/hygiene_scan.py |
скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск | 2d0523c |
ops/hermes/actions.py |
8 действий с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service | 15287eb |
ops/hermes/maintenance.yaml |
исключения (CT160 llm-lxc — намеренно остановлен) | 15287eb |
ops/scripts/hygiene_notify.py |
сводка гигиены в Matrix (комната INFRA) | 15287eb |
/opt/hermes/jobs.yaml |
задание hygiene-scan ежедневно 07:20 |
2d0523c |
Проверено:
- задание отработало end-to-end:
event: done, отчёт сгенерирован; - предохранитель заблокировал дублирующий запуск (
single-flight); - dry-run: действия логируются как «would do», реальных изменений нет;
- сводка ушла в Matrix: HTTP 200.
🔧 Найдено и исправлено по ходу
| Находка | Действие |
|---|---|
| Jackett дублировался в CT119 и CT124 | удалён мой экземпляр из CT119, штатный CT124 оставлен |
| CT160 (llm-lxc) — пустой резерв 4 ГБ | остановлен (LLM переехал на мини-ПК), внесён в maintenance |
hub-yandex-bridge — enabled, но inactive |
зафиксировано в отчёте, причина: ошибки API Яндекс (api.iot.yandex.net) |
33 disabled юнита hub-* |
зафиксировано как «заготовки без запуска» — недоделанная функциональность |
📊 Текущий отчёт гигиены
Найдено: 24
high: 1 (hub-yandex-bridge enabled, но не работает)
medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing)
low: 5 (CT с onboot=0)
info: 10 (топ потребителей RAM)
Предложения агента (dry-run):
[L3_domain_auto] retry_search — 17 фильмов без файла
🔍 Расширение гигиены (по запросу владельца)
Сканер переписан в расширяемом виде: 15 проверок вместо 6.
| Новая проверка | Что ловит |
|---|---|
| сертификаты | Let's Encrypt на хосте и VPS, <21 дня → high |
| бэкапы | свежесть архивов в /var/lib/vz/dump |
| docker-мусор | образы, тома, остановленные контейнеры |
| логи | файлы >200 МБ, размер journal |
| failed-юниты | systemctl --failed |
| диск CT | заполнение >85% внутри контейнеров |
| права на секреты | файлы в /root с доступом группы/всех |
| swap/PSI | давление памяти (индикатор лавины) |
| cron-пики | 8+ задач в одну минуту |
🔧 Найдено и исправлено расширенной гигиеной
| Находка | Что сделал |
|---|---|
5 упавших PVE-сервисов: pvestatd, pvescheduler, pve-firewall, docker, containerd |
причина — pmxcfs был недоступен при загрузке 04.11. Подняты, все active. pvescheduler критичен — он запускает бэкапы |
swapfile16.swap failed |
поднят, swap работает |
| 16 файлов-секретов с правами 644 | закрыты до 600, проверка «осталось не 600» — пусто |
fail2ban failed |
поднят, active |
Результат: находок стало 19 (было 30), high — 1 (только hub-yandex-bridge).
🔬 Три дополнительные проверки (по запросу владельца)
| Проверка | Что сделано | Результат |
|---|---|---|
| Drift-детектор | check_compose_drift — обходит все deploy/ct*, запускает check-compose-parity.py, собирает расхождения |
найдено 5 расхождений: CT110 (2 env), CT113 (2 образа), CT134 (1 образ) |
| Здоровье бэкапов | check_backup_freshness — возраст логов 4 заданий + свежесть vzdump |
✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч |
hub-yandex-bridge |
токен api.iot.yandex.net даёт HTTP 400 (недействителен) |
юнит выключен (disable --now), причина записана в maintenance.yaml, cookie закрыт 600 |
Исправленный drift:
deploy/ct113:grafana/loki:3.2.1 → 3.7.9,grafana/promtail:3.2.1 → 3.5.1deploy/ct134:prom/alertmanager:v0.27.0 → v0.34.1
Остался один drift (CT110): compose содержит env-ключи (OIDC_* для mealie, AUTHENTICATION_GUARD_* для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует docker compose up -d (пересоздание) — не делал без подтверждения, т.к. firefly хранит финансовые данные.
Текущий отчёт: 21 находка (high 1 — drift CT110, medium 9, low 5, info 6).
🔧 CT110: разобрано до причины (по подтверждению владельца)
Попытка docker compose up -d firefly mealie ничего не изменила — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом:
| Факт | Значение |
|---|---|
| Live compose на CT110 | /opt/lifestyle-lxc/docker-compose.yml — 111 строк, 2 сервиса (firefly, mealie) |
| Файл в репозитории | deploy/ct110/docker-compose.yml — 343 строки (снимок всех контейнеров, сгенерирован docker-to-compose.py) |
| Compose-проектов в CT110 | 8: /opt/beszel, /opt/ct110, /opt/dozzle, /opt/lifestyle-lxc, /opt/memos, /opt/monica, /opt/sso-monica, /opt/stirling |
То есть CT110 — «мультипроектный»: в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла.
Что сделано:
- Снимок
deploy/ct110перегенерирован по живому состоянию: 187 строк, 8 сервисов, 10 секретов →check-compose-parity.py 110→ 0 расхождений. check_compose_driftразделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT».
Итог: high: 0. В отчёте осталось 21 находка, все medium/low/info.
Следующие шаги
🧠 LLM-узел подключён (Фаза C, часть 1)
192.168.1.229 — мини-ПК Intel Core Ultra 5 125H, 18 потоков, 15 ГиБ DDR5, Ubuntu 24.04.3.
| Что | Результат |
|---|---|
| Память | swap 4→11 ГБ, swappiness 60→10, journald 500 МБ |
| Ollama | 0.40.14, API :11434, KEEP_ALIVE=-1, NUM_PARALLEL=1, MAX_LOADED=1 |
| Модель | qwen2.5:7b (4.7 ГБ) |
| Скорость | 8.2 ток/с (CPU, 18 потоков) |
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно, swap не тронут |
| iGPU Intel Arc | ❌ не поддерживается этим билдом (Vulkan/iGPU/oneAPI не помогли) |
| Доступ | проверен с Proxmox, ops/scripts/llm_query.py работает |
| Документация | ops/llm/README.md |
| Гигиена | новая проверка check_llm_node (нет узла = high, нет модели = medium) |
Коммит: 98845fe.
🧠 RAG-память (Фаза C, часть 2)
| Параметр | Значение |
|---|---|
| Документов | 741 |
| Чанков | 3032 |
| Размер индекса | 11.5 МБ |
| Ошибок индексации | 0 |
| Эмбеддинги | nomic-embed-text (768), локальный узел |
| Поиск | гибрид: 0.7·косинус + 0.3·ключевые слова |
| Переиндексация | ежедневно 03:40 (rag-reindex) |
Проверка: вопрос «что случилось с chronyd» → ответ совпал с реальным исправлением, источники — ops/CHRONYD-SANDBOX-2026-11-04.md.
Коммит: 7ced982.
🧠 Агент развития (Фаза C, часть 3)
ops/scripts/evolution_agent.py — tech-radar отчёт по реестру сервисов.
| Метрика | Значение |
|---|---|
| Сервисов в анализе | 127 |
| RETIRE-кандидатов | 2 (paperless 516 МиБ, n8n 307 МиБ) |
| Дублей образов | 7 |
Без SSO (sso: direct) |
22 |
| Без бэкапа | 0 |
| Задание | ежедневно 08:10 (evolution-report) |
Проверка кандидатов вручную:
paperless— истинный кандидат: приложение убрано, остался толькоoauth2-proxy-paperless(висит зря);n8n— ложный: сервис работает (n8n + прокси), просто у него нет зависимых в графе.
Вывод: отчёт требует человеческой проверки — это заложено в тексте отчёта.
Коммит: e0c36dd.
⚡ Устойчивость к отключению питания (после инцидента 05.11)
Причина падения хоста в 21:40 — отключение электричества (подтверждено владельцем).
| Что сделано | Результат |
|---|---|
onboot: 1 для всех CT |
было 5 CT без автозапуска (114, 115, 116, 122, 160); теперь все кроме CT160 (maintenance) |
pve-ensure-rw.service |
remount rw до старта pve-cluster (иначе pmxcfs падает) |
pve-start-all.service |
после сети: pve-cluster, 9 служб, swap, все CT, наш стек |
| Проверка | оба юнита запускаются, идемпотентны |
Коммит: f5f3586 → ops/boot/.
Требует владельца: в BIOS включить AC Power Loss → Power On, иначе после отключения света сервер не включится сам.
Следующие шаги (когда продолжим)
- RAG-индекс по
ops/,docs/adr/, runbook'ам — память мозга. ai-digest→ локальная модель (приватность, без лимитов DeepSeek).- Агент развития (tech-radar отчёт) — ночной прогон на локальной модели.
- Фаза D: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker).
- Фаза E: включение автономии — по накопленной статистике доверия.
- 33 disabled-юнита
hub-*— решить: внедрять, консервировать или удалять. hub-yandex-bridge: восстановить после нового OAuth-токена Яндекса.