Files
buryan-infra/ops/SPRINT-V1-PROGRESS.md
T

14 KiB
Raw Blame History

SPRINT V1 — журнал прогресса

05.11.2026 · Фазы A и B (первый заход)

✅ Фаза A — фундамент

Артефакт Что Коммит
ops/scripts/build_topology.py сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог bfe74c4
ops/topology/topology.json 294 узла, 290 рёбер (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) bfe74c4
ops/scripts/topo_query.py запросы: blast (что пострадает), deps, hubs, find bfe74c4
ops/topology/ledger.md лёджер: 166 контейнеров, RAM/CPU/порты/образы bfe74c4
ops/hermes/policy.yaml 9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run bfe74c4
ops/hermes/guards.py предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch 2d0523c

Проверено:

  • guards.py selftest → все 4 предохранителя работают;
  • blast radius: ct114 (Authentik) → 13 зависимых узлов;
  • «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10).

✅ Фаза B — мышцы и гигиена

Артефакт Что Коммит
ops/scripts/hygiene_scan.py скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск 2d0523c
ops/hermes/actions.py 8 действий с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service 15287eb
ops/hermes/maintenance.yaml исключения (CT160 llm-lxc — намеренно остановлен) 15287eb
ops/scripts/hygiene_notify.py сводка гигиены в Matrix (комната INFRA) 15287eb
/opt/hermes/jobs.yaml задание hygiene-scan ежедневно 07:20 2d0523c

Проверено:

  • задание отработало end-to-end: event: done, отчёт сгенерирован;
  • предохранитель заблокировал дублирующий запуск (single-flight);
  • dry-run: действия логируются как «would do», реальных изменений нет;
  • сводка ушла в Matrix: HTTP 200.

🔧 Найдено и исправлено по ходу

Находка Действие
Jackett дублировался в CT119 и CT124 удалён мой экземпляр из CT119, штатный CT124 оставлен
CT160 (llm-lxc) — пустой резерв 4 ГБ остановлен (LLM переехал на мини-ПК), внесён в maintenance
hub-yandex-bridge — enabled, но inactive зафиксировано в отчёте, причина: ошибки API Яндекс (api.iot.yandex.net)
33 disabled юнита hub-* зафиксировано как «заготовки без запуска» — недоделанная функциональность

📊 Текущий отчёт гигиены

Найдено: 24
high: 1 (hub-yandex-bridge enabled, но не работает)
medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing)
low: 5 (CT с onboot=0)
info: 10 (топ потребителей RAM)

Предложения агента (dry-run):

[L3_domain_auto] retry_search — 17 фильмов без файла

🔍 Расширение гигиены (по запросу владельца)

Сканер переписан в расширяемом виде: 15 проверок вместо 6.

Новая проверка Что ловит
сертификаты Let's Encrypt на хосте и VPS, <21 дня → high
бэкапы свежесть архивов в /var/lib/vz/dump
docker-мусор образы, тома, остановленные контейнеры
логи файлы >200 МБ, размер journal
failed-юниты systemctl --failed
диск CT заполнение >85% внутри контейнеров
права на секреты файлы в /root с доступом группы/всех
swap/PSI давление памяти (индикатор лавины)
cron-пики 8+ задач в одну минуту

🔧 Найдено и исправлено расширенной гигиеной

Находка Что сделал
5 упавших PVE-сервисов: pvestatd, pvescheduler, pve-firewall, docker, containerd причина — pmxcfs был недоступен при загрузке 04.11. Подняты, все active. pvescheduler критичен — он запускает бэкапы
swapfile16.swap failed поднят, swap работает
16 файлов-секретов с правами 644 закрыты до 600, проверка «осталось не 600» — пусто
fail2ban failed поднят, active

Результат: находок стало 19 (было 30), high — 1 (только hub-yandex-bridge).

🔬 Три дополнительные проверки (по запросу владельца)

Проверка Что сделано Результат
Drift-детектор check_compose_drift — обходит все deploy/ct*, запускает check-compose-parity.py, собирает расхождения найдено 5 расхождений: CT110 (2 env), CT113 (2 образа), CT134 (1 образ)
Здоровье бэкапов check_backup_freshness — возраст логов 4 заданий + свежесть vzdump ✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч
hub-yandex-bridge токен api.iot.yandex.net даёт HTTP 400 (недействителен) юнит выключен (disable --now), причина записана в maintenance.yaml, cookie закрыт 600

Исправленный drift:

  • deploy/ct113: grafana/loki:3.2.1 → 3.7.9, grafana/promtail:3.2.1 → 3.5.1
  • deploy/ct134: prom/alertmanager:v0.27.0 → v0.34.1

Остался один drift (CT110): compose содержит env-ключи (OIDC_* для mealie, AUTHENTICATION_GUARD_* для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует docker compose up -d (пересоздание) — не делал без подтверждения, т.к. firefly хранит финансовые данные.

Текущий отчёт: 21 находка (high 1 — drift CT110, medium 9, low 5, info 6).

🔧 CT110: разобрано до причины (по подтверждению владельца)

Попытка docker compose up -d firefly mealie ничего не изменила — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом:

Факт Значение
Live compose на CT110 /opt/lifestyle-lxc/docker-compose.yml — 111 строк, 2 сервиса (firefly, mealie)
Файл в репозитории deploy/ct110/docker-compose.yml — 343 строки (снимок всех контейнеров, сгенерирован docker-to-compose.py)
Compose-проектов в CT110 8: /opt/beszel, /opt/ct110, /opt/dozzle, /opt/lifestyle-lxc, /opt/memos, /opt/monica, /opt/sso-monica, /opt/stirling

То есть CT110 — «мультипроектный»: в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла.

Что сделано:

  1. Снимок deploy/ct110 перегенерирован по живому состоянию: 187 строк, 8 сервисов, 10 секретов → check-compose-parity.py 110 → 0 расхождений.
  2. check_compose_drift разделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT».

Итог: high: 0. В отчёте осталось 21 находка, все medium/low/info.

Следующие шаги

🧠 LLM-узел подключён (Фаза C, часть 1)

192.168.1.229 — мини-ПК Intel Core Ultra 5 125H, 18 потоков, 15 ГиБ DDR5, Ubuntu 24.04.3.

Что Результат
Память swap 4→11 ГБ, swappiness 60→10, journald 500 МБ
Ollama 0.40.14, API :11434, KEEP_ALIVE=-1, NUM_PARALLEL=1, MAX_LOADED=1
Модель qwen2.5:7b (4.7 ГБ)
Скорость 8.2 ток/с (CPU, 18 потоков)
Память при работе 5.7 ГиБ занято, 9.4 ГиБ свободно, swap не тронут
iGPU Intel Arc ❌ не поддерживается этим билдом (Vulkan/iGPU/oneAPI не помогли)
Доступ проверен с Proxmox, ops/scripts/llm_query.py работает
Документация ops/llm/README.md
Гигиена новая проверка check_llm_node (нет узла = high, нет модели = medium)

Коммит: 98845fe.

🧠 RAG-память (Фаза C, часть 2)

Параметр Значение
Документов 741
Чанков 3032
Размер индекса 11.5 МБ
Ошибок индексации 0
Эмбеддинги nomic-embed-text (768), локальный узел
Поиск гибрид: 0.7·косинус + 0.3·ключевые слова
Переиндексация ежедневно 03:40 (rag-reindex)

Проверка: вопрос «что случилось с chronyd» → ответ совпал с реальным исправлением, источники — ops/CHRONYD-SANDBOX-2026-11-04.md.

Коммит: 7ced982.

🧠 Агент развития (Фаза C, часть 3)

ops/scripts/evolution_agent.py — tech-radar отчёт по реестру сервисов.

Метрика Значение
Сервисов в анализе 127
RETIRE-кандидатов 2 (paperless 516 МиБ, n8n 307 МиБ)
Дублей образов 7
Без SSO (sso: direct) 22
Без бэкапа 0
Задание ежедневно 08:10 (evolution-report)

Проверка кандидатов вручную:

  • paperless — истинный кандидат: приложение убрано, остался только oauth2-proxy-paperless (висит зря);
  • n8n — ложный: сервис работает (n8n + прокси), просто у него нет зависимых в графе.

Вывод: отчёт требует человеческой проверки — это заложено в тексте отчёта.

Коммит: e0c36dd.

⚡ Устойчивость к отключению питания (после инцидента 05.11)

Причина падения хоста в 21:40 — отключение электричества (подтверждено владельцем).

Что сделано Результат
onboot: 1 для всех CT было 5 CT без автозапуска (114, 115, 116, 122, 160); теперь все кроме CT160 (maintenance)
pve-ensure-rw.service remount rw до старта pve-cluster (иначе pmxcfs падает)
pve-start-all.service после сети: pve-cluster, 9 служб, swap, все CT, наш стек
Проверка оба юнита запускаются, идемпотентны

Коммит: f5f3586 → ops/boot/.

Требует владельца: в BIOS включить AC Power Loss → Power On, иначе после отключения света сервер не включится сам.

Следующие шаги (когда продолжим)

  1. RAG-индекс по ops/, docs/adr/, runbook'ам — память мозга.
  2. ai-digest → локальная модель (приватность, без лимитов DeepSeek).
  3. Агент развития (tech-radar отчёт) — ночной прогон на локальной модели.
  4. Фаза D: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker).
  5. Фаза E: включение автономии — по накопленной статистике доверия.
  6. 33 disabled-юнита hub-* — решить: внедрять, консервировать или удалять.
  7. hub-yandex-bridge: восстановить после нового OAuth-токена Яндекса.