Files
buryan-infra/ops/SPRINT-V1-PROGRESS.md
T

9.6 KiB
Raw Blame History

SPRINT V1 — журнал прогресса

05.11.2026 · Фазы A и B (первый заход)

✅ Фаза A — фундамент

Артефакт Что Коммит
ops/scripts/build_topology.py сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог bfe74c4
ops/topology/topology.json 294 узла, 290 рёбер (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) bfe74c4
ops/scripts/topo_query.py запросы: blast (что пострадает), deps, hubs, find bfe74c4
ops/topology/ledger.md лёджер: 166 контейнеров, RAM/CPU/порты/образы bfe74c4
ops/hermes/policy.yaml 9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run bfe74c4
ops/hermes/guards.py предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch 2d0523c

Проверено:

  • guards.py selftest → все 4 предохранителя работают;
  • blast radius: ct114 (Authentik) → 13 зависимых узлов;
  • «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10).

✅ Фаза B — мышцы и гигиена

Артефакт Что Коммит
ops/scripts/hygiene_scan.py скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск 2d0523c
ops/hermes/actions.py 8 действий с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service 15287eb
ops/hermes/maintenance.yaml исключения (CT160 llm-lxc — намеренно остановлен) 15287eb
ops/scripts/hygiene_notify.py сводка гигиены в Matrix (комната INFRA) 15287eb
/opt/hermes/jobs.yaml задание hygiene-scan ежедневно 07:20 2d0523c

Проверено:

  • задание отработало end-to-end: event: done, отчёт сгенерирован;
  • предохранитель заблокировал дублирующий запуск (single-flight);
  • dry-run: действия логируются как «would do», реальных изменений нет;
  • сводка ушла в Matrix: HTTP 200.

🔧 Найдено и исправлено по ходу

Находка Действие
Jackett дублировался в CT119 и CT124 удалён мой экземпляр из CT119, штатный CT124 оставлен
CT160 (llm-lxc) — пустой резерв 4 ГБ остановлен (LLM переехал на мини-ПК), внесён в maintenance
hub-yandex-bridge — enabled, но inactive зафиксировано в отчёте, причина: ошибки API Яндекс (api.iot.yandex.net)
33 disabled юнита hub-* зафиксировано как «заготовки без запуска» — недоделанная функциональность

📊 Текущий отчёт гигиены

Найдено: 24
high: 1 (hub-yandex-bridge enabled, но не работает)
medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing)
low: 5 (CT с onboot=0)
info: 10 (топ потребителей RAM)

Предложения агента (dry-run):

[L3_domain_auto] retry_search — 17 фильмов без файла

🔍 Расширение гигиены (по запросу владельца)

Сканер переписан в расширяемом виде: 15 проверок вместо 6.

Новая проверка Что ловит
сертификаты Let's Encrypt на хосте и VPS, <21 дня → high
бэкапы свежесть архивов в /var/lib/vz/dump
docker-мусор образы, тома, остановленные контейнеры
логи файлы >200 МБ, размер journal
failed-юниты systemctl --failed
диск CT заполнение >85% внутри контейнеров
права на секреты файлы в /root с доступом группы/всех
swap/PSI давление памяти (индикатор лавины)
cron-пики 8+ задач в одну минуту

🔧 Найдено и исправлено расширенной гигиеной

Находка Что сделал
5 упавших PVE-сервисов: pvestatd, pvescheduler, pve-firewall, docker, containerd причина — pmxcfs был недоступен при загрузке 04.11. Подняты, все active. pvescheduler критичен — он запускает бэкапы
swapfile16.swap failed поднят, swap работает
16 файлов-секретов с правами 644 закрыты до 600, проверка «осталось не 600» — пусто
fail2ban failed поднят, active

Результат: находок стало 19 (было 30), high — 1 (только hub-yandex-bridge).

🔬 Три дополнительные проверки (по запросу владельца)

Проверка Что сделано Результат
Drift-детектор check_compose_drift — обходит все deploy/ct*, запускает check-compose-parity.py, собирает расхождения найдено 5 расхождений: CT110 (2 env), CT113 (2 образа), CT134 (1 образ)
Здоровье бэкапов check_backup_freshness — возраст логов 4 заданий + свежесть vzdump ✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч
hub-yandex-bridge токен api.iot.yandex.net даёт HTTP 400 (недействителен) юнит выключен (disable --now), причина записана в maintenance.yaml, cookie закрыт 600

Исправленный drift:

  • deploy/ct113: grafana/loki:3.2.1 → 3.7.9, grafana/promtail:3.2.1 → 3.5.1
  • deploy/ct134: prom/alertmanager:v0.27.0 → v0.34.1

Остался один drift (CT110): compose содержит env-ключи (OIDC_* для mealie, AUTHENTICATION_GUARD_* для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует docker compose up -d (пересоздание) — не делал без подтверждения, т.к. firefly хранит финансовые данные.

Текущий отчёт: 21 находка (high 1 — drift CT110, medium 9, low 5, info 6).

🔧 CT110: разобрано до причины (по подтверждению владельца)

Попытка docker compose up -d firefly mealie ничего не изменила — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом:

Факт Значение
Live compose на CT110 /opt/lifestyle-lxc/docker-compose.yml — 111 строк, 2 сервиса (firefly, mealie)
Файл в репозитории deploy/ct110/docker-compose.yml — 343 строки (снимок всех контейнеров, сгенерирован docker-to-compose.py)
Compose-проектов в CT110 8: /opt/beszel, /opt/ct110, /opt/dozzle, /opt/lifestyle-lxc, /opt/memos, /opt/monica, /opt/sso-monica, /opt/stirling

То есть CT110 — «мультипроектный»: в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла.

Что сделано:

  1. Снимок deploy/ct110 перегенерирован по живому состоянию: 187 строк, 8 сервисов, 10 секретов → check-compose-parity.py 110 → 0 расхождений.
  2. check_compose_drift разделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT».

Итог: high: 0. В отчёте осталось 21 находка, все medium/low/info.

Следующие шаги

  1. Фаза C: подключение LLM-узла (ждём мини-ПК), память/RAG, агент развития.
  2. Фаза D: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker).
  3. Фаза E: включение автономии — по мере накопления статистики доверия.
  4. 33 disabled-юнита hub-* — решить: внедрять, консервировать или удалять.
  5. hub-yandex-bridge: восстановить можно после получения нового OAuth-токена Яндекса.