Files
buryan-infra/ops/SPRINT-V1-PROGRESS.md
T

203 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# SPRINT V1 — журнал прогресса
## 05.11.2026 · Фазы A и B (первый заход)
### ✅ Фаза A — фундамент
| Артефакт | Что | Коммит |
|---|---|---|
| `ops/scripts/build_topology.py` | сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог | `bfe74c4` |
| `ops/topology/topology.json` | **294 узла, 290 рёбер** (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) | `bfe74c4` |
| `ops/scripts/topo_query.py` | запросы: `blast` (что пострадает), `deps`, `hubs`, `find` | `bfe74c4` |
| `ops/topology/ledger.md` | лёджер: 166 контейнеров, RAM/CPU/порты/образы | `bfe74c4` |
| `ops/hermes/policy.yaml` | 9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run | `bfe74c4` |
| `ops/hermes/guards.py` | предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch | `2d0523c` |
**Проверено:**
- `guards.py selftest` → все 4 предохранителя работают;
- blast radius: `ct114 (Authentik)` → 13 зависимых узлов;
- «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10).
### ✅ Фаза B — мышцы и гигиена
| Артефакт | Что | Коммит |
|---|---|---|
| `ops/scripts/hygiene_scan.py` | скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск | `2d0523c` |
| `ops/hermes/actions.py` | **8 действий** с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service | `15287eb` |
| `ops/hermes/maintenance.yaml` | исключения (CT160 llm-lxc — намеренно остановлен) | `15287eb` |
| `ops/scripts/hygiene_notify.py` | сводка гигиены в Matrix (комната INFRA) | `15287eb` |
| `/opt/hermes/jobs.yaml` | задание `hygiene-scan` ежедневно 07:20 | `2d0523c` |
**Проверено:**
- задание отработало end-to-end: `event: done`, отчёт сгенерирован;
- предохранитель заблокировал дублирующий запуск (`single-flight`);
- dry-run: действия логируются как «would do», реальных изменений нет;
- сводка ушла в Matrix: HTTP 200.
### 🔧 Найдено и исправлено по ходу
| Находка | Действие |
|---|---|
| Jackett дублировался в CT119 и CT124 | удалён мой экземпляр из CT119, штатный CT124 оставлен |
| CT160 (llm-lxc) — пустой резерв 4 ГБ | остановлен (LLM переехал на мини-ПК), внесён в maintenance |
| `hub-yandex-bridge` — enabled, но inactive | зафиксировано в отчёте, причина: ошибки API Яндекс (`api.iot.yandex.net`) |
| **33 disabled юнита `hub-*`** | зафиксировано как «заготовки без запуска» — недоделанная функциональность |
### 📊 Текущий отчёт гигиены
```
Найдено: 24
high: 1 (hub-yandex-bridge enabled, но не работает)
medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing)
low: 5 (CT с onboot=0)
info: 10 (топ потребителей RAM)
```
Предложения агента (dry-run):
```
[L3_domain_auto] retry_search — 17 фильмов без файла
```
### 🔍 Расширение гигиены (по запросу владельца)
Сканер переписан в расширяемом виде: **15 проверок** вместо 6.
| Новая проверка | Что ловит |
|---|---|
| сертификаты | Let's Encrypt на хосте и VPS, <21 дня → high |
| бэкапы | свежесть архивов в `/var/lib/vz/dump` |
| docker-мусор | образы, тома, остановленные контейнеры |
| логи | файлы >200 МБ, размер journal |
| **failed-юниты** | `systemctl --failed` |
| диск CT | заполнение >85% внутри контейнеров |
| **права на секреты** | файлы в `/root` с доступом группы/всех |
| swap/PSI | давление памяти (индикатор лавины) |
| cron-пики | 8+ задач в одну минуту |
### 🔧 Найдено и исправлено расширенной гигиеной
| Находка | Что сделал |
|---|---|
| **5 упавших PVE-сервисов**: `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd` | причина — `pmxcfs` был недоступен при загрузке 04.11. Подняты, все active. **pvescheduler** критичен — он запускает бэкапы |
| `swapfile16.swap` failed | поднят, swap работает |
| **16 файлов-секретов с правами 644** | закрыты до 600, проверка «осталось не 600» — пусто |
| `fail2ban` failed | поднят, active |
**Результат:** находок стало **19** (было 30), high — **1** (только `hub-yandex-bridge`).
### 🔬 Три дополнительные проверки (по запросу владельца)
| Проверка | Что сделано | Результат |
|---|---|---|
| **Drift-детектор** | `check_compose_drift` — обходит все `deploy/ct*`, запускает `check-compose-parity.py`, собирает расхождения | найдено **5 расхождений**: CT110 (2 env), CT113 (2 образа), CT134 (1 образ) |
| **Здоровье бэкапов** | `check_backup_freshness` — возраст логов 4 заданий + свежесть vzdump | ✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч |
| **`hub-yandex-bridge`** | токен `api.iot.yandex.net` даёт **HTTP 400** (недействителен) | юнит **выключен** (`disable --now`), причина записана в `maintenance.yaml`, cookie закрыт 600 |
**Исправленный drift:**
- `deploy/ct113`: `grafana/loki:3.2.1 → 3.7.9`, `grafana/promtail:3.2.1 → 3.5.1`
- `deploy/ct134`: `prom/alertmanager:v0.27.0 → v0.34.1`
**Остался один drift (CT110):** compose содержит env-ключи (`OIDC_*` для mealie, `AUTHENTICATION_GUARD_*` для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует `docker compose up -d` (пересоздание) — **не делал без подтверждения**, т.к. firefly хранит финансовые данные.
**Текущий отчёт: 21 находка** (high 1 — drift CT110, medium 9, low 5, info 6).
### 🔧 CT110: разобрано до причины (по подтверждению владельца)
Попытка `docker compose up -d firefly mealie` **ничего не изменила** — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом:
| Факт | Значение |
|---|---|
| Live compose на CT110 | `/opt/lifestyle-lxc/docker-compose.yml` — **111 строк, 2 сервиса** (firefly, mealie) |
| Файл в репозитории | `deploy/ct110/docker-compose.yml` — **343 строки** (снимок всех контейнеров, сгенерирован `docker-to-compose.py`) |
| Compose-проектов в CT110 | **8**: `/opt/beszel`, `/opt/ct110`, `/opt/dozzle`, `/opt/lifestyle-lxc`, `/opt/memos`, `/opt/monica`, `/opt/sso-monica`, `/opt/stirling` |
**То есть CT110 — «мультипроектный»:** в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла.
**Что сделано:**
1. Снимок `deploy/ct110` **перегенерирован по живому состоянию**: 187 строк, 8 сервисов, 10 секретов → `check-compose-parity.py 110` → **0 расхождений**.
2. `check_compose_drift` разделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT».
**Итог:** `high: 0`. В отчёте осталось 21 находка, все medium/low/info.
### Следующие шаги
### 🧠 LLM-узел подключён (Фаза C, часть 1)
**192.168.1.229** — мини-ПК Intel Core Ultra 5 125H, 18 потоков, 15 ГиБ DDR5, Ubuntu 24.04.3.
| Что | Результат |
|---|---|
| Память | swap 4→**11 ГБ**, `swappiness` 60→**10**, journald 500 МБ |
| Ollama | 0.40.14, API `:11434`, `KEEP_ALIVE=-1`, `NUM_PARALLEL=1`, `MAX_LOADED=1` |
| Модель | **qwen2.5:7b** (4.7 ГБ) |
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно, swap не тронут |
| iGPU Intel Arc | ❌ не поддерживается этим билдом (Vulkan/iGPU/oneAPI не помогли) |
| Доступ | проверен с Proxmox, `ops/scripts/llm_query.py` работает |
| Документация | `ops/llm/README.md` |
| Гигиена | новая проверка `check_llm_node` (нет узла = high, нет модели = medium) |
Коммит: `98845fe`.
### 🧠 RAG-память (Фаза C, часть 2)
| Параметр | Значение |
|---|---|
| Документов | **741** |
| Чанков | **3032** |
| Размер индекса | 11.5 МБ |
| Ошибок индексации | 0 |
| Эмбеддинги | nomic-embed-text (768), локальный узел |
| Поиск | гибрид: 0.7·косинус + 0.3·ключевые слова |
| Переиндексация | ежедневно 03:40 (`rag-reindex`) |
**Проверка:** вопрос «что случилось с chronyd» → ответ совпал с реальным исправлением, источники — `ops/CHRONYD-SANDBOX-2026-11-04.md`.
Коммит: `7ced982`.
### 🧠 Агент развития (Фаза C, часть 3)
`ops/scripts/evolution_agent.py` — tech-radar отчёт по реестру сервисов.
| Метрика | Значение |
|---|---|
| Сервисов в анализе | 127 |
| RETIRE-кандидатов | 2 (`paperless` 516 МиБ, `n8n` 307 МиБ) |
| Дублей образов | 7 |
| Без SSO (`sso: direct`) | 22 |
| Без бэкапа | 0 |
| Задание | ежедневно 08:10 (`evolution-report`) |
**Проверка кандидатов вручную:**
- `paperless` — **истинный кандидат**: приложение убрано, остался только `oauth2-proxy-paperless` (висит зря);
- `n8n` — **ложный**: сервис работает (n8n + прокси), просто у него нет зависимых в графе.
Вывод: отчёт требует человеческой проверки — это заложено в тексте отчёта.
Коммит: `e0c36dd`.
### ⚡ Устойчивость к отключению питания (после инцидента 05.11)
Причина падения хоста в 21:40 — **отключение электричества** (подтверждено владельцем).
| Что сделано | Результат |
|---|---|
| `onboot: 1` для всех CT | было 5 CT без автозапуска (114, 115, 116, 122, 160); теперь все кроме CT160 (maintenance) |
| `pve-ensure-rw.service` | remount rw **до** старта pve-cluster (иначе pmxcfs падает) |
| `pve-start-all.service` | после сети: pve-cluster, 9 служб, swap, все CT, наш стек |
| Проверка | оба юнита запускаются, идемпотентны |
Коммит: `f5f3586` → `ops/boot/`.
**Требует владельца:** в BIOS включить `AC Power Loss → Power On`, иначе после отключения света сервер не включится сам.
### Следующие шаги (когда продолжим)
1. **RAG-индекс** по `ops/`, `docs/adr/`, runbook'ам — память мозга.
2. **`ai-digest` → локальная модель** (приватность, без лимитов DeepSeek).
3. **Агент развития** (tech-radar отчёт) — ночной прогон на локальной модели.
4. **Фаза D**: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker).
5. **Фаза E**: включение автономии — по накопленной статистике доверия.
6. **33 disabled-юнита** `hub-*` — решить: внедрять, консервировать или удалять.
7. **`hub-yandex-bridge`**: восстановить после нового OAuth-токена Яндекса.