203 lines
14 KiB
Markdown
203 lines
14 KiB
Markdown
# SPRINT V1 — журнал прогресса
|
||
|
||
## 05.11.2026 · Фазы A и B (первый заход)
|
||
|
||
### ✅ Фаза A — фундамент
|
||
|
||
| Артефакт | Что | Коммит |
|
||
|---|---|---|
|
||
| `ops/scripts/build_topology.py` | сборка графа зависимостей: CT, docker, порты, nginx, *arr, каталог | `bfe74c4` |
|
||
| `ops/topology/topology.json` | **294 узла, 290 рёбер** (5 типов: proxy_pass, download_client, indexer_sync, runs_on, same_service) | `bfe74c4` |
|
||
| `ops/scripts/topo_query.py` | запросы: `blast` (что пострадает), `deps`, `hubs`, `find` | `bfe74c4` |
|
||
| `ops/topology/ledger.md` | лёджер: 166 контейнеров, RAM/CPU/порты/образы | `bfe74c4` |
|
||
| `ops/hermes/policy.yaml` | 9 правил, 6 уровней автономии, бюджет 20/ч, kill-switch, dry-run | `bfe74c4` |
|
||
| `ops/hermes/guards.py` | предохранители: single-flight, cooldown, circuit breaker, budget, kill-switch | `2d0523c` |
|
||
|
||
**Проверено:**
|
||
- `guards.py selftest` → все 4 предохранителя работают;
|
||
- blast radius: `ct114 (Authentik)` → 13 зависимых узлов;
|
||
- «самые нагруженные»: ct110 (23), ct103 (15), ct111 (14), ct134 (10).
|
||
|
||
### ✅ Фаза B — мышцы и гигиена
|
||
|
||
| Артефакт | Что | Коммит |
|
||
|---|---|---|
|
||
| `ops/scripts/hygiene_scan.py` | скан: дубли образов, осиротевшие/disabled юниты, onboot=0, RAM-топ, слепые зоны мониторинга, диск | `2d0523c` |
|
||
| `ops/hermes/actions.py` | **8 действий** с dry-run: pct_start, docker_start, restart_exporter, rotate_logs, rescan_movies, retry_search, qb_resume, ha_call_service | `15287eb` |
|
||
| `ops/hermes/maintenance.yaml` | исключения (CT160 llm-lxc — намеренно остановлен) | `15287eb` |
|
||
| `ops/scripts/hygiene_notify.py` | сводка гигиены в Matrix (комната INFRA) | `15287eb` |
|
||
| `/opt/hermes/jobs.yaml` | задание `hygiene-scan` ежедневно 07:20 | `2d0523c` |
|
||
|
||
**Проверено:**
|
||
- задание отработало end-to-end: `event: done`, отчёт сгенерирован;
|
||
- предохранитель заблокировал дублирующий запуск (`single-flight`);
|
||
- dry-run: действия логируются как «would do», реальных изменений нет;
|
||
- сводка ушла в Matrix: HTTP 200.
|
||
|
||
### 🔧 Найдено и исправлено по ходу
|
||
|
||
| Находка | Действие |
|
||
|---|---|
|
||
| Jackett дублировался в CT119 и CT124 | удалён мой экземпляр из CT119, штатный CT124 оставлен |
|
||
| CT160 (llm-lxc) — пустой резерв 4 ГБ | остановлен (LLM переехал на мини-ПК), внесён в maintenance |
|
||
| `hub-yandex-bridge` — enabled, но inactive | зафиксировано в отчёте, причина: ошибки API Яндекс (`api.iot.yandex.net`) |
|
||
| **33 disabled юнита `hub-*`** | зафиксировано как «заготовки без запуска» — недоделанная функциональность |
|
||
|
||
### 📊 Текущий отчёт гигиены
|
||
|
||
```
|
||
Найдено: 24
|
||
high: 1 (hub-yandex-bridge enabled, но не работает)
|
||
medium: 8 (инфраструктурные дубли: redis, postgres, nginx, mariadb, mosquitto, syncthing)
|
||
low: 5 (CT с onboot=0)
|
||
info: 10 (топ потребителей RAM)
|
||
```
|
||
|
||
Предложения агента (dry-run):
|
||
```
|
||
[L3_domain_auto] retry_search — 17 фильмов без файла
|
||
```
|
||
|
||
### 🔍 Расширение гигиены (по запросу владельца)
|
||
|
||
Сканер переписан в расширяемом виде: **15 проверок** вместо 6.
|
||
|
||
| Новая проверка | Что ловит |
|
||
|---|---|
|
||
| сертификаты | Let's Encrypt на хосте и VPS, <21 дня → high |
|
||
| бэкапы | свежесть архивов в `/var/lib/vz/dump` |
|
||
| docker-мусор | образы, тома, остановленные контейнеры |
|
||
| логи | файлы >200 МБ, размер journal |
|
||
| **failed-юниты** | `systemctl --failed` |
|
||
| диск CT | заполнение >85% внутри контейнеров |
|
||
| **права на секреты** | файлы в `/root` с доступом группы/всех |
|
||
| swap/PSI | давление памяти (индикатор лавины) |
|
||
| cron-пики | 8+ задач в одну минуту |
|
||
|
||
### 🔧 Найдено и исправлено расширенной гигиеной
|
||
|
||
| Находка | Что сделал |
|
||
|---|---|
|
||
| **5 упавших PVE-сервисов**: `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd` | причина — `pmxcfs` был недоступен при загрузке 04.11. Подняты, все active. **pvescheduler** критичен — он запускает бэкапы |
|
||
| `swapfile16.swap` failed | поднят, swap работает |
|
||
| **16 файлов-секретов с правами 644** | закрыты до 600, проверка «осталось не 600» — пусто |
|
||
| `fail2ban` failed | поднят, active |
|
||
|
||
**Результат:** находок стало **19** (было 30), high — **1** (только `hub-yandex-bridge`).
|
||
|
||
### 🔬 Три дополнительные проверки (по запросу владельца)
|
||
|
||
| Проверка | Что сделано | Результат |
|
||
|---|---|---|
|
||
| **Drift-детектор** | `check_compose_drift` — обходит все `deploy/ct*`, запускает `check-compose-parity.py`, собирает расхождения | найдено **5 расхождений**: CT110 (2 env), CT113 (2 образа), CT134 (1 образ) |
|
||
| **Здоровье бэкапов** | `check_backup_freshness` — возраст логов 4 заданий + свежесть vzdump | ✅ postgres 17.8ч, matrix 16.8ч, infra-ops 16.3ч, offsite 15.7ч, vzdump 15.8ч |
|
||
| **`hub-yandex-bridge`** | токен `api.iot.yandex.net` даёт **HTTP 400** (недействителен) | юнит **выключен** (`disable --now`), причина записана в `maintenance.yaml`, cookie закрыт 600 |
|
||
|
||
**Исправленный drift:**
|
||
- `deploy/ct113`: `grafana/loki:3.2.1 → 3.7.9`, `grafana/promtail:3.2.1 → 3.5.1`
|
||
- `deploy/ct134`: `prom/alertmanager:v0.27.0 → v0.34.1`
|
||
|
||
**Остался один drift (CT110):** compose содержит env-ключи (`OIDC_*` для mealie, `AUTHENTICATION_GUARD_*` для firefly), которых нет в живых контейнерах → контейнеры созданы до добавления переменных. Требует `docker compose up -d` (пересоздание) — **не делал без подтверждения**, т.к. firefly хранит финансовые данные.
|
||
|
||
**Текущий отчёт: 21 находка** (high 1 — drift CT110, medium 9, low 5, info 6).
|
||
|
||
### 🔧 CT110: разобрано до причины (по подтверждению владельца)
|
||
|
||
Попытка `docker compose up -d firefly mealie` **ничего не изменила** — контейнеры ответили «Running», т.е. уже соответствовали своему compose-файлу. Причина расхождения оказалась в другом:
|
||
|
||
| Факт | Значение |
|
||
|---|---|
|
||
| Live compose на CT110 | `/opt/lifestyle-lxc/docker-compose.yml` — **111 строк, 2 сервиса** (firefly, mealie) |
|
||
| Файл в репозитории | `deploy/ct110/docker-compose.yml` — **343 строки** (снимок всех контейнеров, сгенерирован `docker-to-compose.py`) |
|
||
| Compose-проектов в CT110 | **8**: `/opt/beszel`, `/opt/ct110`, `/opt/dozzle`, `/opt/lifestyle-lxc`, `/opt/memos`, `/opt/monica`, `/opt/sso-monica`, `/opt/stirling` |
|
||
|
||
**То есть CT110 — «мультипроектный»:** в нём 8 отдельных compose-проектов, а в git лежал один сгенерированный снимок. Сравнение «файл vs файл» не имело смысла.
|
||
|
||
**Что сделано:**
|
||
1. Снимок `deploy/ct110` **перегенерирован по живому состоянию**: 187 строк, 8 сервисов, 10 секретов → `check-compose-parity.py 110` → **0 расхождений**.
|
||
2. `check_compose_drift` разделён на два вида: (а) контейнер ≠ compose, (б) файл на CT ≠ файл в git. Для мультипроектных CT сравнение файлов не делается — выводится info «мультипроектный CT».
|
||
|
||
**Итог:** `high: 0`. В отчёте осталось 21 находка, все medium/low/info.
|
||
|
||
### Следующие шаги
|
||
|
||
### 🧠 LLM-узел подключён (Фаза C, часть 1)
|
||
|
||
**192.168.1.229** — мини-ПК Intel Core Ultra 5 125H, 18 потоков, 15 ГиБ DDR5, Ubuntu 24.04.3.
|
||
|
||
| Что | Результат |
|
||
|---|---|
|
||
| Память | swap 4→**11 ГБ**, `swappiness` 60→**10**, journald 500 МБ |
|
||
| Ollama | 0.40.14, API `:11434`, `KEEP_ALIVE=-1`, `NUM_PARALLEL=1`, `MAX_LOADED=1` |
|
||
| Модель | **qwen2.5:7b** (4.7 ГБ) |
|
||
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
|
||
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно, swap не тронут |
|
||
| iGPU Intel Arc | ❌ не поддерживается этим билдом (Vulkan/iGPU/oneAPI не помогли) |
|
||
| Доступ | проверен с Proxmox, `ops/scripts/llm_query.py` работает |
|
||
| Документация | `ops/llm/README.md` |
|
||
| Гигиена | новая проверка `check_llm_node` (нет узла = high, нет модели = medium) |
|
||
|
||
Коммит: `98845fe`.
|
||
|
||
### 🧠 RAG-память (Фаза C, часть 2)
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| Документов | **741** |
|
||
| Чанков | **3032** |
|
||
| Размер индекса | 11.5 МБ |
|
||
| Ошибок индексации | 0 |
|
||
| Эмбеддинги | nomic-embed-text (768), локальный узел |
|
||
| Поиск | гибрид: 0.7·косинус + 0.3·ключевые слова |
|
||
| Переиндексация | ежедневно 03:40 (`rag-reindex`) |
|
||
|
||
**Проверка:** вопрос «что случилось с chronyd» → ответ совпал с реальным исправлением, источники — `ops/CHRONYD-SANDBOX-2026-11-04.md`.
|
||
|
||
Коммит: `7ced982`.
|
||
|
||
### 🧠 Агент развития (Фаза C, часть 3)
|
||
|
||
`ops/scripts/evolution_agent.py` — tech-radar отчёт по реестру сервисов.
|
||
|
||
| Метрика | Значение |
|
||
|---|---|
|
||
| Сервисов в анализе | 127 |
|
||
| RETIRE-кандидатов | 2 (`paperless` 516 МиБ, `n8n` 307 МиБ) |
|
||
| Дублей образов | 7 |
|
||
| Без SSO (`sso: direct`) | 22 |
|
||
| Без бэкапа | 0 |
|
||
| Задание | ежедневно 08:10 (`evolution-report`) |
|
||
|
||
**Проверка кандидатов вручную:**
|
||
- `paperless` — **истинный кандидат**: приложение убрано, остался только `oauth2-proxy-paperless` (висит зря);
|
||
- `n8n` — **ложный**: сервис работает (n8n + прокси), просто у него нет зависимых в графе.
|
||
|
||
Вывод: отчёт требует человеческой проверки — это заложено в тексте отчёта.
|
||
|
||
Коммит: `e0c36dd`.
|
||
|
||
### ⚡ Устойчивость к отключению питания (после инцидента 05.11)
|
||
|
||
Причина падения хоста в 21:40 — **отключение электричества** (подтверждено владельцем).
|
||
|
||
| Что сделано | Результат |
|
||
|---|---|
|
||
| `onboot: 1` для всех CT | было 5 CT без автозапуска (114, 115, 116, 122, 160); теперь все кроме CT160 (maintenance) |
|
||
| `pve-ensure-rw.service` | remount rw **до** старта pve-cluster (иначе pmxcfs падает) |
|
||
| `pve-start-all.service` | после сети: pve-cluster, 9 служб, swap, все CT, наш стек |
|
||
| Проверка | оба юнита запускаются, идемпотентны |
|
||
|
||
Коммит: `f5f3586` → `ops/boot/`.
|
||
|
||
**Требует владельца:** в BIOS включить `AC Power Loss → Power On`, иначе после отключения света сервер не включится сам.
|
||
|
||
### Следующие шаги (когда продолжим)
|
||
|
||
1. **RAG-индекс** по `ops/`, `docs/adr/`, runbook'ам — память мозга.
|
||
2. **`ai-digest` → локальная модель** (приватность, без лимитов DeepSeek).
|
||
3. **Агент развития** (tech-radar отчёт) — ночной прогон на локальной модели.
|
||
4. **Фаза D**: контент-движок (нужен источник с сидами — debrid или аккаунт RuTracker).
|
||
5. **Фаза E**: включение автономии — по накопленной статистике доверия.
|
||
6. **33 disabled-юнита** `hub-*` — решить: внедрять, консервировать или удалять.
|
||
7. **`hub-yandex-bridge`**: восстановить после нового OAuth-токена Яндекса.
|