diff --git a/ops/FINAL-SUMMARY-2026-11-04.md b/ops/FINAL-SUMMARY-2026-11-04.md new file mode 100644 index 0000000..d75d6be --- /dev/null +++ b/ops/FINAL-SUMMARY-2026-11-04.md @@ -0,0 +1,176 @@ +# Итог спринта Buryans Hub — 04.11.2026 + +Все утверждения проверены командами; выводы приведены рядом. Что не сделано — отмечено прямо. + +--- + +## 1. Состояние инфраструктуры на конец дня + +``` +uptime: 2ч 33м (после перезагрузки) +load average: 1.11 (на пике аварии было 3908) +D-процессов: 0 (было 1385) +память: 10 ГБ занято, 4.6 ГБ доступно +контейнеры: 33 из 33 running (llm-lxc остановлен намеренно) +``` + +**Все ключевые сервисы отвечают:** + +| Сервис | Порт | Статус | +|---|---|---| +| Jellyfin | 103:8096 | OK | +| Home Assistant | 106:8123 | OK | +| Sonarr | 117:8989 | OK | +| Radarr | 118:7878 | OK | +| Prowlarr | 119:9696 | OK | +| Gitea | 140:3000 | OK | +| Authentik | 114:9000 | OK | +| Matrix | 155:8008 | OK | +| qBittorrent | 123:8085 | OK | + +**Сервисы хоста:** `hub-core` active (status.json 200, 11 114 байт), `hermes` active, `hub-secretary-ai` active, `hub-media-hook` active, `telegram-userbot` active, `nginx` active, `pve-cluster` active. + +--- + +## 2. Инцидент 04.11 (главное событие дня) + +### Что произошло +Хост ушёл в самоподдерживающуюся перегрузку: load **3908**, **7 578 процессов**, **1 385 в D-состоянии**, память 14/15 ГБ, swap 22 ГБ. + +### Причины (по диагностике) +1. `hub-core` не мог подключиться к PostgreSQL (`192.168.1.151:5432`) → цикл перезапусков. +2. Каждая попытка порождала зависшие `pct exec`/psql-процессы (31 шт., все в D). +3. Docker-healthcheck — **1 438 процессов**, 4 071 поток docker → нагрузка на `dm-thin`. +4. **FlareSolverr** (Chrome, +1–2 ГБ), установленный мной, усугубил memory pressure. +5. Диск стал узким местом → iowait → лавина. + +### Что проверено и исключено +- SMART `sda` — **PASSED**, `nvme0n1` — **PASSED** (железо цело). +- thin-pool: данные 62 %, метаданные 2.81 % (места достаточно). +- Корень `/`: 29 % (места достаточно). +- Ошибок I/O в журнале нет. + +### Восстановление +1. `hub-core` остановлен, авторестарт отключён (drop-in `Restart=no`). +2. CT119 (Prowlarr + FlareSolverr) остановлен — не помогло. +3. **`reboot -f`** (штатный `reboot` не срабатывал из-за зависшего systemd). +4. После перезагрузки корень смонтировался **read-only** (`fsck.mode=force`) → `pmxcfs` падал → `/etc/pve` недоступен. +5. `mount -o remount,rw /` + `systemctl reset-failed pve-cluster && start` → восстановлено. +6. Подняты все контейнеры вручную (33 из 33). +7. **FlareSolverr удалён** из CT119. + +Задача владельцу записана: `TASK-INCIDENT-2026-11-04.md`, коммит `34a55fb`. + +--- + +## 3. Что сделано по задачам спринта + +### 3.1 Медиа и русский контент + +| Что | Результат | +|---|---| +| Причина английской библиотеки | `ffprobe`: дорожки `eng`, `spa`, `tur`, `und` — русских нет | +| Custom Format «Russian Audio» | создан в Radarr и Sonarr | +| Язык профилей | `Any` / `Unknown` (жёсткий `Russian` отклонял всё с ошибкой «Russian is wanted, but found English») | +| YTS (источник английского) | отключён | +| RuTor в Radarr | подключён, категории 8000/100003 | +| Автообновление | 6/6 профилей `upgradeAllowed=true`, ISO запрещён | +| Лимит загрузок qBittorrent | поднят с 3 до 10 (был простой в очереди) | +| Скачивание | 13 торрентов, 9 активных, но **0 завершённых** — мало сидов на RuTor | +| Cardigann-определение RuTracker | **установлено** в Prowlarr (`rutracker-org-movies.yml`, 126 КБ), Prowlarr его видит | +| Добавление RuTracker | **не удалось**: Cloudflare отдаёт **403** на `/login.php` со всех путей (напрямую, SOCKS, HTTP-прокси) | +| FlareSolverr | установлен и **удалён** — стал причиной аварии | + +**Не закрыто:** русский контент фактически не скачивается — нужен источник с сидами (RuTracker с аккаунтом либо Telegram-каналы с кино). + +### 3.2 Hermes + DeepSeek + +| Что | Результат | +|---|---| +| Заданий в `jobs.yaml` | **13** (было 11) | +| `ai-digest` (раз в час) | работает, ответ DeepSeek осмысленный | +| `media-digest` (09:30) | работает, сводка доставлена в Matrix | +| Доставка в Matrix | подтверждена `event_id` | +| Почта | отключена (порты 25/587/465 закрыты дома и на VPS) | + +**Находка и проверка:** DeepSeek предположил «корень в read-only» — опровергнуто фактами; настоящая причина — `ProtectSystem=strict` без `/var/lib/chrony`. Исправлено drop-in'ом, ошибка исчезла (`ops/CHRONYD-SANDBOX-2026-11-04.md`, коммит `e562027`). + +### 3.3 Секретарь 2.0 (Matrix + DeepSeek + инструменты) + +`/opt/hub-bots/secretary_ai.py`, сервис `hub-secretary-ai` active. + +| Проверка | Результат | +|---|---| +| «что с кондиционером» | «Royal Clima сейчас выключен» — реальные данные HA | +| «какие автоматизации есть» | список 6 автоматизаций | +| «скачай фильм Inception» | «Готово: добавлен в Radarr, идёт поиск» | +| «какая температура в спальне» | просит `entity_id`, не выдумывает | + +Исправлена ловушка: `rootFolderPath` был `/media/movies`, правильный — `/data/movies` (берётся из API). + +### 3.4 Telegram userbot (книги + контент) + +`/opt/hub-core/userbot_service.py`, `telegram-userbot` active, порт 9122. + +| Проверка | Результат | +|---|---| +| `/health` | `{"ok": true}` | +| `/files?q=Стругацкий&kind=book` | 200, найдено 1 | +| `/files?q=фильм&kind=video` | 200, найдено 2 (MP4) | + +Переписан целиком (не патч), `py_compile` до рестарта, бэкап `userbot_service.py.bak-pre-content`. +**Ограничение:** в подключённых каналах видео нет — нужны каналы с кино. + +### 3.5 Дом: фото комнат и карточка + +| Что | Результат | +|---|---| +| Фото в HA | **31 файл**, `/local/house3d/photos/…` → HTTP 200 | +| Карточка комнат | `PHOTO_MAP`, превью в плитке, полоса фото в деталях | +| Ресурс | `rooms-card.js?v=29895723`, `success: True` | +| Оговорка | `node --check` не выполнялся (node нет в контуре), проверены баланс скобок и отдача файла | + +### 3.6 Сценарии автоматизации + +| Сценарий | Проверка | +|---|---| +| «скачался фильм → Matrix» | вебхук 9131, 4 теста доставлены (`ok`) | +| «апгрейд на русскую версию → Matrix» | `onUpgrade` включён | +| «сводка медиатеки 09:30» | отправлена, HTTP 200 | + +### 3.7 SSO — откатено по требованию владельца + +- Была массовая правка (33 домена) → сломала доступы. +- **Откат выполнен полностью:** nginx восстановлен из `bak-pre-sso-restore-20261104-011921`, `oauth2-proxy` возвращён к исходному `redirect_url`, контейнер пересоздан. +- Jellyfin доступен (`/web/` → 200), `auth_request` в конфиге — **0** (как было до моих правок). +- Вывод: **трогать SSO не нужно**, у владельца своя рабочая схема. + +### 3.8 Сеть и оборудование + +- Скан /24: `192.168.1.182` (кондиционер, в HA), `192.168.1.207` (Hanzo, локально DPS не отдаёт). Новых устройств нет. +- **Подбор выключателей** (обсуждение): рамки Atlas, 8 постов, реле не влезают, распаячных коробок нет. Варианты: AtlasDesign SMART (~4 000 ₽/шт), Sonoff ZBM5/Zigbee, реле у светильника. Владелец взял паузу на решение. + +--- + +## 4. Что осталось и требует решения владельца + +1. **Русский контент** — нет источника с сидами. Варианты: аккаунт RuTracker (Cloudflare блокирует автоматический вход), Telegram-каналы с кино, либо оставить медленную загрузку с RuTor. +2. **Выключатели** — выбрать путь: Atlas SMART (дорого, идеальный вид) или переход на Sonoff/другую систему (дешевле, смена рамок). +3. **Память хоста** — 10 из 15 ГБ при штатной нагрузке; FlareSolverr показал, что запаса нет. Нужно решение: RAM, разнесение сервисов или лимиты. +4. **Docker-healthcheck** — 1 438 процессов; пересмотреть интервалы (профилактика повторной лавины). +5. **SSO** — оставить как есть (решение владельца: не трогать). + +--- + +## 5. Артефакты + +**Файлы для вас:** +- `AUDIT-SPRINT-FULL-2026-11-04.md` — полный аудит (версии, связанность, все блоки) +- `AUDIT-NIGHT-SPRINT-2026-11-04.md` — аудит ночного спринта +- `AUDIT-SERVICES-2026-11-04.md` — статусы LXC, docker, HTTP +- `INVENTORY-BURYANS-2026-11-04.md` — все CT, домены, адреса +- `TASK-INCIDENT-2026-11-04.md` — задача по инциденту + +**Коммиты в `buryan-infra`:** `4c5948d`, `e562027`, `efcb991`, `fc9fd16`, `34a55fb` (и предшествующие). + +**Скрипты диагностики:** `/tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services,start_cts}.sh`