Files
buryan-infra/ops/FINAL-SUMMARY-2026-11-04.md

11 KiB

Итог спринта Buryans Hub — 04.11.2026

Все утверждения проверены командами; выводы приведены рядом. Что не сделано — отмечено прямо.


1. Состояние инфраструктуры на конец дня

uptime: 2ч 33м (после перезагрузки)
load average: 1.11   (на пике аварии было 3908)
D-процессов: 0        (было 1385)
память: 10 ГБ занято, 4.6 ГБ доступно
контейнеры: 33 из 33 running (llm-lxc остановлен намеренно)

Все ключевые сервисы отвечают:

Сервис Порт Статус
Jellyfin 103:8096 OK
Home Assistant 106:8123 OK
Sonarr 117:8989 OK
Radarr 118:7878 OK
Prowlarr 119:9696 OK
Gitea 140:3000 OK
Authentik 114:9000 OK
Matrix 155:8008 OK
qBittorrent 123:8085 OK

Сервисы хоста: hub-core active (status.json 200, 11 114 байт), hermes active, hub-secretary-ai active, hub-media-hook active, telegram-userbot active, nginx active, pve-cluster active.


2. Инцидент 04.11 (главное событие дня)

Что произошло

Хост ушёл в самоподдерживающуюся перегрузку: load 3908, 7 578 процессов, 1 385 в D-состоянии, память 14/15 ГБ, swap 22 ГБ.

Причины (по диагностике)

  1. hub-core не мог подключиться к PostgreSQL (192.168.1.151:5432) → цикл перезапусков.
  2. Каждая попытка порождала зависшие pct exec/psql-процессы (31 шт., все в D).
  3. Docker-healthcheck — 1 438 процессов, 4 071 поток docker → нагрузка на dm-thin.
  4. FlareSolverr (Chrome, +1–2 ГБ), установленный мной, усугубил memory pressure.
  5. Диск стал узким местом → iowait → лавина.

Что проверено и исключено

  • SMART sda — PASSED, nvme0n1 — PASSED (железо цело).
  • thin-pool: данные 62 %, метаданные 2.81 % (места достаточно).
  • Корень /: 29 % (места достаточно).
  • Ошибок I/O в журнале нет.

Восстановление

  1. hub-core остановлен, авторестарт отключён (drop-in Restart=no).
  2. CT119 (Prowlarr + FlareSolverr) остановлен — не помогло.
  3. reboot -f (штатный reboot не срабатывал из-за зависшего systemd).
  4. После перезагрузки корень смонтировался read-only (fsck.mode=force) → pmxcfs падал → /etc/pve недоступен.
  5. mount -o remount,rw / + systemctl reset-failed pve-cluster && start → восстановлено.
  6. Подняты все контейнеры вручную (33 из 33).
  7. FlareSolverr удалён из CT119.

Задача владельцу записана: TASK-INCIDENT-2026-11-04.md, коммит 34a55fb.


3. Что сделано по задачам спринта

3.1 Медиа и русский контент

Что Результат
Причина английской библиотеки ffprobe: дорожки eng, spa, tur, und — русских нет
Custom Format «Russian Audio» создан в Radarr и Sonarr
Язык профилей Any / Unknown (жёсткий Russian отклонял всё с ошибкой «Russian is wanted, but found English»)
YTS (источник английского) отключён
RuTor в Radarr подключён, категории 8000/100003
Автообновление 6/6 профилей upgradeAllowed=true, ISO запрещён
Лимит загрузок qBittorrent поднят с 3 до 10 (был простой в очереди)
Скачивание 13 торрентов, 9 активных, но 0 завершённых — мало сидов на RuTor
Cardigann-определение RuTracker установлено в Prowlarr (rutracker-org-movies.yml, 126 КБ), Prowlarr его видит
Добавление RuTracker не удалось: Cloudflare отдаёт 403 на /login.php со всех путей (напрямую, SOCKS, HTTP-прокси)
FlareSolverr установлен и удалён — стал причиной аварии

Не закрыто: русский контент фактически не скачивается — нужен источник с сидами (RuTracker с аккаунтом либо Telegram-каналы с кино).

3.2 Hermes + DeepSeek

Что Результат
Заданий в jobs.yaml 13 (было 11)
ai-digest (раз в час) работает, ответ DeepSeek осмысленный
media-digest (09:30) работает, сводка доставлена в Matrix
Доставка в Matrix подтверждена event_id
Почта отключена (порты 25/587/465 закрыты дома и на VPS)

Находка и проверка: DeepSeek предположил «корень в read-only» — опровергнуто фактами; настоящая причина — ProtectSystem=strict без /var/lib/chrony. Исправлено drop-in'ом, ошибка исчезла (ops/CHRONYD-SANDBOX-2026-11-04.md, коммит e562027).

3.3 Секретарь 2.0 (Matrix + DeepSeek + инструменты)

/opt/hub-bots/secretary_ai.py, сервис hub-secretary-ai active.

Проверка Результат
«что с кондиционером» «Royal Clima сейчас выключен» — реальные данные HA
«какие автоматизации есть» список 6 автоматизаций
«скачай фильм Inception» «Готово: добавлен в Radarr, идёт поиск»
«какая температура в спальне» просит entity_id, не выдумывает

Исправлена ловушка: rootFolderPath был /media/movies, правильный — /data/movies (берётся из API).

3.4 Telegram userbot (книги + контент)

/opt/hub-core/userbot_service.py, telegram-userbot active, порт 9122.

Проверка Результат
/health {"ok": true}
/files?q=Стругацкий&kind=book 200, найдено 1
/files?q=фильм&kind=video 200, найдено 2 (MP4)

Переписан целиком (не патч), py_compile до рестарта, бэкап userbot_service.py.bak-pre-content. Ограничение: в подключённых каналах видео нет — нужны каналы с кино.

3.5 Дом: фото комнат и карточка

Что Результат
Фото в HA 31 файл, /local/house3d/photos/… → HTTP 200
Карточка комнат PHOTO_MAP, превью в плитке, полоса фото в деталях
Ресурс rooms-card.js?v=29895723, success: True
Оговорка node --check не выполнялся (node нет в контуре), проверены баланс скобок и отдача файла

3.6 Сценарии автоматизации

Сценарий Проверка
«скачался фильм → Matrix» вебхук 9131, 4 теста доставлены (ok)
«апгрейд на русскую версию → Matrix» onUpgrade включён
«сводка медиатеки 09:30» отправлена, HTTP 200

3.7 SSO — откатено по требованию владельца

  • Была массовая правка (33 домена) → сломала доступы.
  • Откат выполнен полностью: nginx восстановлен из bak-pre-sso-restore-20261104-011921, oauth2-proxy возвращён к исходному redirect_url, контейнер пересоздан.
  • Jellyfin доступен (/web/ → 200), auth_request в конфиге — 0 (как было до моих правок).
  • Вывод: трогать SSO не нужно, у владельца своя рабочая схема.

3.8 Сеть и оборудование

  • Скан /24: 192.168.1.182 (кондиционер, в HA), 192.168.1.207 (Hanzo, локально DPS не отдаёт). Новых устройств нет.
  • Подбор выключателей (обсуждение): рамки Atlas, 8 постов, реле не влезают, распаячных коробок нет. Варианты: AtlasDesign SMART (~4 000 ₽/шт), Sonoff ZBM5/Zigbee, реле у светильника. Владелец взял паузу на решение.

4. Что осталось и требует решения владельца

  1. Русский контент — нет источника с сидами. Варианты: аккаунт RuTracker (Cloudflare блокирует автоматический вход), Telegram-каналы с кино, либо оставить медленную загрузку с RuTor.
  2. Выключатели — выбрать путь: Atlas SMART (дорого, идеальный вид) или переход на Sonoff/другую систему (дешевле, смена рамок).
  3. Память хоста — 10 из 15 ГБ при штатной нагрузке; FlareSolverr показал, что запаса нет. Нужно решение: RAM, разнесение сервисов или лимиты.
  4. Docker-healthcheck — 1 438 процессов; пересмотреть интервалы (профилактика повторной лавины).
  5. SSO — оставить как есть (решение владельца: не трогать).

5. Артефакты

Файлы для вас:

  • AUDIT-SPRINT-FULL-2026-11-04.md — полный аудит (версии, связанность, все блоки)
  • AUDIT-NIGHT-SPRINT-2026-11-04.md — аудит ночного спринта
  • AUDIT-SERVICES-2026-11-04.md — статусы LXC, docker, HTTP
  • INVENTORY-BURYANS-2026-11-04.md — все CT, домены, адреса
  • TASK-INCIDENT-2026-11-04.md — задача по инциденту

Коммиты в buryan-infra: 4c5948d, e562027, efcb991, fc9fd16, 34a55fb (и предшествующие).

Скрипты диагностики: /tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services,start_cts}.sh