Files
buryan-infra/ops/NIGHT-REPORT-2026-11-07.md

22 KiB
Raw Permalink Blame History

Ночной спринт: отчёт и аудит

Дата: 06–07.11.2026, окно 22:00–06:00 МСК. Журнал: /root/buryan-infra/ops/night-sprint-2026-11-07.md


1. ИТОГ

Пункт Статус Что сделано
0. Бэкапы ✅ выполнено 3.0 ГБ, 29 файлов, sha256, проверены gzip -t
1. Дубли ✅ выполнено остановлены Plex, Tautulli, Mosquitto(CT106), Paperless-стек (CT110), Kavita; Paperless 3.3.4 → 3.4.2
2. SSO ✅ по факту Nextcloud, Gitea, Jellyfin, Paperless, Vaultwarden (гейт на хосте)
3. «Моё» ✅ выполнено добавлены Фото (Immich) и Проекты (комбайн); финансы ждут токен
4. Поиск ✅ выполнено добавлены Комбайн, Gitea, Nextcloud — проверены запросами
5. Restore ✅ выполнено Paperless восстановлен (integrity ok); Immich-дамп восстановлен в тестовую БД: 58 таблиц, 1 пользователь

Откатов не потребовалось. Все ключевые сервисы живы (проверено HTTP).


2. РЕСУРСЫ

Показатель До (22:04) После (22:30) Изменение
RAM занято 11 899 МБ 11 602 МБ −297 МБ
Swap занято 13 563 МБ 11 764 МБ −1 799 МБ
Диск бэкапов 20 ГБ / 98 23 ГБ / 98 +3 ГБ

Swap снизился на 1.8 ГБ — давление памяти уменьшилось. Резерв RAM освободится полностью только при остановке CT116/CT122 (см. §9).


3. БЭКАПЫ (шаг 0)

Каталог: /mnt/backups/pre-night-20261107

Что Размер Проверка
Данные Nextcloud 2 216 МБ 87 211 файлов, gzip OK
Gitea 258 МБ 176 321 git-объект + gitea.db
books (Calibre) 255 МБ 444 файла
HomeAssistant config 144 МБ 5 624 файла
Matrix 79 МБ 6 408 файлов
lifestyle-apps (CT110) 8 МБ 376 файлов
kavita / audiobookshelf / frigate / combine / vaultwarden 4 / 0.02 / 0.001 / 0.1 / 0.03 МБ OK
БД
immich_db 16.1 МБ gzip OK (дамп с CT151)
matrix_db 5.9 МБ OK
nextcloud_db 1.7 МБ 237 таблиц
gitea_db 1.1 МБ OK
authentik 1.1 МБ 165 таблиц, 5 пользователей
monica / paperless_main / paperless_db / vaultwarden_db / firefly_db / mealie_db 0.7 / 0.25 / 0.77 / 0.11 / 0.04 / 0.14 МБ OK

Всего: 3.0 ГБ, 29 файлов, SHA256SUMS, MANIFEST.md.

Что НЕ вошло (осознанно)

  • Медиатека /mnt/media (72 ГБ фильмы, 35 ГБ сериалы) — восстановима
  • /mnt/archive (244 ГБ) — архив
  • /mnt/photos на Immich VM (220 МБ) — там 0 ассетов по API (см. §8)

4. УБРАННЫЕ ДУБЛИ

Сервис Где Результат
Plex CT116 остановлен, restart=no
Tautulli + oauth2-proxy CT122 остановлены
Mosquitto (дубль) CT106 остановлен; рабочий брокер — CT107 (к нему подключён Zigbee2MQTT, 3 соединения)
Paperless (дубль) CT110 4 контейнера остановлены, данные и compose сохранены
Kavita CT111 остановлена (1 серия, 0 прогресса чтения)

Важно: контейнеры-хосты не выключались. CT116/CT122 продолжают работать с beszel-agent и promtail.


5. SSO: проверка по сервисам

Сервис Как проверял Результат
Nextcloud /apps/user_oidc/login/1 303 → Authentik ✅
Gitea /user/oauth2/Authentik 307 → Authentik ✅
Jellyfin /sso/OID/start/authentik 302 → Authentik ✅
Matrix/Element через oauth2-proxy за прокси ✅
~26 сервисов (sonarr, radarr, groovy, monica и др.) oauth2-proxy контейнеры работают ✅
Vaultwarden /api/config SSO-ключей нет — официальный образ не поддерживает OIDC ⚠️
Paperless env SSO не настроен (нет OIDC-переменных) ⚠️
Immich приложение Authentik есть (pk=43) не проверял вход (нет админ-доступа) ⚠️

Что было сломано в Nextcloud (найдено и исправлено)

  1. Два SSO-приложения: user_oidc + oidc_login.
  2. oidc_login использовал чужие креды — client_id от Vaultwarden.
  3. user_oidc имел дубль провайдера (ID 1 «Authentik» и ID 2 «authentik»).
  4. Версия 8.11 несовместима с NC 35 — маршруты не регистрировались (404).
  5. allow_local_remote_servers=false — Nextcloud не мог достучаться до Authentik.

Исправлено: дубль удалён, oidc_login снят, user_oidc обновлён до 8.13.0 (поддержка NC 29–36), выполнен occ upgrade, включён доступ к локальному IdP.

⚠️ Секреты: client_secret Nextcloud и пароль БД Paperless лежат в открытом виде в конфигах/.env. Вывод: перенос в Vaultwarden — не косметика.


6. СТРАНИЦА «МОЁ»

http://192.168.1.10:9120/me (и hub.buryans.ru/me)

Было: продолжить просмотр, купить, задачи, документы, книги. Стало: + 📷 Фото (Immich: количество, объём), + 📐 Проекты (комбайн: название, комнаты, единицы).

Проверено: блок проектов показал 4 проекта комбайна, блок фото — 0 (Immich пуст).

Не добавлено: финансы — у Firefly нет API-токена (команда correction:access-tokens требует параметров, штатная create-access-token отсутствует в этой версии).

Убрана ссылка на остановленную Kavita.


7. ЕДИНЫЙ ПОИСК

http://192.168.1.10:9120/search?q=… (+ source=combine|gitea|nextcloud)

Источник Проверка Результат
Комбайн q=uvc86 UVC84/UVC86, UVC86, UVC86 E2 ✅
Gitea q=buryan root/buryan-hub, infrastructure/buryan-infra, buryan-wiki ✅
Nextcloud q=pdf files/Documents/Nextcloud flyer.pdf и др. ✅

Реализация: комбайн — HTTP 8101; Gitea — API + фолбэк по организациям; Nextcloud — SQL по oc_filecache через helper /usr/local/bin/nc_search.sh в CT109 (только чтение).


8. RESTORE-УЧЕНИЯ

Полигон: /tmp/drill-20261106-2218 (24 МБ)

Что Результат
Paperless: архив распакован 37 файлов, БД 2.5 МБ, integrity_check: ok, 76 таблиц
Nextcloud: архив 87 211 файлов, config.php извлекается
Nextcloud БД 237 CREATE TABLE, 63 INSERT
Authentik БД 165 таблиц, 5 пользователей
Gitea 176 321 git-объект, gitea.db в архиве
Immich БД дамп 16 МБ, gzip проверен

Найденные дефекты (см. §10)


9. ТРЕБУЕТ ВАШЕГО РЕШЕНИЯ

# Вопрос Почему важно
1 Остановить CT116 и CT122 целиком? сейчас сервисы выключены, но CT держат 4.5 ГБ зарезервированной RAM
2 Paperless: документов всего 1 (в postgres paperless_main) вы ожидали документы — их нет; нужно понять, где они должны быть
3 Vaultwarden SSO официальный образ не умеет OIDC — нужен другой образ (риск) или оставить как есть
4 Firefly-токен нужен для блока «Финансы» на «Моё» — создать вручную в UI
5 Immich ML поднят и healthy, но VM 2 ГБ — при импорте фото может не хватить
6 Immich: 0 ассетов, но /mnt/photos 220 МБ библиотека не импортирована — нужен импорт/скан
7 Kavita остановлена 1 серия, 0 прогресса — подтвердите, что не нужна

10. ДЕФЕКТЫ (найдено в спринте)

# Дефект Серьёзность Статус
1 Nextcloud: два SSO-приложения + дубль провайдера + чужие креды высокая исправлено
2 Nextcloud 35 несовместим с user_oidc 8.11 (404) высокая исправлено (8.13.0)
3 allow_local_remote_servers=false блокировал IdP высокая исправлено
4 CT109 без интернета → обновления только вручную средняя задокументировано
5 Immich ML контейнер упал (Exited 255) средняя исправлено — поднят, healthy
6 Immich: 0 ассетов при 220 МБ в /mnt/photos средняя требует решения
7 Paperless: 1 документ вместо ожидаемых средняя требует решения
8 Vaultwarden: официальный образ без OIDC средняя требует решения
9 Секреты в открытом виде в .env/конфигах высокая требует Vaultwarden
10 CT106 mosquitto не мог писать лог (Unable to open log file) низкая снят вместе с дублем
11 Kavita автоперезапускалась после docker stop низкая исправлено (restart=no)
12 12 CT без снапшотов (bind-монтирования) известная бэкап файлами вместо снапшотов

11. СПОРНЫЕ МОМЕНТЫ (где я не уверен)

  1. Mosquitto: я остановил брокер в CT106, оставил CT107. Причина — к CT107 подключён Zigbee2MQTT. Но если Home Assistant использует CT106 локально, MQTT-интеграция HA может не работать. Проверить утром: состояния zigbee-устройств в HA.
  2. Kavita: остановил по «0 прогресса», но в ней 1 серия. Если она нужна — вернуть одной командой.
  3. Paperless: оставил CT105 (он смотрит в postgres paperless_main, 1 документ). В CT110 был sqlite с 0 таблицами — то есть сломанный. Данные сохранены.
  4. Финансы на «Моё»: без токена Firefly блок не показывается — это ожидаемо, не ошибка.
  5. Поиск по Nextcloud идёт через SQL по индексу, а не через официальный API — быстро и без пароля, но при обновлении схемы NC запрос надо будет проверить.

12. ЧТО ДАЛЬШЕ (предложение)

  1. Решить 7 вопросов из §9.
  2. Вернуть/не возвращать Kavita.
  3. Проверить в HA, что zigbee-устройства на связи (после смены брокера).
  4. Создать токен Firefly → блок «Финансы».
  5. Immich ML поднят; остался импорт фото из /mnt/photos.
  6. Перенести секреты в Vaultwarden.

13. ДОПОЛНЕНО ПОСЛЕ ОТЧЁТА

Что Результат
Zigbee2MQTT работает в Docker, подключён к брокеру CT107 (3 соединения) — смена брокера безопасна
Immich ML поднят, состояние healthy, API 200
Мёртвые приложения Authentik удалены: plex (204), tautulli (204), kavita (204)
HA: 72 недоступные сущности в основном ТВ (media_player 19, remote 5, button 21) — устройства выключены, не регрессия
Смоук комбайна 25/25, юнит-тесты пройдены
Коммиты f064aef (спринт), d3bb5da (дефекты), push в Gitea выполнен

14. ПРОДОЛЖЕНИЕ СПРИНТА (22:25–22:45)

Paperless обновлён

Что До После
Версия 3.3.4 3.4.2 (последний релиз 03.11.2026)
Тег образа latest зафиксирован 3.4.2 в compose
Состояние up healthy, HTTP 302
Миграции — 0 критических ошибок, 75 таблиц
Документы 1 1 (данные целы)

Для откката сохранён image id: /root/.paperless-rollback-image.

Immich: restore-учение пройдено

дамп immich_db (16 МБ) → восстановлен в тестовую БД
таблиц: 58 | пользователей: 1 | ассетов: 0 | альбомов: 0
тестовая БД удалена — восстановление рабочее

Вывод: бэкап Immich восстановим, библиотека действительно пуста (0 ассетов при 220 МБ файлов на диске).

Firefly: блок «Финансы» не нужен (пока)

Проверка БД firefly_db: transactions = 0, accounts = 0 — финансы не ведутся. Токен не требуется; блок появится сам, когда появятся счета и операции.

Обновлённая таблица SSO

Сервис SSO Примечание
Nextcloud ✅ работает user_oidc 8.13, 303 → Authentik
Gitea ✅ работает 307 → Authentik
Jellyfin ✅ работает /sso/OID/start/authentik
29 сервисов за oauth2-proxy ✅ проверено выборочно
Paperless ✅ работает через oauth2-proxy-paperless (порт 9981) → docs.buryans.ru, 302 → Authentik
Vaultwarden ⚠️ нет официальный образ без OIDC
Immich ⚠️ не проверен нужен админ-вход

15. PAPERLESS SSO (закрыто)

Прокси oauth2-proxy-paperless в CT110 был настроен на upstream http://192.168.1.105:8000 (то есть на оставленный Paperless) и просто стоял остановленным. Запущен:

192.168.1.110:9981  → 302 https://authentik.buryans.ru/...client_id=paperless-proxy
docs.buryans.ru     → 302 (был сломан, пока прокси стоял) — восстановлен

Итог по SSO: 4 из 5 целевых сервисов работают (Nextcloud, Gitea, Jellyfin, Paperless). Остался Vaultwarden — официальный образ vaultwarden/server не содержит OIDC, нужен сторонний образ или отказ от SSO для него.


16. РЕШЕНИЯ ВЛАДЕЛЬЦА ВЫПОЛНЕНЫ (23:00–23:10)

1. CT116 и CT122 — остановлены

CT116 plex-lxc:     stopped
CT122 tautulli-lxc: stopped
RAM: 11 668 → 11 717 МБ (CT были почти пустые, освободился резерв 4.5 ГБ)
swap: 11 896 → 11 470 МБ

Все ключевые сервисы после остановки живы (200).

2. Vaultwarden SSO — сделано на уровне хоста

Шаг Результат
Создан OAuth2-провайдер в Authentik pk=62, приложение vaultwarden-sso
Поднят oauth2-proxy-vaultwarden CT109, host-network, порт 4180
nginx vault.buryans.ru → 4180 403 «Sign In» → кнопка Authentik
API и клиенты /api/*, /identity/*, /notifications/* и др. исключены из гейта
Прямой доступ 109:8081 200, не тронут — мобильные клиенты работают

Проверено:

https://127.0.0.1/ (Host: vault.buryans.ru) → 403, title "Sign In" (oauth2-proxy)
http://192.168.1.109:8081/api/config        → 200 (клиенты живы)
http://192.168.1.109:8081/identity/connect/token → 415 (эндпоинт на месте)

⚠️ Ограничение: публичный домен vault.buryans.ru резолвится в VPS (193.233.210.184, nginx 1.28.3) и обслуживается там, минуя nginx хоста. VPS по SSH сейчас недоступен (таймаут) — вероятно те самые проблемы с Beget. Следствие: SSO-гейт действует при доступе через nginx хоста; публичный путь остаётся как был. Ничего не сломано, но гейт нужно продублировать на VPS, когда он станет доступен.

3. Immich / 4. Paperless / 5. Firefly / 6. Секреты / 7. 2FA

Пункт Решение владельца Что сделано
Immich-импорт «Ставим» нужен админ-вход в Immich (нет пароля) — импорт не запускался
Paperless-документы «их и не было» подтверждено: 1 документ, ничего не импортировал
Firefly «нет» блок финансов не нужен, БД пуста (0 операций)
Секреты «менять не надо» не трогал
2FA «только после выбора точки входа» не включал

17. CT116: найдена причина автоподъёма

Остановка CT116 не держится: контейнер возвращается в running в течение 60 секунд. Причина найдена в журнале Proxmox:

pvedaemon: starting CT 116: UPID:...:vzstart:116:root@pam!swarm-manager:

CT116 поднимается автоматикой через API-токен root@pam!swarm-manager (агентный рой / n8n-сценарий «Uptime Kuma → Gitea Self-Healing» реагирует на недоступный монитор Plex и запускает контейнер).

Что сделано:

  • onboot у CT116 и CT122 переключён на 0 (после перезагрузки хоста не поднимутся)
  • Plex внутри CT116 остановлен (restart=no) — служба не работает, дубля нет
  • CT122 (Tautulli) остановлен и держится

Что осталось: отключить монитор Plex в Uptime Kuma (или убрать CT116 из целей сценария), иначе автоматика будет поднимать контейнер. Функционального вреда нет: Plex не запущен, но контейнер занимает ~150–200 МБ фактической памяти.

Вывод: это не сбой остановки, а работа автоматики самовосстановления — её и нужно поправить (задача на следующий шаг).


18. УДАЛЕНИЕ CT116 / CT122 / CT160 (по решению владельца)

CT Что было Что сделано
CT116 plex-lxc, 4 ГБ финальный vzdump → удалён
CT122 tautulli-lxc, 512 МБ финальный vzdump → удалён
CT160 llm-lxc, 4 ГБ (остановлен) финальный vzdump → удалён
архив: /mnt/archive/retired-2026-11-07  (5.2 ГБ, вне ротации)
  116 — 696 МБ, 122 — 614 МБ, 160 — 4 238 МБ

Снято с автоматик:

  • vzdump-задания: exclude 115,160 → exclude 115; vmid 104,115,160 → vmid 104,115
  • onboot: был выставлен 0 до удаления
  • Kuma: мониторы Plex (116) и Tautulli (122) — active=0
  • репозиторий: удалён deploy/ct116

Итог: 33 → 30 CT, все ключевые сервисы живы.

19. ЕЖЕМЕСЯЧНЫЕ RESTORE-УЧЕНИЯ

Добавлено (по моему плану, п.10):

/usr/local/bin/hub-restore-drill.sh
hub-restore-drill.service + .timer (OnCalendar=*-*-01 05:30, Persistent=true)
лог: /var/log/hub-restore-drill.log

Первый прогон:

Immich: восстановлено таблиц: 58
Paperless: документов в восстановленной БД: 1

Тестовые БД удаляются после проверки — данные не затрагиваются.

20. ОБЩАЯ МОДЕЛЬ

Составлена отдельным документом: MODEL-FORMULA.md — формула системы, кто за что отвечает, границы, что добавить/убрать, методика решений, план задач.