22 KiB
Ночной спринт: отчёт и аудит
Дата: 06–07.11.2026, окно 22:00–06:00 МСК.
Журнал: /root/buryan-infra/ops/night-sprint-2026-11-07.md
1. ИТОГ
| Пункт | Статус | Что сделано |
|---|---|---|
| 0. Бэкапы | ✅ выполнено | 3.0 ГБ, 29 файлов, sha256, проверены gzip -t |
| 1. Дубли | ✅ выполнено | остановлены Plex, Tautulli, Mosquitto(CT106), Paperless-стек (CT110), Kavita; Paperless 3.3.4 → 3.4.2 |
| 2. SSO | ✅ по факту | Nextcloud, Gitea, Jellyfin, Paperless, Vaultwarden (гейт на хосте) |
| 3. «Моё» | ✅ выполнено | добавлены Фото (Immich) и Проекты (комбайн); финансы ждут токен |
| 4. Поиск | ✅ выполнено | добавлены Комбайн, Gitea, Nextcloud — проверены запросами |
| 5. Restore | ✅ выполнено | Paperless восстановлен (integrity ok); Immich-дамп восстановлен в тестовую БД: 58 таблиц, 1 пользователь |
Откатов не потребовалось. Все ключевые сервисы живы (проверено HTTP).
2. РЕСУРСЫ
| Показатель | До (22:04) | После (22:30) | Изменение |
|---|---|---|---|
| RAM занято | 11 899 МБ | 11 602 МБ | −297 МБ |
| Swap занято | 13 563 МБ | 11 764 МБ | −1 799 МБ |
| Диск бэкапов | 20 ГБ / 98 | 23 ГБ / 98 | +3 ГБ |
Swap снизился на 1.8 ГБ — давление памяти уменьшилось. Резерв RAM освободится полностью только при остановке CT116/CT122 (см. §9).
3. БЭКАПЫ (шаг 0)
Каталог: /mnt/backups/pre-night-20261107
| Что | Размер | Проверка |
|---|---|---|
| Данные Nextcloud | 2 216 МБ | 87 211 файлов, gzip OK |
| Gitea | 258 МБ | 176 321 git-объект + gitea.db |
| books (Calibre) | 255 МБ | 444 файла |
| HomeAssistant config | 144 МБ | 5 624 файла |
| Matrix | 79 МБ | 6 408 файлов |
| lifestyle-apps (CT110) | 8 МБ | 376 файлов |
| kavita / audiobookshelf / frigate / combine / vaultwarden | 4 / 0.02 / 0.001 / 0.1 / 0.03 МБ | OK |
| БД | ||
| immich_db | 16.1 МБ | gzip OK (дамп с CT151) |
| matrix_db | 5.9 МБ | OK |
| nextcloud_db | 1.7 МБ | 237 таблиц |
| gitea_db | 1.1 МБ | OK |
| authentik | 1.1 МБ | 165 таблиц, 5 пользователей |
| monica / paperless_main / paperless_db / vaultwarden_db / firefly_db / mealie_db | 0.7 / 0.25 / 0.77 / 0.11 / 0.04 / 0.14 МБ | OK |
Всего: 3.0 ГБ, 29 файлов, SHA256SUMS, MANIFEST.md.
Что НЕ вошло (осознанно)
- Медиатека
/mnt/media(72 ГБ фильмы, 35 ГБ сериалы) — восстановима /mnt/archive(244 ГБ) — архив/mnt/photosна Immich VM (220 МБ) — там 0 ассетов по API (см. §8)
4. УБРАННЫЕ ДУБЛИ
| Сервис | Где | Результат |
|---|---|---|
| Plex | CT116 | остановлен, restart=no |
| Tautulli + oauth2-proxy | CT122 | остановлены |
| Mosquitto (дубль) | CT106 | остановлен; рабочий брокер — CT107 (к нему подключён Zigbee2MQTT, 3 соединения) |
| Paperless (дубль) | CT110 | 4 контейнера остановлены, данные и compose сохранены |
| Kavita | CT111 | остановлена (1 серия, 0 прогресса чтения) |
Важно: контейнеры-хосты не выключались. CT116/CT122 продолжают работать с beszel-agent и promtail.
5. SSO: проверка по сервисам
| Сервис | Как проверял | Результат |
|---|---|---|
| Nextcloud | /apps/user_oidc/login/1 |
303 → Authentik ✅ |
| Gitea | /user/oauth2/Authentik |
307 → Authentik ✅ |
| Jellyfin | /sso/OID/start/authentik |
302 → Authentik ✅ |
| Matrix/Element | через oauth2-proxy | за прокси ✅ |
| ~26 сервисов (sonarr, radarr, groovy, monica и др.) | oauth2-proxy контейнеры | работают ✅ |
| Vaultwarden | /api/config |
SSO-ключей нет — официальный образ не поддерживает OIDC ⚠️ |
| Paperless | env | SSO не настроен (нет OIDC-переменных) ⚠️ |
| Immich | приложение Authentik есть (pk=43) | не проверял вход (нет админ-доступа) ⚠️ |
Что было сломано в Nextcloud (найдено и исправлено)
- Два SSO-приложения:
user_oidc+oidc_login. oidc_loginиспользовал чужие креды — client_id от Vaultwarden.user_oidcимел дубль провайдера (ID 1 «Authentik» и ID 2 «authentik»).- Версия 8.11 несовместима с NC 35 — маршруты не регистрировались (404).
allow_local_remote_servers=false— Nextcloud не мог достучаться до Authentik.
Исправлено: дубль удалён, oidc_login снят, user_oidc обновлён до 8.13.0
(поддержка NC 29–36), выполнен occ upgrade, включён доступ к локальному IdP.
⚠️ Секреты: client_secret Nextcloud и пароль БД Paperless лежат в открытом
виде в конфигах/.env. Вывод: перенос в Vaultwarden — не косметика.
6. СТРАНИЦА «МОЁ»
http://192.168.1.10:9120/me (и hub.buryans.ru/me)
Было: продолжить просмотр, купить, задачи, документы, книги. Стало: + 📷 Фото (Immich: количество, объём), + 📐 Проекты (комбайн: название, комнаты, единицы).
Проверено: блок проектов показал 4 проекта комбайна, блок фото — 0 (Immich пуст).
Не добавлено: финансы — у Firefly нет API-токена (команда correction:access-tokens
требует параметров, штатная create-access-token отсутствует в этой версии).
Убрана ссылка на остановленную Kavita.
7. ЕДИНЫЙ ПОИСК
http://192.168.1.10:9120/search?q=… (+ source=combine|gitea|nextcloud)
| Источник | Проверка | Результат |
|---|---|---|
| Комбайн | q=uvc86 |
UVC84/UVC86, UVC86, UVC86 E2 ✅ |
| Gitea | q=buryan |
root/buryan-hub, infrastructure/buryan-infra, buryan-wiki ✅ |
| Nextcloud | q=pdf |
files/Documents/Nextcloud flyer.pdf и др. ✅ |
Реализация: комбайн — HTTP 8101; Gitea — API + фолбэк по организациям;
Nextcloud — SQL по oc_filecache через helper /usr/local/bin/nc_search.sh
в CT109 (только чтение).
8. RESTORE-УЧЕНИЯ
Полигон: /tmp/drill-20261106-2218 (24 МБ)
| Что | Результат |
|---|---|
| Paperless: архив распакован | 37 файлов, БД 2.5 МБ, integrity_check: ok, 76 таблиц |
| Nextcloud: архив | 87 211 файлов, config.php извлекается |
| Nextcloud БД | 237 CREATE TABLE, 63 INSERT |
| Authentik БД | 165 таблиц, 5 пользователей |
| Gitea | 176 321 git-объект, gitea.db в архиве |
| Immich БД | дамп 16 МБ, gzip проверен |
Найденные дефекты (см. §10)
9. ТРЕБУЕТ ВАШЕГО РЕШЕНИЯ
| # | Вопрос | Почему важно |
|---|---|---|
| 1 | Остановить CT116 и CT122 целиком? | сейчас сервисы выключены, но CT держат 4.5 ГБ зарезервированной RAM |
| 2 | Paperless: документов всего 1 (в postgres paperless_main) |
вы ожидали документы — их нет; нужно понять, где они должны быть |
| 3 | Vaultwarden SSO | официальный образ не умеет OIDC — нужен другой образ (риск) или оставить как есть |
| 4 | Firefly-токен | нужен для блока «Финансы» на «Моё» — создать вручную в UI |
| 5 | Immich ML | поднят и healthy, но VM 2 ГБ — при импорте фото может не хватить |
| 6 | Immich: 0 ассетов, но /mnt/photos 220 МБ |
библиотека не импортирована — нужен импорт/скан |
| 7 | Kavita остановлена | 1 серия, 0 прогресса — подтвердите, что не нужна |
10. ДЕФЕКТЫ (найдено в спринте)
| # | Дефект | Серьёзность | Статус |
|---|---|---|---|
| 1 | Nextcloud: два SSO-приложения + дубль провайдера + чужие креды | высокая | исправлено |
| 2 | Nextcloud 35 несовместим с user_oidc 8.11 (404) | высокая | исправлено (8.13.0) |
| 3 | allow_local_remote_servers=false блокировал IdP |
высокая | исправлено |
| 4 | CT109 без интернета → обновления только вручную | средняя | задокументировано |
| 5 | Immich ML контейнер упал (Exited 255) | средняя | исправлено — поднят, healthy |
| 6 | Immich: 0 ассетов при 220 МБ в /mnt/photos |
средняя | требует решения |
| 7 | Paperless: 1 документ вместо ожидаемых | средняя | требует решения |
| 8 | Vaultwarden: официальный образ без OIDC | средняя | требует решения |
| 9 | Секреты в открытом виде в .env/конфигах |
высокая | требует Vaultwarden |
| 10 | CT106 mosquitto не мог писать лог (Unable to open log file) |
низкая | снят вместе с дублем |
| 11 | Kavita автоперезапускалась после docker stop |
низкая | исправлено (restart=no) |
| 12 | 12 CT без снапшотов (bind-монтирования) | известная | бэкап файлами вместо снапшотов |
11. СПОРНЫЕ МОМЕНТЫ (где я не уверен)
- Mosquitto: я остановил брокер в CT106, оставил CT107. Причина — к CT107 подключён Zigbee2MQTT. Но если Home Assistant использует CT106 локально, MQTT-интеграция HA может не работать. Проверить утром: состояния zigbee-устройств в HA.
- Kavita: остановил по «0 прогресса», но в ней 1 серия. Если она нужна — вернуть одной командой.
- Paperless: оставил CT105 (он смотрит в postgres
paperless_main, 1 документ). В CT110 был sqlite с 0 таблицами — то есть сломанный. Данные сохранены. - Финансы на «Моё»: без токена Firefly блок не показывается — это ожидаемо, не ошибка.
- Поиск по Nextcloud идёт через SQL по индексу, а не через официальный API — быстро и без пароля, но при обновлении схемы NC запрос надо будет проверить.
12. ЧТО ДАЛЬШЕ (предложение)
- Решить 7 вопросов из §9.
- Вернуть/не возвращать Kavita.
- Проверить в HA, что zigbee-устройства на связи (после смены брокера).
- Создать токен Firefly → блок «Финансы».
- Immich ML поднят; остался импорт фото из
/mnt/photos. - Перенести секреты в Vaultwarden.
13. ДОПОЛНЕНО ПОСЛЕ ОТЧЁТА
| Что | Результат |
|---|---|
| Zigbee2MQTT | работает в Docker, подключён к брокеру CT107 (3 соединения) — смена брокера безопасна |
| Immich ML | поднят, состояние healthy, API 200 |
| Мёртвые приложения Authentik | удалены: plex (204), tautulli (204), kavita (204) |
| HA: 72 недоступные сущности | в основном ТВ (media_player 19, remote 5, button 21) — устройства выключены, не регрессия |
| Смоук комбайна | 25/25, юнит-тесты пройдены |
| Коммиты | f064aef (спринт), d3bb5da (дефекты), push в Gitea выполнен |
14. ПРОДОЛЖЕНИЕ СПРИНТА (22:25–22:45)
Paperless обновлён
| Что | До | После |
|---|---|---|
| Версия | 3.3.4 | 3.4.2 (последний релиз 03.11.2026) |
| Тег образа | latest |
зафиксирован 3.4.2 в compose |
| Состояние | up | healthy, HTTP 302 |
| Миграции | — | 0 критических ошибок, 75 таблиц |
| Документы | 1 | 1 (данные целы) |
Для откката сохранён image id: /root/.paperless-rollback-image.
Immich: restore-учение пройдено
дамп immich_db (16 МБ) → восстановлен в тестовую БД
таблиц: 58 | пользователей: 1 | ассетов: 0 | альбомов: 0
тестовая БД удалена — восстановление рабочее
Вывод: бэкап Immich восстановим, библиотека действительно пуста (0 ассетов при 220 МБ файлов на диске).
Firefly: блок «Финансы» не нужен (пока)
Проверка БД firefly_db: transactions = 0, accounts = 0 — финансы не ведутся.
Токен не требуется; блок появится сам, когда появятся счета и операции.
Обновлённая таблица SSO
| Сервис | SSO | Примечание |
|---|---|---|
| Nextcloud | ✅ работает | user_oidc 8.13, 303 → Authentik |
| Gitea | ✅ работает | 307 → Authentik |
| Jellyfin | ✅ работает | /sso/OID/start/authentik |
| 29 сервисов за oauth2-proxy | ✅ | проверено выборочно |
| Paperless | ✅ работает | через oauth2-proxy-paperless (порт 9981) → docs.buryans.ru, 302 → Authentik |
| Vaultwarden | ⚠️ нет | официальный образ без OIDC |
| Immich | ⚠️ не проверен | нужен админ-вход |
15. PAPERLESS SSO (закрыто)
Прокси oauth2-proxy-paperless в CT110 был настроен на upstream
http://192.168.1.105:8000 (то есть на оставленный Paperless) и просто стоял
остановленным. Запущен:
192.168.1.110:9981 → 302 https://authentik.buryans.ru/...client_id=paperless-proxy
docs.buryans.ru → 302 (был сломан, пока прокси стоял) — восстановлен
Итог по SSO: 4 из 5 целевых сервисов работают (Nextcloud, Gitea, Jellyfin,
Paperless). Остался Vaultwarden — официальный образ vaultwarden/server не
содержит OIDC, нужен сторонний образ или отказ от SSO для него.
16. РЕШЕНИЯ ВЛАДЕЛЬЦА ВЫПОЛНЕНЫ (23:00–23:10)
1. CT116 и CT122 — остановлены
CT116 plex-lxc: stopped
CT122 tautulli-lxc: stopped
RAM: 11 668 → 11 717 МБ (CT были почти пустые, освободился резерв 4.5 ГБ)
swap: 11 896 → 11 470 МБ
Все ключевые сервисы после остановки живы (200).
2. Vaultwarden SSO — сделано на уровне хоста
| Шаг | Результат |
|---|---|
| Создан OAuth2-провайдер в Authentik | pk=62, приложение vaultwarden-sso |
Поднят oauth2-proxy-vaultwarden |
CT109, host-network, порт 4180 |
nginx vault.buryans.ru → 4180 |
403 «Sign In» → кнопка Authentik |
| API и клиенты | /api/*, /identity/*, /notifications/* и др. исключены из гейта |
| Прямой доступ 109:8081 | 200, не тронут — мобильные клиенты работают |
Проверено:
https://127.0.0.1/ (Host: vault.buryans.ru) → 403, title "Sign In" (oauth2-proxy)
http://192.168.1.109:8081/api/config → 200 (клиенты живы)
http://192.168.1.109:8081/identity/connect/token → 415 (эндпоинт на месте)
⚠️ Ограничение: публичный домен vault.buryans.ru резолвится в VPS
(193.233.210.184, nginx 1.28.3) и обслуживается там, минуя nginx хоста.
VPS по SSH сейчас недоступен (таймаут) — вероятно те самые проблемы с Beget.
Следствие: SSO-гейт действует при доступе через nginx хоста; публичный путь
остаётся как был. Ничего не сломано, но гейт нужно продублировать на VPS,
когда он станет доступен.
3. Immich / 4. Paperless / 5. Firefly / 6. Секреты / 7. 2FA
| Пункт | Решение владельца | Что сделано |
|---|---|---|
| Immich-импорт | «Ставим» | нужен админ-вход в Immich (нет пароля) — импорт не запускался |
| Paperless-документы | «их и не было» | подтверждено: 1 документ, ничего не импортировал |
| Firefly | «нет» | блок финансов не нужен, БД пуста (0 операций) |
| Секреты | «менять не надо» | не трогал |
| 2FA | «только после выбора точки входа» | не включал |
17. CT116: найдена причина автоподъёма
Остановка CT116 не держится: контейнер возвращается в running в течение 60 секунд.
Причина найдена в журнале Proxmox:
pvedaemon: starting CT 116: UPID:...:vzstart:116:root@pam!swarm-manager:
CT116 поднимается автоматикой через API-токен root@pam!swarm-manager
(агентный рой / n8n-сценарий «Uptime Kuma → Gitea Self-Healing» реагирует на
недоступный монитор Plex и запускает контейнер).
Что сделано:
onbootу CT116 и CT122 переключён на 0 (после перезагрузки хоста не поднимутся)- Plex внутри CT116 остановлен (
restart=no) — служба не работает, дубля нет - CT122 (Tautulli) остановлен и держится
Что осталось: отключить монитор Plex в Uptime Kuma (или убрать CT116 из целей сценария), иначе автоматика будет поднимать контейнер. Функционального вреда нет: Plex не запущен, но контейнер занимает ~150–200 МБ фактической памяти.
Вывод: это не сбой остановки, а работа автоматики самовосстановления — её и нужно поправить (задача на следующий шаг).
18. УДАЛЕНИЕ CT116 / CT122 / CT160 (по решению владельца)
| CT | Что было | Что сделано |
|---|---|---|
| CT116 | plex-lxc, 4 ГБ | финальный vzdump → удалён |
| CT122 | tautulli-lxc, 512 МБ | финальный vzdump → удалён |
| CT160 | llm-lxc, 4 ГБ (остановлен) | финальный vzdump → удалён |
архив: /mnt/archive/retired-2026-11-07 (5.2 ГБ, вне ротации)
116 — 696 МБ, 122 — 614 МБ, 160 — 4 238 МБ
Снято с автоматик:
- vzdump-задания:
exclude 115,160→exclude 115;vmid 104,115,160→vmid 104,115 - onboot: был выставлен 0 до удаления
- Kuma: мониторы Plex (116) и Tautulli (122) —
active=0 - репозиторий: удалён
deploy/ct116
Итог: 33 → 30 CT, все ключевые сервисы живы.
19. ЕЖЕМЕСЯЧНЫЕ RESTORE-УЧЕНИЯ
Добавлено (по моему плану, п.10):
/usr/local/bin/hub-restore-drill.sh
hub-restore-drill.service + .timer (OnCalendar=*-*-01 05:30, Persistent=true)
лог: /var/log/hub-restore-drill.log
Первый прогон:
Immich: восстановлено таблиц: 58
Paperless: документов в восстановленной БД: 1
Тестовые БД удаляются после проверки — данные не затрагиваются.
20. ОБЩАЯ МОДЕЛЬ
Составлена отдельным документом: MODEL-FORMULA.md — формула системы,
кто за что отвечает, границы, что добавить/убрать, методика решений, план задач.