Files
buryan-infra/docs/AUDIT-FULL-2026-10-19.md
T

392 lines
23 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Полный аудит Buryans Hub — 19.10.2026
Документ для передачи в новую ветку. Содержит: что построено, что сделано,
текущее состояние каждой службы, известные проблемы и план работ.
---
## 0. ОБНОВЛЕНИЕ: вечер 19.10.2026
После этого аудита прошёл спринт по единому входу. Подробный отчёт —
`docs/SPRINT-2026-10-19-SSO.md` в репозитории, скрипты —
`ops/sso/2026-10-19/`. Ниже только изменения к разделам 7 и 8.
### Что исправлено (проверено живым входом)
| Было в аудите | Настоящая причина | Состояние |
|---|---|---|
| `books/catalog/` цикл | провайдеру не разрешён адрес возврата `/catalog/oauth2/callback` + имя cookie совпадало с Calibre | ✅ работает |
| **backup** вёл на Grafana | прокси смотрел на `113:3000`; Duplicati в `111:8200` | ✅ Duplicati |
| **vault** отказ доступа | прокси с провайдером **без приложения** в Authentik | ✅ прямой доступ + родной SSO |
| **Nextcloud** 500 | сломанное приложение Talk (`spreed`) валило вход | ✅ вход работает |
| **plex** 400/401 | Plex не принимает заголовки прокси | ✅ вход через Authentik проходит, дальше ждёт Plex (см. ниже) |
| **meals** 401 | — | ✅ Mealie открывается после единого входа |
| Sonarr/Radarr/Prowlarr «база не найдена» | `AuthenticationMethod` лежит в `config.xml`, не в базе | ✅ родной вход отключён (`External`) |
| — | `headscale.buryans.ru` вёл на прокси Node-RED | ✅ исправлено |
| — | 502 после успешного входа (малый буфер заголовков nginx) | ✅ буферы подняты на двух хостах |
| — | экран согласия при каждом входе (35 провайдеров) | ✅ убран |
| — | FreshRSS не сохранял данные (путь монтирования) | ✅ исправлено, данных нет |
| — | `requests` 403 (два домена, один адрес возврата) | ✅ 301 на `ombi` |
**16 служб проверены сквозным входом**: git, n8n, flow, media, music, books,
books/catalog, sonarr, radarr, prowlarr, bazarr, meals, status, hub, backup,
files. Инструмент проверки — `/root/login-check.py`, служебная учётная запись
`sso-check` (пароль в `/root/.buryan-sso-check-password`, права 600).
### Осталось (причины проверены, см. отчёт)
`links` (Linkding: заголовок не впускает) · `finance` (у Firefly не включён
`remote_user_guard` — нет `AUTHENTICATION_GUARD`) · `docs` (Paperless: нет ни
OIDC, ни remote-user) · `adguard` (штатного SSO нет — решить) · `vault`
(нужен ли родной SSO кроме своего входа) · `plex` (свой вход или разрешить
сети прокси) · `immich` (родной OIDC не настроен) · `tautulli`, `grafana`,
`prometheus` (нет блоков nginx; прокси Tautulli готов).
### Новые риски (важнее задач из раздела 8)
| Риск | Факты |
|---|---|
| ✅ **Диск копий был почти полон** | было 94% (6 ГБ свободно), ротация запущена — стало 72% (27 ГБ) |
| ✅ **CT 111 без копий** | добавлен в расписание (вс 05:15), копия сделана: 3,3 ГБ |
| **Копии не у всех** | архивы у 10 контейнеров из 30: нет 102, 103, 106, 107, 116–127, 134, 161; CT 151 — только `pg_dumpall` |
| ✅ **Ротация реже копий** | была раз в неделю — переведена на ежедневно 06:30 |
| **FreshRSS пуст** | данных нет и восстановить нечем — заводить заново |
---
## 1. Инфраструктура
### Узлы
| Узел | Адрес | Роль |
|---|---|---|
| **Proxmox (дом)** | `192.168.1.10`, `100.64.0.3` | гипервизор, 30 LXC, nginx на хосте |
| **VPS** | `193.233.210.184`, `100.64.0.2` | внешний вход, VPN, звонки, headscale |
| **Домашний шлюз** | CT 161, `192.168.1.161` | sing-box, 4 канала VPN, прокси :7890 |
| **Общий PostgreSQL** | CT 151, `192.168.1.151` | 40+ баз всех служб |
| **Домен** | `buryans.ru` | регистратор Beget, A-записи на VPS |
### Потоки
```
интернет → VPS:443 (nginx) → Tailscale → дом → службы
дом → AdGuard (192.168.1.107) → 192.168.1.10 → службы
VPN → VPS:10443/2087/8444 → интернет
```
**Важно:** путь VPS → дом имеет задержку **236–312 мс** и потери до 5%.
На VPS и PVE включён **BBR**, TCP настроен под потери.
---
## 2. Контейнеры (30 LXC)
| CT | Имя | Что внутри |
|---|---|---|
| 101 | proxy-lxc | promtail (NPM остановлен) |
| 102 | portal-lxc | **Dashy** + oauth2-proxy |
| 103 | media-lxc | **Jellyfin** + oauth2-proxy |
| 104 | (VM) | **Immich** |
| 105 | files-lxc | **Paperless** (рабочий) + Syncthing + redis |
| 106 | smart-lxc | **Home Assistant**, Zigbee2MQTT, Mosquitto |
| 107 | utils-lxc | **AdGuard**, **Uptime Kuma**, 2 прокси |
| 108 | automation-lxc | **n8n**, **Node-RED**, tg-admin-bot, 2 прокси |
| 109 | cloud-lxc | **Nextcloud**, **Vaultwarden**, MySQL |
| 110 | office-lxc | **Firefly**, **Mealie**, прокси Paperless |
| 111 | reading-lxc | **Calibre-Web Automated**, **каталог книг**, **книжный бот**, FreshRSS, Duplicati |
| 113 | backup-lxc | **Grafana**, **Loki**, прокси |
| 114 | authentik-security | **Authentik 2026.8.4** + PostgreSQL, Redis |
| 115 | OpenClaw | **OpenClaw**, swarm-redis, nats |
| 116 | plex-lxc | **Plex** + прокси |
| 117 | sonarr-lxc | **Sonarr** + прокси |
| 118 | radarr-lxc | **Radarr** + прокси |
| 119 | prowlarr-lxc | **Prowlarr** + прокси |
| 120 | bazarr-lxc | **Bazarr** + прокси |
| 121 | overseerr-lxc | **Overseerr** + прокси |
| 122 | tautulli-lxc | **Tautulli** + прокси |
| 125 | navidrome-lxc | **Navidrome** + прокси |
| 127 | linkwarden-lxc | **Linkding** + прокси |
| 134 | prometheus-lxc | **Prometheus**, **Alertmanager**, webhook |
| 139 | syncthing-lxc | **Syncthing** |
| 140 | gitea-lxc | **Gitea** + прокси |
| 151 | postgres-rbac-lxc | **PostgreSQL** (общая) |
| 155 | matrix | **Synapse**, **Element**, mautrix-telegram, LiveKit, coturn |
| 160 | llm-lxc | LLM (не задействован) |
| 161 | gateway-lxc | **sing-box** VPN-шлюз |
| 201 | headscale-lxc | headscale (домашний, остановлен) |
---
## 3. Что сделано за эту работу
### 3.1 Единый вход (Authentik)
* **23 сервиса** под входом, у каждого свой домен и свой адрес возврата.
* Проверено живьём: `adguard -> https://adguard.buryans.ru/oauth2/callback` и т.д.
* **8 доменов** со своей авторизацией: Nextcloud (OIDC внутри),
Home Assistant, Immich, Syncthing, Proxmox, Matrix, Authentik, Headscale.
* **8 псевдонимов**: chat, flow, recipes, requests, rss, ns1, www, turn.
* Создано 11 новых провайдеров через API.
### 3.2 Найденные и исправленные причины отказов
| Проблема | Причина | Исправление |
|---|---|---|
| **500 на всех новых сервисах** | у 11 провайдеров было **0 областей доступа** → токен без scope → userinfo 403 | скопированы области `openid email profile` с рабочего провайдера |
| **500 после входа (раньше)** | Authentik 2026.8 отдавал `email_verified: false` жёстко | правка сопоставления email |
| **502 у 6 служб** | прокси смотрели на `172.17.0.2` — docker-адрес, менявшийся при перезапуске | заменено на LAN-адреса |
| **n8n показывал картинку** | `N8N_EDITOR_BASE_URL=http://192.168.1.108:5680/` | заменено на `https://n8n.buryans.ru/` |
| **Gitea показывал картинку** | `ROOT_URL` внутренний | заменено на `https://git.buryans.ru/` |
| **Сторож поднимал отключённое** | `buryan-agent` перезапускал ЛЮБОЙ остановленный контейнер | в 28 CT: не трогать при `restart=no` |
| **VPN: все каналы «мертвы»** | urltest выбирал сыплющийся hysteria2; проверка шла на недоступный gstatic | hysteria2 убран из автоподбора, проверка на cloudflare |
| **Книжный бот висел** | последовательный поиск по 5 источникам с таймаутами | параллельный поиск, лимит 45 с, свободный текст |
### 3.3 Книжное направление
| Компонент | Адрес / место | Состояние |
|---|---|---|
| **Calibre-Web Automated** | `books.buryans.ru` | работает, автоприём из папки проверен |
| **Каталог чтения** | `books.buryans.ru/catalog/` | 181 книга, 45 серий; **сейчас цикл перенаправления** |
| **Поисковик книг** | `/root/book_finder.py` | 7 источников, 15 из 25 найдено |
| **Книжный бот** | `@bot_books` | работает, свободный текст |
| **Telegram-загрузчик** | контейнер `telegram-books` | собран, ждёт `api_id`/`api_hash` |
### 3.4 Прочее
* **Paperless**: два экземпляра сведены к одному (CT 105), второй остановлен.
* **FreshRSS**: старый дубль остановлен.
* **NPM** остановлен (0 запросов, домены обслуживает nginx на хосте).
* **Домашний headscale** остановлен (узлов не было).
* **Home Assistant** выведен из Authentik по решению владельца.
* **`flow.buryans.ru`** исправлен: вёл на n8n, теперь на **Node-RED**.
* **Nextcloud**: двойной провайдер Authentik убран, вход через `user_oidc`.
---
## 4. Базы данных
### Общий PostgreSQL (CT 151, `192.168.1.151`)
Активные: `authentik_db`, `matrix_db`, `matrix_telegram_db`, `gitea_db`,
`n8n`, `nextcloud_db`, `vaultwarden_db`, `grafana_db`, `firefly_db`,
`mealie_db`, `paperless_main`, `paperless_db`, `immich_db`, `headscale`,
`sonarr_db`, `radarr_db`, `prowlarr_db`, `bazarr_db`, `*_logs`.
### На своих файловых базах (SQLite)
| Служба | Файл |
|---|---|
| Jellyfin | `jellyfin.db` |
| Paperless (CT 105) | `db.sqlite3` |
| Home Assistant | `home-assistant_v2.db` |
| Uptime Kuma | `kuma.db` |
| OpenClaw | `openclaw.sqlite` |
| Sonarr / Radarr / Prowlarr / Bazarr | свои `*.db` (и базы в PG — **какая рабочая, не выяснено**) |
| Tautulli | `tautulli.db` |
| Navidrome | `navidrome.db` |
| Gitea | `gitea.db` (и `gitea_db` в PG) |
| Overseerr | `db.sqlite3` |
| Calibre | `app.db` |
| Vaultwarden | `db.sqlite3` |
### Дубли баз в PostgreSQL
Остатки перевода кодировки: `*_pre_utf8_*`, `*_ascii_*` — **не удалены**,
требуют сверки.
---
## 5. Доступ и безопасность
| Механизм | Состояние |
|---|---|
| Authentik | 2026.8.4, версия закреплена по digest, DB UTF8 |
| Вход | 23 домена через Authentik, 8 со своей авторизацией |
| Провайдеры | 35, у всех области доступа и адреса возврата |
| Fail2ban на VPS | работает |
| VPN | 4 канала: VLESS+TLS, Reality, Reality-2053, XHTTP; hysteria2 **отключён** |
---
## 6. Наблюдение и копии
| Компонент | Состояние |
|---|---|
| **Uptime Kuma** | `status.buryans.ru` |
| **Prometheus + Alertmanager** | CT 134, 7 правил оповещения |
| **Grafana + Loki** | CT 113 |
| **Проверки служб** | 58 проверок каждые 5 минут, все зелёные |
| **Копии контейнеров** | vzdump по расписанию, 22 архива |
| **Копии PostgreSQL** | ежедневно 02:00, `pg_dumpall`, 33 МБ, 14 дней |
| **Проверка копий** | ежедневно 06:00 — восстановление и сверка данных (40 баз) |
| **Копии наружу** | **НЕТ** — только локально, `/mnt/backups` |
---
## 7. Известные проблемы (по проверке владельцем)
### Двойной (родной) вход — остаток после спринта 19.10 (см. раздел 0)
| Сервис | Что нужно |
|---|---|
| adguard | нет штатного доверия прокси — либо родной вход, либо отключить |
| docs (Paperless) | ни OIDC, ни remote-user не настроены — выбрать механизм |
| element | просит вход **в Matrix** (нужен SSO в Synapse) |
| finance (Firefly) | `remote_user_guard` **не включён**: нет `AUTHENTICATION_GUARD` в окружении |
| links (Linkding) | `LD_ENABLE_AUTH_PROXY=True`, но заголовок не впускает — разобрать |
| immich | умеет OIDC нативно — настроить |
| plex | прокси пускает, дальше 401 от самого Plex — свой вход или разрешить сети прокси |
| vault (Vaultwarden) | прокси убран, служба доступна напрямую, родной SSO есть |
| home (HA) | свой вход, так решено |
| ~~git (Gitea)~~ | ✅ проверено: вход сразу в Gitea |
| ~~media (Jellyfin)~~ | ✅ проверено: вход сразу в Jellyfin |
| ~~music (Navidrome)~~ | ✅ проверено: вход сразу в Navidrome |
| ~~prowlarr / radarr / sonarr~~ | ✅ родной вход отключён (`External` в `config.xml`) |
### Остальные отказы
| Сервис | Ошибка | Состояние |
|---|---|---|
| `books/catalog/` | цикл перенаправления | ✅ причина: адрес возврата провайдера + совпадение cookie |
| **backup** | ведёт на **Grafana** | ✅ прокси переведён на Duplicati (`111:8200`) |
| **meals** | 401 | ✅ Mealie открывается после единого входа |
| **plex** | 400 | ✅ 400 нет; после входа Plex сам отдаёт 401 |
| **vault** | «в удовлетворении отказано» | ✅ причина: провайдер без приложения; прокси убран |
| **Nextcloud** | 500 на возврате | ✅ причина: сломанное приложение Talk (`spreed`) |
| **headscale** | 403 | ✅ домен вёл на прокси Node-RED; теперь 200 |
| **files** | два Authentik | ✅ исправлено — провайдер один |
### Инфраструктурные
| Проблема | Детали |
|---|---|
| **Пустая библиотека книг** | Calibre пуст, каталог Полины — учёт чтения, не файлы |
| **Копии только локально** | нужен второй носитель / облако |
| **Диск копий 94%** | `/mnt/backups`: свободно 6 ГБ из 98 — новые копии не влезут |
| **CT 111 без копий** | книги, каталог, Duplicati, FreshRSS — архивов нет |
| **Дубли баз** | `*_pre_utf8_*` в PostgreSQL |
| **Двойные базы arr** | ✅ выяснено: arr работают на PostgreSQL, файлы `*.db` — остатки |
| **FreshRSS пуст** | данных нет, восстановить нечем |
| **hysteria2** | отключён, не починен |
| **Нет доменов** | Tautulli, Grafana, Prometheus, Alertmanager (A-записи сделаны, nginx не настроен) |
| **Задержка VPS ↔ дом** | 236–312 мс, потери 5% |
| **Второй VPS** | нет — единая точка отказа |
---
## 8. План работ (по приоритету)
### Блок A. Завершить единый вход
| № | Задача |
|---|---|
| A-1 | ✅ Развести Duplicati и Grafana по портам (backup ведёт не туда) |
| A-2 | ✅ Починить цикл перенаправления каталога книг |
| A-3 | ✅ Sonarr/Radarr/Prowlarr: найти рабочую базу и отключить родной вход |
| A-4 | Настроить OIDC нативно: Mealie (✅ работает через прокси), Immich, Grafana |
| A-5 | Element: SSO в Synapse (MAS) — одна кнопка вместо пароля |
| A-6 | ✅ Vaultwarden: разобраться с отказом доступа |
| A-7 | Plex: решить — свой вход или разрешить сети прокси (прокси уже пускает) |
| A-8 | ✅ Nextcloud: 500 на возврате — причина найдена (приложение Talk) |
| A-9 | AdGuard, Linkding, Jellyfin (✅ работает): решить — родной вход или отключение |
| A-10 | Firefly: включить `remote_user_guard` (сейчас не включён) |
| A-11 | Paperless: выбрать механизм входа (OIDC или remote-user) |
### Блок B. Домены для доп. сервисов
| № | Задача |
|---|---|
| B-1 | `tautulli.buryans.ru` — блок nginx, сертификат (прокси и адрес возврата готовы) |
| B-2 | `nodered.buryans.ru` — сейчас `flow`, нужен свой |
| B-3 | `grafana.buryans.ru`, `prometheus.buryans.ru`, `alertmanager.buryans.ru` |
| B-4 | `grafana-oidc`: адрес возврата внутренний (`http://192.168.1.113:3000/...`) |
### Блок C. Базы данных
| № | Задача |
|---|---|
| C-1 | ✅ arr работают на PostgreSQL (`sonarr_db`/`radarr_db`/`prowlarr_db`); файлы `*.db` — остатки, в архив |
| C-2 | Перевести на общий PostgreSQL: Navidrome, Linkding, Uptime Kuma |
| C-3 | Удалить дубли `*_pre_utf8_*` после сверки |
| C-4 | Paperless CT 105: перевести с SQLite на общий PostgreSQL |
### Блок D. Библиотека книг
| № | Задача |
|---|---|
| D-1 | Наполнить библиотеку (сейчас 0 книг) |
| D-2 | Загрузить каталог Полины как профиль читателя |
| D-3 | Telegram-загрузчик: `api_id`/`api_hash`, вход, каналы |
| D-4 | Автоматический поиск новых книг по расписанию |
| D-5 | Статистика чтения по профилям |
### Блок E. Интеграция сервисов
| № | Задача |
|---|---|
| E-1 | Уведомления Home Assistant → Matrix |
| E-2 | Календарь Nextcloud → Home Assistant |
| E-3 | Обновить Dashy под все адреса (отдельный спринт дизайна) |
| E-4 | Единый поиск по сервисам |
| E-5 | n8n: сценарии между службами (книги, копии, тревоги) |
| E-6 | Гид-бот в Matrix для всех пользователей с обратной связью |
### Блок F. Надёжность
| № | Задача |
|---|---|
| F-1 | Копии наружу (облако или второй сервер) |
| F-2 | Второй VPS (снять единую точку отказа) |
| F-3 | hysteria2: переделать или убрать |
| F-4 | Расширить диски arr-служб (3,9 ГБ мало) |
| F-5 | Проверить бэкап Home Assistant |
| F-6 | Аудит прав по группам в Authentik |
| **F-7** | ✅ Освободить `/mnt/backups` — ротация переведена на ежедневную, 94% → 72% |
| **F-8** | ✅ CT 111 добавлен в расписание копий и проверен (3,3 ГБ) |
| F-9 | Проверить покрытие: архивы у 10 контейнеров из 30; добавить 102, 103, 106, 107, 116–127, 134, 161 |
---
## 9. Ключевые пароли и файлы
| Что | Где |
|---|---|
| Токен API Authentik | `/root/.authentik-api-token` (права 600) |
| Секреты прокси | `/root/sso-clients.txt` |
| Пароль служебной учётки проверки входа | `/root/.buryan-sso-check-password` (600) |
| Токен книжного бота | `/root/.book-bot-token` |
| Уведомления | `/root/.buryan-notify.env` |
| Ключ LiveKit | `/opt/element-call/livekit.yaml` |
| Конфиг VPN-шлюза | `/opt/sing-box/config.json` (CT 161) |
---
## 10. Репозиторий
`http://192.168.1.140:3000/agent-qwen/buryan-infra`, ветка `main`.
Ключевые документы:
* `docs/TASKS.md` — реестр задач (95+)
* `docs/SERVICES-TABLE.md` — таблица сервисов
* `docs/SERVICES-CHECKLIST.md` — чек-лист для проверки
* `docs/FIX-500-ROOT-CAUSE.md` — причина 500
* `docs/FIX-INTERNAL-URLS.md` — внутренние адреса
* `docs/SPRINT-2026-10-18-NIGHT.md` — ночной спринт
* `docs/BOOKS-LIBRARY.md`, `docs/BOOK-BOT.md` — книги
* `ops/` — скрипты по разделам
---
## 11. Уроки (что не повторять)
1. **Проверять не факт создания, а результат.** Провайдеры создались — а
областей доступа не было. Отсюда 500 у 11 сервисов.
2. **Не менять compose заменой строк.** Склеил переменные в одну строку —
n8n перестал запускаться. Только построчно + `docker compose config`.
3. **Не скрывать stderr при создании контейнера.** Иначе «создалось», а
на деле нет.
4. **Не менять MTU «на глаз»** — сломал передачу, откатывал.
5. **Отключая службу — убирать её из наблюдения** в том же действии.
6. **Обновления Authentik ломают вход тихо** — проверять вход после каждого.