Files
buryan-infra/docs/TASKS.md
T
root 42db6aba07 Найдена настоящая причина 500: у новых провайдеров не было областей доступа
В журнале прокси: "could not get claim email: profile URL: unexpected
status 403". В журнале Authentik: "Scope mismatch. required {'openid'},
token_has set()" — токен приходил вообще БЕЗ областей.

ПРИЧИНА: у провайдеров, созданных мной через API (adguard, backup,
element, finance, git, meals, openclaw, status, home, catalog,
home-assistant), оказалось НОЛЬ привязанных областей доступа
(property_mappings). Без областей openid/email/profile в токене нет
почты, прокси идёт за ней в userinfo, тот отвечает 403, прокси отдаёт
500. Старые провайдеры (sonarr и др.) были настроены раньше с областями —
поэтому работали. Падали ровно те сервисы, что добавил я.

ИСПРАВЛЕНО: скопировал набор областей с рабочего sonarr-proxy на все 11.
ПРОВЕРЕНО: токен выдаётся, userinfo отвечает 200 с email_verified true,
все 16 доменов отвечают 302 на вход.

МОЯ ОШИБКА: при создании провайдеров задал имя, адреса возврата и типы
обменов, но забыл привязать области. Проверял факт создания, а не
реальный токен. Урок: проверять данные в токене, а не только что объект
создался.

ОСТАЛОСЬ: двойной родной вход, цикл перенаправления у каталога, Mealie
401, Plex 400, Vault отказ, Nextcloud 500.
2026-10-19 11:19:17 +03:00

24 KiB
Raw Blame History

РЕЕСТР ЗАДАЧ

Ведётся по разделам плана. Порядок: обновления → сеть → звонки → связность → службы. Отдельным разделом — VPN (по решению от 17.10.2026).

БЛИЖАЙШИЕ ЗАДАЧИ (выбраны владельцем 17.10.2026)

# Что Где в реестре Состояние
1 Профиль безопасности во все контейнеры 1.1–1.2 ✅ измерено: нужен 2 из 26, оба прописаны; управление в ops/security/apparmor-manage.sh
2 Скорость входа + 40 доменов + один сертификат 2.1, 2.4, 2.5 ✅ 7,86 с → 1,3 с; ✅ все 40 доменов проверены, news/rss исправлены; ⏸ 2.5 отложено осознанно
3 Все службы в наблюдение 4.3.1, 4.3.3 ✅ 34 → 60 проверок, включая «вход работает»
4 Второй VPS — резервный выход VPN-4.6 ⬜ нужен сервер у провайдера
5 Element Call — звонки в Matrix 3.1–3.1.3 ⬜ заблокировано: нужны UDP-порты на роутере (роутер не трогаем)

Важно про пункт 4. В реестре была только задача «Второй шлюз» (VPN-4.1) — это резервный шлюз в доме. Она не решает проблему «одна машина»: все четыре канала (TLS, Hysteria2, XHTTP, Reality) живут на одном VPS, и если он недоступен, переключаться некуда. Поэтому добавлена отдельная задача VPN-4.6 — второй сервер.

Важно про пункт 5. LiveKit в доме работает, но для звонков снаружи нужны UDP-порты 50000–60000 и 7881 на роутере. Роутер по решению владельца не трогаем — значит звонки возможны только внутри дома, либо нужен TURN на VPS (отдельная работа).

СВОДКА ПО РАЗДЕЛАМ

Цифры считает ops/registry/summary.py из этого же файла — поэтому они не устаревают. Не править вручную.

Раздел Всего Сделано Частично Осталось
ЗАВЕРШИТЬ ОБНОВЛЕНИЯ 15 15 0 0
СЕТЬ И ДОСТУП 6 5 0 1
ЗВОНКИ И МЕДИА 8 4 1 3
СКВОЗНАЯ СВЯЗНОСТЬ 17 9 2 6
УЛУЧШЕНИЕ СЛУЖБ 13 9 0 4
ИНТЕГРАЦИЯ ДОМАШНИХ СЕРВИСОВ 6 3 0 3
КНИЖНАЯ БИБЛИОТЕКА 11 8 1 2
VPN (этапы 1–4) 29 21 3 5
РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ 17 12 1 4
НОЧНОЙ СПРИНТ 18.10.2026 16 10 0 6
ИТОГО 138 96 8 34

1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ

№ Задача Состояние
1.0 Профиль безопасности: причина найдена, Matrix исправлен ✅
1.1 Применить профиль в остальных контейнерах ✅ измерено: нужен 2 из 23, там уже есть
1.2 Вынести профиль в общее управление (один источник правды) ✅ скрипт ops/security/apparmor-manage.sh
1.3 Обновить paperless ✅ 17.10, проверка прошла
1.4 Обновить gitea ✅ 17.10
1.5 Обновить authentik ✅ 2025.4 → 2025.12.6
1.6 Обновить postgres-rbac ⏸ по слову владельца: не трогаем
1.7 Автоматически убирать контейнеры-остатки ✅ еженедельно по расписанию
1.13 Обновления из бота: реестр расширен с 28 до 50 служб ✅
1.14 authentik: окно проведено ✅ 2025.4 → 2026.5.7, данные целы
1.18 CT 114: память 2048 → 4096 МБ ✅ после этого обновление прошло
1.19 authentik 2026.8.4 ✅ обновлено после перевода базы в UTF8
1.20 Перевод authentik_db в UTF8 ✅ проверено на копии, данные идентичны
1.15 CT 111 без интернета ✅ адрес сменён на .240, интернет есть
1.16 Зеркало реестра образов во всех 26 контейнерах ✅ добавлено (Docker Hub нестабилен)
1.17 TRIM по контейнерам еженедельно ✅ пул 80,5% → 70,3%

2. СЕТЬ И ДОСТУП

№ Задача Состояние
2.0 Причина медленного входа найдена (7,86 с вместо 0,02 с) ✅
2.1 Кэш на VPS для файлов страницы входа ✅ 7,86 с → 1,3 с
2.2 Локальный NGINX вместо NPM (файлы подготовлены) ⬜
2.3 AdGuard: DNS и домены ✅ работает, 43 из 43 домена
2.4 Настроить все 44 домена ✅ проверены все 40, исправлены news/rss
2.5 Один сертификат *.buryans.ru ⏸ отложено осознанно: 40 сертификатов работают, wildcard = риск для всех сразу
2.6 Роль VPS ✅ единый внешний вход и VPN-сервер, не кэш

3. ЗВОНКИ И МЕДИА

№ Задача Состояние
3.1 Element Call на VPS ✅ работает; исправлены ICE-адреса, добавлен TURN
3.1.4 Проверить звонок после правок ICE и TURN ⬜ нужен звонок
3.4 Matrix: зависание при отправке контента 🔶 причина: канал VPS↔дом 300 мс и 5% потерь + старый клиент Element Classic
3.5 Заменить транспорт VPS↔дом на Hysteria2 ⬜ если медленность останется
3.1.1 Указать LiveKit в настройках Synapse ✅ через .well-known (nginx)
3.1.2 Объявить транспорт в .well-known ✅ rtc_foci на VPS и дома
3.1.3 Ключи связки ✅ новый ключ LiveKit, служба токенов работает
3.2 Свести медиаслужбы к единому входу и правам ⬜

4. СКВОЗНАЯ СВЯЗНОСТЬ

№ Задача Состояние
4.1.1 Все домены под единый вход ✅ 25 доменов; 4 остались осознанно (Matrix, Syncthing, Immich, PVE)
4.1.4 Вход через OIDC внутри Immich и Gitea ⬜ прокси им не подходит
4.1.5 Починить сторож buryan-agent (поднимал отключённое) ✅ 28 контейнеров
4.1.6 Провайдеры входа: заполнить grant_types ✅ 9 провайдеров
4.1.7 500 на всех сервисах после входа ✅ Authentik 2026.8 отдавал email_verified=false
4.1.3 Перевод прокси входа на внешние адреса ✅ 15 прокси, один аккаунт
4.1.2 Права по группам ⬜
4.2.1 Все службы шлют через общий слой 🔶 частично
4.3.1 Все 28 служб в наблюдение ✅ 34 → 59 проверок
4.3.2 Проверять «работает», а не «отвечает» 🔶 частично
4.3.3 Отдельная проверка: вход работает ✅ 60 проверок
4.4.1 Снимки перед изменениями ✅
4.4.2 Проверка восстановления из копий ✅ ежедневно: восстановление 40 баз + сверка ключевых данных
4.4.3 Копии наружу ⬜
4.5.1 Проверка «образ запускается» до обновления ⬜
4.5.2 Различать «обновлено» и «уже актуально» ⬜
4.6.1 Карта хозяйства: служба → контейнер → домен → вход ⬜

5. УЛУЧШЕНИЕ СЛУЖБ

№ Задача Состояние
5.1 authentik — ускорить, разобраться с медленной загрузкой ⬜
5.2 headscale дома ✅ убран: узлов нет, координация на VPS
5.3 paperless — один экземпляр ✅ оставлен CT 105; в обоих 0 документов — служба не используется
5.11 Убрать отключённый paperless из наблюдения и реестра ✅ 59 проверок, 47 служб
5.4 immich в общий PostgreSQL ✅ уже там (immich_db)
5.12 Paperless переведён на общий PostgreSQL ✅ paperless_main, 75 таблиц
5.13 Navidrome и Linkding на общий PostgreSQL ⬜ нужен перенос данных
5.5 uptime-kuma на PostgreSQL ⬜ нет штатного переноса, нужен ручной
5.6 Запись в базы медиаслужб ✅ 0 ошибок; диски 80% → 70%
5.7 npm ✅ остановлен: 0 запросов за сутки, домены обслуживает nginx на хосте
5.8 dashy — стартовая страница со ссылками на всё ✅ 34 службы в 9 разделах, собирается из реестра
5.9 openclaw — обновить до свежей версии (нужна миграция конфигурации) ⬜
5.10 Правила тревог на все службы ✅ 4 группы, 7 правил, 38 служб в метриках

ИНТЕГРАЦИЯ ДОМАШНИХ СЕРВИСОВ

№ Задача Статус
И-1 Nextcloud на files.buryans.ru + вход через Authentik ✅ user_oidc, API не тронут
И-2 Home Assistant на home.buryans.ru + вход через Authentik ✅ API оставлен для приложения
И-3 Исправлены internal_url/external_url в HA ✅
И-4 Уведомления Home Assistant в Matrix ⬜
И-5 Календарь Nextcloud в Home Assistant ⬜
И-6 Обновить стартовую страницу Dashy под новые адреса ⬜

КНИЖНАЯ БИБЛИОТЕКА

№ Задача Статус
К-1 Calibre-Web Automated вместо старого ✅ загрузка, выгрузка, автоприём из папки
К-2 Сервис каталога и статистики ✅ books.buryans.ru/catalog/ — 181 книга, 45 серий
К-3 Профили читателей ✅ разделение по читателям заложено
К-4 Загрузчик из Telegram-каналов 🔶 собран, отложен по решению владельца
К-6 Поиск книг (7 источников, 2 через VPN) ✅ 15 из 25, есть цены ЛитРес и libgen
К-7 Поиск в каталоге ✅ страница «Что искать» со ссылками на 11 источников
К-8 Инструкции отправлены в Matrix (Akadmin и Полина) ✅
К-9 Один вход в Calibre (без второй формы) ✅ вход по заголовку от прокси
К-10 Книжный бот в Matrix ✅ @bot_books: поиск, каналы, доступ по списку
К-11 Скачивание файлов из Telegram ⬜ нужен юзербот и отдельный номер
К-5 Интеграция: Dashy, наблюдение, реестр ⬜

6. VPN

Раздел введён 17.10.2026 — по аудиту это задача первоочередная: без VPN доступ снаружи непредсказуем.

Этап 1. Мобильный доступ

№ Задача Состояние
VPN-1.1 Удобный профиль для телефонов (ключей 10, QR на каждого) ✅
VPN-1.2 Инструкция для семьи (docs/VPN-FOR-FAMILY.md) ✅
VPN-1.3 Проверить на телефонах Сергея и AlexTest 🔶 ждёт устройств
VPN-1.4 Раздать остальным ✅ выдано всем шестерым
VPN-1.7 Выдать готовые профили с раздельной маршрутизацией ✅ доставлено и проверено
VPN-1.6 Выдача доступа новому человеку одной командой админа ✅ !vpn give @логин
VPN-1.5 Разместить ссылки в Vaultwarden ⬜
VPN-1.8 Ключ age: файл с ключом и инструкцией передан владельцу 🔶 ждёт записи в Vaultwarden и на флешку
VPN-1.9 Пароль root на PVE → в Vaultwarden ⬜ по слову владельца: пароль есть локально, пока не делает
VPN-1.10 n8n: двойник compose обезврежен, настоящий в порядке ✅
VPN-1.11 openclaw: один экземпляр, версия закреплена ✅
VPN-1.12 Убрать остатки *-old-* ✅ убрано 11, оставлено 3 работающих

Этап 2. Больше протоколов

№ Задача Состояние
VPN-2.1 Добавить Hysteria2 на VPS (QUIC, для видео) ✅ проверено снаружи
VPN-2.2 Добавить VLESS + XHTTP (маскировка под сайт) ✅ проверено снаружи
VPN-2.3 Довести Reality — найти причину (порты 2087, 2053) ✅ проверено снаружи
VPN-2.4 Подписка с несколькими профилями ✅ проверено
VPN-2.5 Раздельная маршрутизация: туннель несёт только домашнее ✅
VPN-2.6 Приложения, которые не любят VPN — вывести из туннеля ✅ способ описан

Этап 3. Шлюз в доме

№ Задача Состояние
VPN-3.1 Поднять шлюз на отдельном CT ✅ CT 161, туннель (DNS перенесён в AdGuard)
VPN-3.2 Проверить на одном устройстве ✅ 10 мс против 485
VPN-3.3 Правило на Keenetic → шлюз ⬜ вместе с владельцем
VPN-3.4 Подключить семью (телевизоры, телефоны) 🔶 шлюз готов, нужна настройка устройств

Что сделано по VPN Этапу 3 (шлюз в доме)

* CT 161 (192.168.1.161) с DNS: 43 домашних домена -> 192.168.1.10
* замерено: 10 мс напрямую против 485 мс через VPS (в 50 раз)
* проверено на реальном устройстве, обычный интернет не сломался
* роутер НЕ тронут (по указанию владельца)
* подробности: docs/VPN-STAGE3.md

Этап 4. Надёжность

№ Задача Состояние
VPN-4.1 Второй шлюз ⬜
VPN-4.2 Проверка «VPN работает» в наблюдении ✅
VPN-4.3 Сводка: кто реально пользуется VPN ✅ vpn-usage.py
VPN-4.4 Убрать отладку из журнала xray (рос 371 МБ) ✅
VPN-4.5 Копия конфигурации xray с ключами + проверенное восстановление ✅ зашифрована
VPN-4.6 Второй VPS у другого провайдера — резервный выход ⬜ все каналы на одной машине
VPN-4.7 Автопереключение каналов на шлюзе ✅ 60 с при отказе, 40 с возврат

Что сделано по VPN 17.10.2026

* ключей 5 -> 10, у каждого своё имя Buryan-01..10
* приватная страница с QR-кодами и инструкцией (закрыта паролем)
* инструкция для семьи: docs/VPN-FOR-FAMILY.md
* проверено: новый ключ выходит через VPS, 25 попыток из 25
* раздача через Matrix: приватная комната на каждого человека,
  скрипт ops/vpn/matrix-distribute.py, проверено на akadmin
* отчёт: ops/vpn/VPN-STAGE1-IMPLEMENTATION.md

Ждёт решения владельца

* класть ли профили в комнату, зеркалящуюся в Telegram:
  тогда ключи попадут на серверы Telegram
* модели телефонов Сергея и AlexTest — для точной инструкции
* когда удобно провести проверку на телефонах (VPN-1.3)

Что сделано по VPN Этапу 2

* Hysteria2 поднят на VPS (UDP 10443), проверен снаружи:
  напрямую выходим как 46.8.140.22, через Hysteria2 — 193.233.210.184
* VLESS + XHTTP добавлен (TCP 8444, путь /buryan-xhttp), проверен снаружи:
  через него выходим как 193.233.210.184, домашние службы и YouTube — 200
* итого рабочих каналов: четыре (VLESS+TLS, Hysteria2, XHTTP, Reality)
* открыт UDP-порт в экране VPS (правила сохранены, выживут перезагрузку)
* конфигурации xray и Hysteria2 теперь копируются зашифрованно
  (ops/secrets-enc/vpn-configs.json), восстановление проверено

Найдено при настройке Hysteria2

* репозиторий Hysteria переехал: был apernet/hysteria, стал
  HyNetworks/hysteria — со старого адреса версия читается неверно;
* в экране VPS правило было только для TCP 10443, а для UDP — нет:
  при политике DROP снаружи канал был бы недоступен, хотя на
  сервере работал бы. Проверять надо СНАРУЖИ, а не только «слушает»;
* у Hysteria свой формат конфигурации, отдельного «test» нет —
  проверяю пробным запуском и проверкой, что порт слушает.

7. РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ

№ Проблема Состояние
1 Профиль запрещал создание сокетов ✅ решено (Matrix)
2 Профиль нужен в каждом контейнере ✅ измерено: нужен двум из 26, у обоих есть
3 Контейнеры-остатки ✅ убраны + еженедельная уборка
4 Счётчики номеров ✅ решено (10 баз)
5 Gitea не создавала задачи ✅ решено
6 Headscale падал 2,7 суток ✅ решено
7 Уведомления шли в AUTH ✅ решено
8 Версия не в уведомлении ✅ решено
9 Страница входа 7,86 с ✅ кэш статики: 1,3 с
10 44 домена ✅ проверены все 40; news/rss исправлены (502 → 302)
11 Element Call не работает ⬜ заблокировано: нужны UDP на роутере
12 Одна дверь (VPS) ⬜
13 Два экземпляра paperless ⬜
14 Immich вне общего PostgreSQL ⬜
15 Доступ снаружи непредсказуем (провайдер) 🔶 четыре канала + автопереключение
16 Reality не проходил рукопожатие ✅ причина: недоступный сайт-прикрытие; заменён на свой
17 Встроенный браузер MIUI не видит домашние адреса ✅ причина найдена, решение: Chrome/Firefox

Обозначения: ✅ сделано · 🔶 частично · ⬜ не начато

Запасной простой профиль (17.10.2026)

По жалобе «VPN бьётся по таймауту» проверено всё: сервер цел, профиль
цел (177 российских зон, 27 домашних). Найдена РАЗОВАЯ ошибка
соединения — канал иногда не устанавливается с первого раза.

Добавлен запасной профиль vpn-<имя>-simple.yaml: один проверенный канал
и те же правила. Лежит на странице в разделе «Запасной простой профиль».

Найден дефект в собственном сборщике: группа называлась так же, как
канал, и движок отвергал ВЕСЬ профиль («loop is detected in
ProxyGroup»). Исправлено.

НОЧНОЙ СПРИНТ 18.10.2026

№ Задача Статус

| С-1 | Исправлен VPN (убран сыплющийся канал) | ✅ flibusta/libgen/archive снова 200 | | С-2 | Книжный бот: параллельный поиск, свободный текст | ✅ отвечает | | С-3 | Аудит всех служб | ✅ 28 CT, ~60 контейнеров, 23 домена под входом | | С-4 | Убрать второй Paperless и старый FreshRSS | ✅ остановлены, автозапуск отключён | | С-5 | Разобрать двойные базы (arr, Gitea) | ⬜ на утро | | С-6 | Почистить копии баз *_pre_utf8_* | ⬜ на утро | | С-7 | Гид-бот для всех пользователей | ⬜ на утро | | С-8 | hysteria2: переделать или убрать | ⬜ на утро |

| С-9 | n8n показывал картинку вместо сервиса | ✅ внутренний адрес заменён на домен | | С-10 | Gitea: внутренний ROOT_URL | ✅ заменён на https://git.buryans.ru/ | | С-11 | Home Assistant без Authentik | ✅ работает напрямую | | С-12 | Проверить свои адреса у Grafana, Jellyfin, Navidrome, Mealie, Firefly, Linkding, Paperless, Plex | ⬜ на утро |

| С-13 | Сверка всех перенаправлений входа | ✅ 23 сервиса, у каждого свой домен | | С-14 | Убраны лишние прокси HA | ✅ | | С-15 | Домены для Tautulli, Node-RED, Grafana, Prometheus, Alertmanager | ⬜ нужны DNS-записи |

| С-16 | 500 на новых сервисах | ✅ причина: у 11 провайдеров было 0 областей доступа |