Первый шаг проекта: база hub_core (UTF8) на общем PostgreSQL, служба
hub-core на порту 9120.
Умеет: принимать события от сервисов (POST /event), вести карточки
сущностей (kind + key, статус, внешние ключи), связывать карточки,
искать и показывать последние события, публиковать важное в личку
владельцу через Matrix.
Проверено: событие radarr/media.imported записалось, карточка
«фильм | Дюна: часть вторая» создалась с кириллицей.
По пути: systemd разбивал DSN по пробелам (нужны кавычки), база была
создана в SQL_ASCII — пересоздана в UTF8.
Описана архитектура связующего слоя: шина событий, граф сущностей,
сверка с реальностью, интеллект поверх общего индекса.
Слои: сервисы (источник правды) → ядро (события, граф, правила) →
интеллект (разбор запросов, поиск, действия) → интерфейс (Matrix, панель).
План из четырёх шагов с проверками на каждом: ядро данных в PostgreSQL,
шина событий, сверка и действия с подтверждением, затем AI.
Принципы: сервисы остаются источником правды, одно направление записи,
идемпотентность, деградация без поломки, сначала предложение — потом действие.
Проверено: в образе Prowlarr определений нет (только бинарник), резервные
копии конфигурации их не содержат, релизов у Prowlarr/Indexers нет — только
ветки с YAML-исходниками, прямые ссылки на indexers.zip отдают 404,
IPv4-обход тоже не работает.
Итог: определения взять изнутри нельзя, нужен внешний источник (Jackett,
туннель или зеркало). Для Telegram выбран Telethon: нужны api_id/api_hash,
номер и код при входе, список каналов.
indexers.prowlarr.com резолвится (188.114.97.3 и IPv6 Cloudflare), но
не отвечает ни по IPv4, ни по IPv6 с узла. github.com при этом доступен —
значит блокировка именно этого домена, а не проблема сети.
Из-за этого архив определений не скачивается (остаётся .part), а встроенный
набор из 77 определений содержит только приватные трекеры плюс Knaben,
Anidex, Anidub, AnimeZ, RuTracker. Публичных 1337x/YTS/TorrentGalaxy нет.
В docs/INDEXERS-ROOTCAUSE.md расписаны три обхода: Jackett со встроенными
определениями (рекомендую), выход Prowlarr через туннель, своё зеркало.
Установлено: indexers.prowlarr.com из контейнера недоступен, прямые ссылки
на indexers.zip отдают 404, архив остаётся недокачанным (.part). Схема
отдаёт 77 определений, но публичных трекеров среди них нет — только
приватные плюс Knaben, Anidex, Anidub, AnimeZ, RuTracker.
Найден правильный способ запуска обновления: POST /api/v1/command
{"name":"IndexerDefinitionUpdate"}.
Добавлен docs/SPRINTS-BACKLOG.md: задания по всем сервисам — индексаторы
и полный цикл медиа, Telegram как источник, переделка ботов, наполнение
контента, наблюдаемость, надёжность.
Спам прекращён: боты вышли из общих комнат (владельца из них убрали),
состоят только в личной переписке. Писать может только владелец —
остальным вежливый отказ; открывается списком ALLOWED_USERS.
Свободный текст теперь не сваливается в подсказку: если команды нет,
бот сохраняет пожелание во «Входящие» (/var/lib/hub-bots/inbox),
отправляет копию владельцу и отвечает номером записи.
Понимание фраз: к точным командам добавлен разбор по основам слов —
«покажи статистику по медиа» выполняется как stats.
Уведомления (Seerr, тревоги, сводки) переведены из комнат в личку.
До спринта цепочки не было: у Jellyfin /media, у arr /opt/media (разные
папки), ноль папок библиотек, ноль загрузчиков, ноль индексаторов.
Сделано: общий том /mnt/media во всех контейнерах (проверено записью из
Sonarr и чтением в Jellyfin); qBittorrent в новом CT 123; корневые папки
/data/series и /data/movies; загрузчик подключён к Sonarr и Radarr (тесты
200); Prowlarr синхронизирует приложения Sonarr и Radarr (тесты 200);
Bazarr подключён к обоим; Seerr переведён на правильные папки.
Тревоги Alertmanager теперь идут в комнату «Инфраструктура» через приёмник
ботов: у разных источников разные комнаты (Seerr — медиа, тревоги —
инфраструктура). Проверено доставкой critical-тревоги.
Осталось: индексаторы — нужны аккаунты трекеров.
Каждый бот теперь личный собеседник: при старте создаёт комнату is_direct
с владельцем и приглашает его. В личке не нужны команды — понимает обычные
слова («статистика», «что нового», «найди дюна»).
Общие комнаты остались, но там бот отвечает только на !команды, чтобы не
встревать в разговор. Уведомления и сводки — туда же.
Боты принимают приглашения: если человек сам начнёт переписку, она станет
личной (признак is_direct в событии приглашения).
Источников стало девять: jellyfin, sonarr, radarr, navidrome, calibre,
linkding, paperless, immich (альбомы), seerr (заявки — видно, что просили,
даже если ещё не скачано).
Все девять собираются без ошибок (проверено). По пути поправил Navidrome
(в схеме нет artist_id, есть album_artist) и Immich (psql не понимает
кириллицу в именах колонок без кавычек — сделал помощник на sh).
Недельная сводка: понедельник 09:30, отдельный файл weekly.py.
Индекс: все семь источников (Jellyfin, Sonarr, Radarr, Navidrome, Calibre,
Paperless, Linkding) в одной базе, пересборка каждые 3 часа. Поиск идёт по
нормализованному полю — SQLite не умеет lower() для кириллицы, поэтому
регистр приводится при сборке. Выгрузки из баз — помощники в контейнерах.
Новые команды: !index (состав индекса), !reindex (пересобрать),
!link (кросс-связи: одно название в разных видах контента),
!gaps (что мешает работать целиком).
Проверено на тестовых записях: «дюна» находится сразу как фильм, книга
и закладка; тестовые записи после проверки удалены.
Приёмник вебхуков в службе ботов: Seerr шлёт события на
http://192.168.1.10:9110/seerr, бот публикует их в комнате «Медиа»
в человеческом виде (что за фильм, кто просил, статус).
Quick Connect в Seerr: включён, код выдаётся. Причина прошлой поломки —
Seerr очистил адрес Jellyfin при первом входе, из-за чего запрос падал
с «Invalid URL». Адрес прописан заново.
Восемь ботов в пространстве Buryan Hub, по комнате на домен. Каждый
отвечает на !help списком своих команд и показывает реальные данные:
Jellyfin (Items/Counts), Sonarr/Radarr (очередь, диски, нехватка),
Seerr (заявки), Prometheus (службы, тревоги), Immich/Calibre/Navidrome
и Home Assistant — через pct.
Ежедневная сводка в 09:00 (cron) в комнату «Дайджесты».
Важное: все библиотеки пусты (0 фильмов, 0 фото, 0 книг, 0 треков),
Frigate не развёрнут — боты говорят об этом честно и подсказывают,
как наполнить. Диск один, внешних хранилищ нет.
Секреты: /etc/hub-bots/bots.env (600), /root/hub-bots/ALL-SECRETS.txt (600),
зашифрованная копия ops/secrets-enc/hub-bots-secrets.age.
Seerr (преемник Overseerr и Jellyseerr): поднят на CT 121, настроен на
Jellyfin, подключены Sonarr и Radarr, домен ombi переведён. Старый
Overseerr удалён.
Тонкости, на которые потратил время: настройки медиасервера требуют уже
открытой сессии (правится только через settings.json), первый вход требует
serverType в теле, Sonarr/Radarr ждут обязательные поля профиля.
Мониторинг: 4 экспортёра exportarr (Sonarr/Radarr/Prowlarr/Bazarr) в
Prometheus, адреса целей — на узел, а не 127.0.0.1 (Prometheus в контейнере).
Добавлены 3 правила: ошибка сбора, очередь, место. Всего 10 правил.
Карта интеграций и план по волнам — docs/INTEGRATIONS-2026-10-19.md.
Jellyfin: поставлен плагин SSO Authentication 5.1.1, создан провайдер
jellyfin-sso, настроен вход (SchemeOverride=https — иначе адрес возврата
шёл как http и Authentik отказывал), домен media переведён напрямую,
8 пользователей заведены, akadmin — администратор.
Vaultwarden: включён админ-токен, созданы заготовки учёток в vaultwarden_db —
SSO привязывает их по почте (штатный приём), мастер-пароль остаётся.
users-sync.sh: одной командой заводит всех из Authentik в Gitea, Nextcloud,
Linkding, Navidrome, Jellyfin, Vaultwarden. Идемпотентно.
Plex и Overseerr: OIDC нет; варианты (PlexSSO, Seerr) описаны в docs.
HA: nginx проверяет вход подзапросом /oauth2/auth, а в HA уходят чистые
запросы через ha-strip. Это убирает 302 для служебных запросов фронтенда
(«Unable to fetch auth providers»). Применено на домашнем и внешнем nginx.
Проверено: /auth/providers -> 200 с Trusted Networks.
Пользователи: скрипт users-sync.sh заводит всех из Authentik в Gitea,
Nextcloud, Navidrome, Linkding. Остальные службы автозаводят при входе.
Исправлен дубль почты akadmin/roman, убраны мусорные учётки от проверок.
HA: cookie сессии уменьшена с ~4 КБ (две части) до 565 байт (одна),
новое имя _oauth2_proxy_ha, SameSite=lax. Проверено: повторный заход
отдаёт /auth/providers 200, журнал чист.
Дом и VPS расходились в hub (заглушка nginx), links (мимо единого входа)
и turn — выровнены, теперь 41 домен совпадает.
Overseerr переведён напрямую (свой вход через Plex), прокси снят.
Удалены провайдеры без приложений: n8n-oidc, vaultwarden-proxy (35/36).
Firefly: убраны дубли от проверок, остался владелец.
domains.yaml приведён к факту: 19 адресов, добавлено предупреждение
о ручной настройке единого входа.
Причина отказа найдена в коде HA: он запрещает вход по доверенной сети
с адреса, внесённого в http.trusted_proxies, а если адрес не внесён и
приходит X-Forwarded-For — отвечает 400.
Решение: trusted_networks для сети Docker с trusted_users (пользователь Roman),
trusted_proxies без сети прокси, и nginx-прослойка ha-strip между прокси и HA,
которая вычищает X-Forwarded-For и X-Real-IP.
Проверено: способы входа содержат Trusted Networks, авто-вход отдаёт
create_entry, круг через домен — 200 Home Assistant, в журнале HA новых
ошибок нет, прямой заход из локальной сети по-прежнему требует пароль.
Провайдер trusted_networks в HA 2026.2.3 конфиг принимает (схема проходит),
но вход с адреса прокси отклоняет — даже при 0.0.0.0/0. Значит HA не
применяет auth_providers из configuration.yaml.
Откат: домен напрямую на 192.168.1.106:8123, прокси остановлен, конфиг
чистый, check_config проходит. У HA остаётся один вход — свой.
Home Assistant: trusted_networks + trusted_users, домен через прокси — своя форма убрана.
Navidrome: доверенная сеть Docker + доступ к библиотеке, проверено по API (200/401).
Authentik: созданы mealie-oidc и immich-oidc с областями по образцу.
Mealie: родной OIDC, прокси убран. Immich: oauth включён в базе.
Synapse: allow_existing_users=true — SSO пускает существующие учётки.
Ротация запускалась раз в неделю при ежедневных копиях — диск дошёл
до 94%%. Ротация переведена на ежедневный запуск (06:30), освобождено 24 ГБ.
CT 111 (книги, каталог, Duplicati, FreshRSS) не имел ни одного архива.
Добавлен в /etc/cron.d/lxc-backups (вс 05:15) и сразу проверен:
vzdump-lxc-111-2026_10_19-12_30_24.tar.zst, 3,3 ГБ.
Найдено и исправлено то, чего не было в аудите:
- каталог книг: провайдеру не разрешён адрес возврата /catalog/oauth2/callback
и имя cookie совпадало с Calibre (цикл входа)
- backup вёл на Grafana; Duplicati живёт в CT 111:8200
- Node-RED: внутренние адреса возврата и издателя, недоступное имя службы
- headscale.buryans.ru вёл на прокси Node-RED вместо headscale
- arr: AuthenticationMethod лежит в config.xml (Basic/Forms), а не в базе
- Vaultwarden: провайдер без приложения в Authentik давал отказ во входе
- Nextcloud 500: сломанное приложение Talk (spreed) валило вход
- requests/ombi: 403 из-за разных доменов на одном прокси
- 502 после входа: сессия с правами групп не влезала в буфер заголовков nginx
- лишний экран согласия у всех 35 провайдеров
- FreshRSS: данные не сохранялись из-за лишнего префикса в пути монтирования
Добавлена сквозная проверка входа (login-check.py) и служебная учётная
запись sso-check: проверяем результат, а не факт создания.
Единый документ для передачи в новую ветку. Содержит:
* инфраструктуру: 3 узла, 30 LXC, потоки трафика, задержка канала;
* таблицу всех контейнеров с ролями;
* что сделано: единый вход (23 сервиса + 8 со своей авторизацией),
11 исправленных причин отказов, книги, уборка дублей;
* базы данных: общий PostgreSQL и 13 служб на своих файлах;
* доступ, наблюдение, копии (с указанием, что наружу копий НЕТ);
* известные проблемы: 15 двойных входов, 8 отказов, инфраструктурные;
* план работ по 6 блокам (A-F) с приоритетами;
* пароли и файлы, репозиторий, уроки.
В журнале прокси: "could not get claim email: profile URL: unexpected
status 403". В журнале Authentik: "Scope mismatch. required {'openid'},
token_has set()" — токен приходил вообще БЕЗ областей.
ПРИЧИНА: у провайдеров, созданных мной через API (adguard, backup,
element, finance, git, meals, openclaw, status, home, catalog,
home-assistant), оказалось НОЛЬ привязанных областей доступа
(property_mappings). Без областей openid/email/profile в токене нет
почты, прокси идёт за ней в userinfo, тот отвечает 403, прокси отдаёт
500. Старые провайдеры (sonarr и др.) были настроены раньше с областями —
поэтому работали. Падали ровно те сервисы, что добавил я.
ИСПРАВЛЕНО: скопировал набор областей с рабочего sonarr-proxy на все 11.
ПРОВЕРЕНО: токен выдаётся, userinfo отвечает 200 с email_verified true,
все 16 доменов отвечают 302 на вход.
МОЯ ОШИБКА: при создании провайдеров задал имя, адреса возврата и типы
обменов, но забыл привязать области. Проверял факт создания, а не
реальный токен. Урок: проверять данные в токене, а не только что объект
создался.
ОСТАЛОСЬ: двойной родной вход, цикл перенаправления у каталога, Mealie
401, Plex 400, Vault отказ, Nextcloud 500.
СВЕРКА. Собраны все 28 прокси и 35 провайдеров Authentik, сверены
адреса возврата с доменами, расхождения исправлены. Проверено живьём:
у каждого из 23 сервисов вход ведёт на СВОЙ домен
(adguard -> adguard.buryans.ru/oauth2/callback и т.д.). Смешения нет.
УБРАНЫ ЛИШНИЕ ПРОКСИ: oauth2-proxy-home (CT 155) и oauth2-proxy-ha
(CT 106) — Home Assistant выведен из единого входа, они стали не нужны.
НАЙДЕНО БЕЗ ДОМЕНОВ: tautulli (имя есть в прокси, но не в DNS),
node-red (адрес возврата внутренний), grafana, prometheus, alertmanager.
Проверено: эти имена в DNS не существуют — без A-записей у регистратора
домен и сертификат создать нельзя. Записано задачей С-15.
ДОБАВЛЕН docs/SERVICES-TABLE.md: полная таблица — 23 сервиса с доменом и
входом, 8 псевдонимов, 8 доменов со своим паролем (Nextcloud, HA, Immich,
Syncthing, Proxmox, Matrix, Authentik, Headscale), 5 без домена, и
список того, что убрано.
1. n8n ПОКАЗЫВАЛ КАРТИНКУ ВМЕСТО СЕРВИСА. Причина: N8N_EDITOR_BASE_URL
указывал на http://192.168.1.108:5680/ — браузер снаружи не может
загрузить ресурсы с внутреннего адреса. Исправлено на
https://n8n.buryans.ru/, добавлены N8N_HOST, N8N_PROTOCOL=https,
WEBHOOK_URL. В журнале теперь "Editor is now accessible via
https://n8n.buryans.ru".
2. GITEA — та же болезнь: ROOT_URL=http://192.168.1.140:3000/,
DOMAIN=192.168.1.92. Исправлено на https://git.buryans.ru/ и
git.buryans.ru.
3. HOME ASSISTANT ВЫВЕДЕН ИЗ ЕДИНОГО ВХОДА (решение владельца).
home.buryans.ru ведёт прямо на HA (8123). Причина: у HA своя
авторизация и своё мобильное приложение, прокси впереди мешал.
Проверено: home отвечает 200 напрямую, API 401 (защищён токеном HA).
МОИ ОШИБКИ: правил docker-compose.yml заменой строк и склеил переменные
окружения в одну строку — n8n перестал запускаться (getaddrinfo
EAI_AGAIN); восстанавливал из копии и правил построчно. Плюс сломал
отступы YAML. Урок: после правки compose всегда проверять
docker compose config.
ОСТАЛОСЬ: проверить свои адреса у Grafana, Jellyfin, Navidrome, Mealie,
Firefly, Linkding, Paperless, Plex — тот же класс ошибки.
По итогам аудита обнаружено, что параллельно работают:
* второй Paperless в CT 110 (paperless_web, paperless_worker,
paperless_redis) — рабочий Paperless живёт в CT 105, а прокси в CT 110
смотрит именно на CT 105, значит эти три контейнера не нужны;
* старый FreshRSS (freshrss-old-20261014-180053) рядом с новым в CT 111.
Остановлены, автозапуск отключён (restart=no). Прокси
oauth2-proxy-paperless в CT 110 НЕ тронут — он обслуживает docs.
ПРОВЕРЕНО: docs, news, rss отвечают; наблюдение 58 проверок без провалов;
память освободилась (CT 110 — 368 МБ, CT 111 — 284 МБ занято).
1. VPN. В журнале шлюза сотни "context deadline exceeded" для flibusta,
libgen, archive.org; все три канала помечены мёртвыми. ПРИЧИНА:
автоподбор выбирал hysteria2, а он сыпется (в логах VPS H3 error 0x0),
плюс проверка живости шла на gstatic, который через этот канал не
открывался. ИСПРАВЛЕНО: hysteria2 убран из автоподбора (остались
VLESS+TLS и Reality), проверка переведена на cp.cloudflare.com,
интервал 3 минуты. РЕЗУЛЬТАТ: flibusta/libgen/archive снова 200.
2. КНИЖНЫЙ БОТ. Не отвечал: поиск шёл последовательно по 5 источникам,
три через VPN висели по 15-30 с, бот застревал. Плюс разбор команд был
строгим, а сообщения приходили с кавычками. ИСПРАВЛЕНО: параллельный
поиск с общим лимитом 45 с, сразу подтверждение "Ищу...", терпимый
разбор (кавычки, пробелы, "/ Find"), свободный текст ("найди Дюна"),
журнал каждого цикла. ПРОВЕРЕНО: /find Дюна и "найди Дюна" отвечают.
3. АУДИТ. 28 контейнеров, ~60 docker-контейнеров, 23 домена под входом,
2 намеренно открыты (immich, sync), наблюдение 58 проверок без
провалов. НАЙДЕНО: два Paperless работают одновременно (CT 105 и 110),
старый FreshRSS жив, 40 баз в общем PostgreSQL + 18 файлов SQLite,
плюс дубли баз *_pre_utf8_* и *_ascii_*. Всё записано на утро.
ОБНАРУЖЕНО: у Nextcloud и Home Assistant вообще не было доменов — только
IP внутри сети, и у каждого свой пароль.
СДЕЛАНО:
1. NECTCLOUD -> files.buryans.ru (раньше домен вёл на Paperless).
Вход через Authentik средствами самого Nextcloud (приложение
user_oidc), а не прокси — потому что мобильный клиент и синхронизация
ходят в API напрямую, прокси их сломал бы. Добавлены доверенные домены
files/cloud, поправлен overwrite.cli.url для ссылок в письмах.
Paperless остался на docs.buryans.ru.
2. HOME ASSISTANT -> home.buryans.ru (раньше заглушка). Вход через
oauth2-proxy-ha на 9111. API (/api, /local, /auth, /static) намеренно
НЕ закрыт единым входом — иначе перестанет работать мобильное
приложение; при этом API защищён токенами HA (отвечает 401).
3. ПОПУТНО в HA исправлено: internal_url и external_url стояли на верхнем
уровне конфига, HA ругался "Integration 'internal_url' not found" —
перенесены внутрь homeassistant.
ПРОВЕРЕНО: files 302 -> /login со входом через Authentik; home 302 ->
Authentik; API HA без токена 401; docs 302 (Paperless на месте);
Zigbee2MQTT 200; наблюдение 58 проверок без провалов; все контейнеры
работают.
ОСТАЛОСЬ: тревога "Высокая нагрузка" (следствие моих сборок, уйдёт сама),
уведомления HA в Matrix, календарь Nextcloud в HA, обновить Dashy.
1. УБРАН ВТОРОЙ ВХОД В CALIBRE. После Authentik он показывал свою форму.
Включил доверие заголовку от прокси:
allow_reverse_proxy_header_login=1, header=X-Forwarded-Email,
auto_create_users=1, disable_standard_login=1. Админа переименовал в
свою почту, чтобы вход попадал в его учётку.
ПРОВЕРЕНО: без заголовка 302 (просит вход), с заголовком 200 и кнопка
«Выход» — пустило. Второго пароля больше нет.
2. КНИЖНЫЙ БОТ @bot_books. Команды: /find (поиск в ЛитРес, Open Library,
archive.org, Флибусте, libgen), /lib (что уже есть), /wanted (что
искать), /tgadd /tglist /tgdel (каналы Telegram), /help.
Доступ по списку: @akadmin, @polina; остальным отказ с показом их
адреса. Бот сам принимает приглашения в комнаты.
ПРОВЕРЕНО: /find Дюна вернул три издания ЛитРес с ценами (599/579 ₽),
карточку Open Library и три книги в archive.org.
3. TELEGRAM БЕЗ АККАУНТА: бот ищет по публичным каналам через
веб-предпросмотр t.me/s/имя (работает через VPN). Скачивать файлы так
нельзя — для этого нужен юзербот (задача К-11).
МОИ ОШИБКИ: бот сначала не обрабатывал приглашения (не вступал в комнату);
сборка образа шла из кэша и патч не попадал в контейнер — помогло
--no-cache; год из Open Library показывался как цена.
СИМПТОМ: после ввода пароля любой сервис с единым входом отдавал 500.
Прямые адреса работали, службы живы, Authentik писал вход успешным.
ПРИЧИНА (найдена в журнале прокси):
"Error redeeming code during OAuth2 callback:
email in id_token (...) isn't verified"
В Authentik 2026.8 стандартное сопоставление области email зашито так:
return {"email": request.user.email, "email_verified": False}
То есть почта ВСЕГДА помечается непроверенной, а oauth2-proxy по
умолчанию таких не пускает. В 2026.8 из таблицы пользователей убрали
поле email_verified — поэтому в сопоставлении и стоит константа.
Это следствие сегодняшнего обновления Authentik, а не правок прокси.
ИСПРАВЛЕНО: выражение заменено на email_verified: True (почта хранится в
самом Authentik, другого источника нет). Проверено: userinfo отдаёт true.
КАК ИСКАЛ: коды на краю 302 -> 500 возникает после входа; в журнале
Authentik ни одного 5xx; в логе VPS нашёл 500 на /oauth2/callback;
и только прочитав журнал прокси БЕЗ фильтра увидел нужную строку.
Ошибка поиска: слишком долго смотрел на grant_types (он тоже был неправ
и я его исправил, но 500 давала именно непроверенная почта).
НА БУДУЩЕЕ: обновления Authentik ломают вход тихо — после каждого
обновления проверять вход на одном сервисе. Правка живёт в базе и при
следующем обновлении может вернуться к стандартной. Проверка в документе.
ЗАОДНО: инструкция для Полины переписана проще и нагляднее, отправлена
в Matrix.
СЕРВИС КАТАЛОГА: https://books.buryans.ru/catalog/ за единым входом.
* 181 книга, 45 серий, 25 книг к поиску;
* страницы «Обзор», «Серии», «Книги», «Что искать»;
* API /api/summary и /health;
* профили читателей (сейчас Полина);
* написан на стандартной библиотеке Python — нечему ломаться.
СХЕМА: nginx /catalog/ -> oauth2-proxy-catalog :9990 -> catalog :9200.
ПОИСК РАСШИРЕН ДО 7 ИСТОЧНИКОВ: ЛитРес (цены), Open Library (ISBN),
ФантЛаб, Google Books — напрямую; archive.org, libgen, Флибуста — через
VPN-шлюз, потому что в России заблокированы. ЛитРес через VPN НЕ ходит
(блокирует зарубежные адреса). Результат: находки у 15 из 25 книг,
libgen добавил ещё совпадения.
ИНСТРУКЦИИ ОТПРАВЛЕНЫ В MATRIX в личные чаты: Akadmin — как устроено,
как проверить, где что лежит, как обновить; Полина — как войти, искать,
загружать книги. Matrix требует метод PUT (на POST вернул 405).
МОИ ОШИБКИ: путь к каталогу не совпал (нули на странице); обновлённый
файл не попал в контейнер, а я собрал образ из старого; проверка входа
заголовком не проходит — нужна настоящая сессия.
Владелец: «есть ли возможность пока без ТГ искать книги, которых нет?»
СДЕЛАНО: скрипт ops/books/finder/book_finder.py.
1. берёт каталог Полины и находит серии, где следующая книга существует,
но не прочитана (25 книг);
2. спрашивает ЛитРес (магазин: цена + прямая ссылка), Open Library
(ISBN, год, язык), ФантЛаб (фантастика), Google Books;
3. отбрасывает нерелевантные совпадения по словам названия и автора;
4. собирает ссылки, где искать дальше. Ничего не скачивает.
РЕЗУЛЬТАТ: точные совпадения у 15 из 25; у 10 есть цена в ЛитРес
(«Морана и Тень. Плетущая» 599 ₽, «Обманный бросок» 549 ₽ и т.д.).
Английские новинки без перевода в ЛитРес отсутствуют — для них только
Open Library и поисковые ссылки. Псевдозаписи каталога («Другие книги
цикла») книг не находят, потому что это заметки, а не книги.
МОИ ОШИБКИ: Google Books отдавал 429 (квота) — я решил, что каталоги
недоступны, а Open Library работал; фильтр по русскому автору мешал
поиску; данные ЛитРеса с экранированными кавычками не разбирались;
ФантЛаб отдавал служебную ссылку вместо результатов.
Полный отчёт: docs/library/book-finder-report.md (25 книг, таблицы,
цены, ссылки). Дальше — веб-страница поиска в каталоге (К-7).
1. ОШИБКА 500 У N8N. Сам n8n был здоров (API 200, миграции применены).
Причина на стороне входа: провайдеры, созданные мной через API, вышли с
ПУСТЫМ grant_types, поэтому Authentik отклонял обмен кода на токен
(«Invalid grant_type for provider»). Прописал authorization_code и
refresh_token всем девяти; проверено — у всех 33 провайдеров теперь есть
типы обменов и приложение.
2. СИСТЕМНАЯ ПРОБЛЕМА: сторож buryan-agent каждые 5 минут перезапускал
ЛЮБОЙ остановленный контейнер. Отсюда «NPM сам вернулся», «старые
calibre поднялись снова» и невозможность что-либо осознанно выключить.
ИСПРАВЛЕНО в 28 контейнерах: если политика перезапуска no — не трогаем;
добавлен файл исключений /opt/buryan-agent/ignore.txt; в отчёте такие
контейнеры помечаются stopped-intentionally. ПРОВЕРЕНО: остановил три,
запустил сторожа вручную — failed=0 restarted=0, всё осталось выключено.
3. turn.buryans.ru отдавал 502 (HTTP-прокси на TURN-сервер) — теперь
перенаправление на call.buryans.ru.
СОСТОЯНИЕ: 40 доменов работают, n8n 200/302, библиотека работает,
наблюдение 58 проверок без провалов, активных тревог нет.
ОСТАЛОСЬ МЕЛОЧЬ: старый дубль freshrss-old-20261014-180053 всё ещё
работает — остановить и переименовать.
ОТВЕТ НА ВОПРОС: да, из закрытых каналов доставать можно, но НЕ ботом.
Обычный бот не читает историю каналов и его нельзя добавить в закрытый
канал. Нужен юзербот — программа под вашим аккаунтом.
БЕЗОПАСНОСТЬ, честно:
* Telegram может ограничить аккаунт за автоматизацию — риск умеренный
при аккуратной работе (пауза 3 с, лимит размера, никакой отправки);
* файл сессии = полный доступ к аккаунту — права 600, только на
сервере, не в облачных копиях;
* ГЛАВНАЯ РЕКОМЕНДАЦИЯ: отдельный аккаунт под книги, тогда основной
не участвует.
СОБРАНО: контейнер telegram-books с Telethon. Читает только указанные
каналы, ничего не отправляет, качает epub/fb2/pdf/mobi/azw3/djvu/zip,
помнит скачанное (не дублирует), пережидает FloodWait, складывает файлы
в папку приёма библиотеки (книги появляются в каталоге сами), проверяет
каналы по расписанию.
НУЖНО ОТ ВЛАДЕЛЬЦА: api_id и api_hash с my.telegram.org, список каналов,
однократный ввод кода из Telegram.
Добавлена оговорка про авторские права: механизм нейтрален, но
ответственность за содержимое на пользователе.
ТРЕБОВАНИЕ: онлайн-библиотека с загрузкой/выгрузкой, добавлением и
статистикой, плюс доставать книги из закрытых Telegram-каналов.
СДЕЛАНО (шаг 1): вместо старого calibre-web поставлен
Calibre-Web Automated.
* загрузка через веб и через папку приёма /opt/books/ingest;
* автоприём проверен: положил EPUB -> через минуту книга в библиотеке,
метаданные прочитаны, папка очистилась;
* выгрузка и чтение онлайн — в интерфейсе;
* домен books.buryans.ru остаётся за единым входом;
* старые контейнеры остановлены и переименованы, откат возможен.
ПРО КАТАЛОГ ИЗ JSON: приложенный файл — каталог Полины, 181 книга и 45
серий со статусами чтения. Это не файлы, а учёт чтения; его место —
отдельный слой «каталог и статистика» с профилями читателей. Заведено
задачами К-2 и К-3.
МОИ ОШИБКИ: запустил контейнер с занятым именем и погасил stderr — новый
контейнер не создался, а я не увидел; и не остановил старый контейнер,
державший порт 8083.
ДАЛЬШЕ: сервис каталога и статистики, загрузчик из Telegram (юзербот,
нужен вход по коду), интеграция с Dashy и наблюдением.
Владелец: «а почему 16 сервисов? нужны абсолютно все».
ДОБАВЛЕНО ПОД ВХОД: adguard, backup (Duplicati), element (веб),
finance (Firefly), n8n, git (Gitea), meals (Mealie), openclaw,
status (Uptime Kuma), home. Псевдонимы ns1, chat, flow, recipes, www
теперь перенаправляют на основной домен — вход один.
КАК: через API Authentik созданы 9 провайдеров и приложений, для каждой
службы запущен oauth2-proxy на своём порту (9101-9110), домены на VPS и
дома переключены на них.
ОСТАЛИСЬ БЕЗ ВХОДА 4 — осознанно, не забыты:
* matrix — клиенты Element ходят в API напрямую, прокси сломает вход;
* sync — Syncthing синхронизирует устройства по тому же порту;
* immich — мобильное приложение работает через API;
* pve — доступ к гипервизору, риск потерять управление.
Плюс сам authentik/admin, headscale, turn, call — служебные.
Для immich и gitea правильный путь — OIDC внутри службы (задача 4.1.4).
МОИ ОШИБКИ:
1. список служб с пробелами разбился на части -> мусорные провайдеры
«(Duplicati)», «(Uptime», «страница» и т.п.; убрал через API;
2. забыл apparmor=unconfined -> Gitea и OpenClaw не стартовали;
3. n8n слушает 5680, а я и старый прокси указывали 5678 -> n8n
показывался «не отвечает», хотя был жив; исправил везде;
4. у n8n приложение в Authentik называется n8n-proxy, а не n8n.
ПРОВЕРЕНО: 25 доменов снаружи и дома редиректят на authentik; Element за
входом безопасен (._matrix он не проксирует); наблюдение 58 проверок без
провалов; метрики 36 служб — 0 проблем.
Симптом: при отправке контента зависание, потом обрыв.
ЧТО ВЫЯСНЕНО:
1. Дело НЕ в звонках: в журналах ОБОИХ LiveKit (VPS и домашнего) ни
одной комнаты — звонки к медиасерверам не подключались.
2. Загрузка работает, но путь медленный: напрямую в дом 5 МБ за 0,001 с,
через публичный адрес — за 5,6 с, с скачками до 31 с и зависаниями
на 120 с.
3. ПРИЧИНА: канал VPS <-> дом. Задержка 236-312 мс (до Matrix-контейнера
до 539), потери 5%. При такой задержке TCP не разгоняется, клиент
решает, что соединение мертво, и обрывает. Интернет дома в порядке
(11 МБ/с).
4. ВАЖНОЕ: у владельца старый клиент — Element Classic 1.6.66 (Samsung
S25). В журнале Synapse его запрос закрыт кодом 499 (клиент сам
оборвал, не дождавшись). Element X переживает медленный канал лучше.
СДЕЛАНО: BBR на обоих концах; TCP настроен под потери (подбор MTU,
отключён сброс окна после простоя, буферы 32 МБ); nginx на VPS не
буферизует тело запроса для Matrix, таймауты 300 с; лимит загрузки в
Synapse поднят с 50 до 200 МБ.
МОЯ ОШИБКА: поднял MTU туннеля с 1280 до 1400 — все загрузки перестали
проходить (5 из 5 по 90 с), Element перестал отвечать. Проверка показала
33% потерь. Вернул 1280, всё заработало. Урок: MTU менять только с
проверкой проходимости и немедленным откатом.
РЕКОМЕНДАЦИЯ ВЛАДЕЛЬЦУ: обновить клиент на Element X — это самая
вероятная причина обрыва. Если не поможет, менять транспорт VPS<->дом на
Hysteria2 (задача 3.5).
Первая попытка остановить NPM не сработала: контейнер снова оказался
запущен через пару часов — сработала политика restart: unless-stopped в
его compose. Остановка контейнера не отключает автозапуск стека.
Сделано правильно: docker compose down (контейнер и сеть удалены) и
restart: "no" в compose. В CT 101 остался только сборщик журналов.
УРОК: чтобы служба не вернулась, останавливать надо ВЕСЬ СТЕК и править
политику перезапуска в compose, а не только гасить контейнер.
Проверено: домены живы (authentik 302, git 200, vault 302, hub 302).
Задача 2.6. По факту VPS делает пять вещей:
* ВНЕШНИЙ ВХОД: nginx принимает запросы из интернета и ведёт в дом
через туннель — 40 доменов;
* VPN: все четыре канала (TLS, Hysteria2, XHTTP, Reality);
* ЗВОНКИ: LiveKit и TURN;
* КООРДИНАЦИЯ: headscale (домашний убран как пустой);
* КЭШ статики страницы входа.
Дополнительно: MTG (Telegram-прокси), danted (SOCKS), fail2ban.
ГЛАВНЫЙ ВЫВОД: VPS — НЕ кэш и НЕ резерв, а ЕДИНАЯ ТОЧКА ОТКАЗА. Если он
недоступен: снаружи не открывается ни один домен, VPN не работает,
звонки не работают, новая техника не подключится. Внутри дома по
локальной сети всё продолжит работать.
СЛЕДСТВИЯ ДЛЯ ПЛАНОВ:
* VPN-4.6 (второй VPS) становится приоритетным: вся семья висит на
одной машине, автопереключение каналов не спасает — все четыре
канала на том же сервере;
* мониторинг VPS нужен отдельный: если он упадёт, домашнее наблюдение
об этом не узнает (оно за ним же и ходит);
* полный образ VPS стоит держать в копиях, а не только конфигурацию.
РЕСУРСЫ: 1 ядро, 1962 МБ (свободно 1294), диск 30 ГБ занят на 53%,
нагрузка 0.12. Запаса хватает, но второе ядро пригодилось бы.
ЧТО Я ПОДУМАЛ СНАЧАЛА: посмотрел каталог /root/db-backups в CT 151,
увидел три файла от 11 сентября и заключил «автоматического
резервирования PostgreSQL нет».
ЭТО БЫЛО НЕВЕРНО. Настоящее резервирование лежит в /mnt/backups и
работает ежедневно в 02:00: pg_dumpall всех баз (39-40), 33 МБ, ротация
14 дней, уведомление в Kuma при успехе и провале.
БОЛЕЕ ТОГО, КОПИИ ПРОВЕРЯЮТСЯ: ежедневно в 06:00 архив
ВОССТАНАВЛИВАЕТСЯ в отдельную базу и данные СВЕРЯЮТСЯ. Журнал за
сегодня: баз восстановилось 40; сверено — vaultwarden (2 пользователя,
12 паролей), matrix (21 пользователь, 45 комнат), authentik (10
пользователей), gitea (5 репозиториев), n8n (7 процессов). Всё ✅.
Это правильный уровень проверки: не «файл есть», а «данные внутри».
ТАКЖЕ КОПИИ КОНТЕЙНЕРОВ: ежедневно 104, 108, 110, 115, 140, 155;
раз в 2 дня 109, 131, 114; еженедельно 105, 113, 139, 201. 22 архива,
ротация настроена.
ЧТО СТОИТ УЛУЧШИТЬ: копии только на этом же сервере (/mnt/backups —
локальный диск). Нужна вторая точка — это задача 4.4.3, требует
облачного аккаунта. И сверка покрывает 7 баз из 40 — можно расширить.
УРОК: прежде чем говорить «не настроено», найти сам скрипт и его журнал,
а не первый попавшийся каталог.
После отключения NPM наблюдение ругалось «npm: не отвечает» — проверка
смотрела на остановленную службу. Третий такой случай за день (было с
Paperless, потом с его же вторым экземпляром).
ВЫВЕДЕНО ПРАВИЛО: отключая службу, в ТОМ ЖЕ действии убирай её из
наблюдения и реестра. Иначе через час приходит ложная тревога, и никто
не помнит, что так задумано.
Сделано: проверка npm удалена из наблюдения, служба удалена из реестра
(47 -> 46), метрики пересобраны.
ПРОВЕРЕНО: наблюдение 58 проверок без провалов, метрики 36 служб — все
отвечают.
HEADSCALE В ДОМЕ (CT 201): узлов НОЛЬ, только тянул DERP-карту. Реальная
координация на VPS — там зарегистрированы vps, pve, s25-ultra, ct155.
Служба остановлена, автозапуск отключён. Домен headscale.buryans.ru
переведён с домашнего пустого сервера на рабочий на VPS (404 на корень —
норма для 0.22.3, веб-интерфейса нет).
NPM (CT 101): 5 прокси-хостов, все с тестовыми/локальными именами
(test.yourdomain, npm-test.local, portal.local...), НОЛЬ запросов за
сутки. Настоящие домены давно обслуживает nginx на самом хосте (41
домен). Контейнер остановлен, автозапуск отключён; в CT 101 остался
только сборщик журналов.
ЧТО ЭТО ДАЛО: меньше служб для обновления и охраны, ~150 МБ памяти
свободнее, домен headscale ведёт на рабочий сервер.
Данные и конфигурации не удалялись — откат одной командой.
Проверено: 11 доменов отвечают, наблюдение без провалов.
Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL
(authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud,
vaultwarden, grafana, firefly, mealie, headscale).
ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён
копией, создана база paperless_main на общем сервере, приложение создало
структуру (75 таблиц), работает. Было безопасно: документов ноль —
переносить данные не требовалось.
ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос
требует работы с данными:
* uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL;
* navidrome — есть плейлисты и история прослушиваний;
* linkding — закладки.
Переносить их «на живую» без проверки опасно: можно потерять данные.
Записано задачами 5.5 и 5.13 с планом.
ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то
том», единые права, возможность поднять службу на другом узле.
По решению владельца: «вход нужен централизованный, чтобы всё работало
с одного аккаунта из Authentik».
ПОД ВХОДОМ ТЕПЕРЬ: sonarr, radarr, prowlarr, bazarr, ombi, plex, media
(Jellyfin), vault (Vaultwarden), books (Calibre), news (FreshRSS),
docs и files (Paperless), music (Navidrome), links, hub (Dashy).
Снаружи все сначала ведут на вход Authentik, потом в службу. Дома так же.
ЧТО БЫЛО НЕ ТАК: у каждого прокси были прописаны ВНУТРЕННИЕ адреса
(REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL=
http://192.168.1.114:9000/...). Снаружи браузер перенаправлялся на
недоступный из интернета адрес, вход не мог завершиться. Поэтому службы
пускали напрямую.
ИЗМЕНЕНО В ТРЁХ МЕСТАХ на каждую службу: в Authentik разрешён внешний
адрес возврата; у прокси переведены REDIRECT_URL и OIDC_ISSUER_URL на
https, включён режим за обратным прокси, cookie secure; на VPS домен
направлен на порт прокси.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны в документ):
* взял адрес по номеру контейнера — книги и новости ушли на старый
.111 (у CT 111 теперь .240) -> 502, поймал проверкой;
* направил Paperless на экземпляр, который сам же отключил часом
раньше -> перевёл на рабочий CT 105;
* cookie-секрет взял из клиентского (128 байт вместо 32) -> прокси
перезапускался, сгенерировал правильные;
* забыл DNS у прокси в CT 102 -> не мог разрезолвить authentik.
ПРОВЕРЕНО: все 15 доменов снаружи редиректят на https://authentik,
authorize принимается (страница входа отдаётся без ошибок), дома тоже
через вход, службы живы напрямую, наблюдение 59 проверок без провалов.
Внутренние адреса возврата сохранены — прямой доступ по IP:порт внутри
дома продолжит работать. Plex остался со своим аккаунтом (у него своя
авторизация), но домен уже за входом.
4.1.1 АУДИТ «ОДНА ДВЕРЬ». Есть 13 прокси входа (oauth2-proxy): Plex,
Paperless, Calibre, Dashy, Tautulli, Overseerr, Bazarr, Prowlarr, Radarr,
Sonarr, Vaultwarden, FreshRSS, Jellyfin. Дома часть доменов через них
ходит. НА VPS — НИ ОДИН: все домены снаружи идут напрямую в службу,
минуя вход.
ПРИЧИНА: у прокси прописаны ВНУТРЕННИЕ адреса
(REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL=
http://192.168.1.114:9000/...). Снаружи браузер перенаправляется на
внутренний адрес, недоступный из интернета, — вход не может завершиться.
Похоже, обходной путь был такой: снаружи пустить напрямую.
ВАЖНО: это НЕ дыра. У Sonarr/Radarr/Prowlarr свои пароли, у Plex свой
аккаунт, у Vaultwarden свой мастер-пароль. Это отсутствие единого входа,
риск умеренный, срочности нет.
НЕ СДЕЛАНО СЕЙЧАС ОСОЗНАННО: изменение доступа сразу к 13 службам; ошибка
означает, что вход перестанет работать у всех, а владелец сейчас не может
проверить. Заведено задачей 4.1.3, начинать с одного домена.
5.6 ЗАПИСЬ В БАЗЫ МЕДИАСЛУЖБ: Sonarr 17 МБ, Radarr 12 МБ, Prowlarr 9 МБ,
Bazarr 9 МБ — 0 ошибок записи в журналах, службы отвечают.
ПОПУТНО: диски CT 117-119 были заполнены на 79-80% (меньше 1 ГБ
свободно). Освобождено безопасно: неиспользуемые образы Docker (214+227+
202 МБ). Стало 69-70%, свободно по 1,2 ГБ. Службы проверены — 200.
Диски по 3,9 ГБ всё равно малы: предложено увеличить до 8 ГБ отдельной
операцией.