/mnt/archive/home-plans/versions, оставлены только используемые сайтом (house.glb, house-web-v52.glb).
.git сжат: 344 → 225 МБ. Добавлены правила .gitignore, чтобы не накапливалось снова
Отчёт Gaps.md: без SSO 27 сервисов, без бэкапа 39, без мониторинга 7,
критичных с дырами 4 (homeassistant, prometheus, gitea, mosquitto).
Бэкап конфигов: /usr/local/bin/backup-configs + cron 03:45, архив в
/mnt/backups/configs, хранение 30 дней. Собирает bind-монтирования
контейнеров и конфиги в /opt; данные (медиа, фото, БД) не дублируются.
Ограничение: конфиги сервисов, чьи данные лежат внутри CT, попадают только
при наличии bind-mount на хост — расширение через pct exec в следующем шаге.
Сгенерированы карточки: группа, критичность, CT, образ, порт, домен, SSO,
бэкап, зависимости, последствия падения, команды проверки и порядок действий.
Плюс страницы по группам и индекс Services.
Карточек 83, потому что 111 контейнеров — это 83 уникальных сервиса плюс
служебные копии promtail и oauth2-proxy в каждом CT.
Домены: 11 исправлены вручную (jellyfin, navidrome, plex, paperless и др.),
остальные — по nginx и имени сервиса.
Перезапуск контейнера отнесён к классу C (влияет на сервис) — агент только
предлагает, владелец подтверждает. Добавлена очередь заявок
/opt/hub-agents/approvals.json и команды бота: !заявки, !одобрить N,
!отклонить N. Исполняются только разрешённые действия (restart_container).
Дорожная карта переставлена: сначала скелет и структура сервисов, работа
(ВКС/Presale) — после стабилизации. Wiki обновлена.
Gitea 28 отдаёт 404 для репозиториев пользователей (agent-qwen, root), но
корректно отдаёт репозитории организаций. Проверено на infrastructure/docs.
Документация перенесена в infrastructure/buryan-wiki (10 файлов, публично,
200 OK), код остаётся в agent-qwen/buryan-infra. В README добавлена ссылка,
в ops/wiki/WIKI.md описана причина и порядок обновления.
Wiki в Gitea: 9 страниц (архитектура, сервисы, агенты, дорожная карта,
регламенты, ADR, онбординг, работа). Инициализирована через API, затем
пушится как git-репозиторий.
Статус-страница hub.buryans.ru/status: 62 сервиса по группам, состояние
берётся из docker ps (TCP-проверка давала ложные срабатывания для CT111),
кэш 60 с, JSON на /status.json.
Рой агентов: groups.yaml (6 групп), policy.yaml (классы A/B/C/D, лимиты,
тихие часы), ТЗ шести секретарей и Головы, раннер (наблюдение) и мозг на
DeepSeek (json-ответ: диагноз, severity, предложенные действия). Таймеры:
раннер каждые 30 минут, мозг ежечасно. В v0 ничего не выполняется — только
диагностика и предложения; уведомление уходит при crit.
Найдено и исправлено агентом: freshrss, catalog и их oauth2-proxy были
недоступны — перезапущены, статус 62/62.
Генератор family_digest.py собирает контент (книги Calibre, медиа только с
файлами, фото Immich, документы Paperless) и человеческие анонсы из
ops/product/WHATS-NEW.md. Если нового нет — молчит.
Таймер hub-digest.timer: ежедневно 12:00. Команда бота: !новости / !дайджест /
!что нового (обработчик учитывает, что бот разбирает команду по первому слову).
Ловушки: pct exec с длинным python -c ломается на кавычках (запрос вынесен в
calibre_query.py внутри CT); медиа без файлов не считается новым.
Добавлен AUDIT-2026-10-21-VISION: обзор 60+ self-hosted решений (что есть,
что добавить, что не нужно), функциональные дыры по быту/контенту/знаниям/
работе, целевая архитектура из 6 групп и 6 агентов + Голова, Gitea как
центральная истина с Wiki, трек ВКС/Presale, дорожная карта на 19 недель.
Создан реестр services.yaml: 111 контейнеров с группами, критичностью, CT,
образом и портами (ключ CT:имя — иначе promtail и oauth2-proxy схлопывались).
Сверка с Full-Audit: гости 34, контейнеры 111 (в аудите было 105 — ошибка
подсчёта), домены 40, БД 43, HA 42/313, устройства 106.
Второй аккаунт (+79105469668, id 6922233999) авторизован через Telethon
по api_id от mautrix. Работает через прокси CT161 (прямого интернета нет).
Что есть: CLI (whoami/dialogs/find/join/files/save) и HTTP-сервис на 9122
(/health, /files, /save), который скачивает файлы в /opt/books/ingest —
дальше Calibre-Web импортирует сам. В книжном боте появились /tg <запрос>
и /tg скачать N.
Выяснилось: публичные книжные каналы — витрины со ссылками на ботов, файлов
там нет. Нужны каналы, где книги выкладывают файлами, или книжный бот,
которому userbot будет писать запрос.
Ловушка: PowerShell добавляет BOM в файлы — Python падает на U+FEFF.
Каталог polina-library.json (181 книга, 45 серий, статусы серий) теперь
используется ботом. Добавлены команды: /полина (что читать дальше, что ждёт
перевода или выхода), /похожие (та же серия, следующий том, другие серии
автора), /скачать (Флибуста-зеркало и libgen, с проверкой совпадения названия).
Скачанное кладётся в /opt/books/ingest — Calibre-Web-Automated импортирует
сам. Для Полины создана полка «Полина» и на неё добавлены три книги
(Царство Проклятых, Плетущая, Обсидиановый огонь).
Ловушки: без сверки названия Флибуста отдаёт случайную книгу; order —
зарезервированное слово в SQLite; calibredb remove в контейнере молчит,
удалять через metadata.db.
Слабый сигнал исключён: бэкхол Кабинета RSSI -53. Настоящая причина:
1) DHCP-пул главного был 192.168.1.33-152, а серверы занимают 101-161 —
клиенты и узлы могли получить занятый адрес (например .108 с n8n);
2) у узла Кабинет не было статического резерва, его IP плавал (.108, .185, .3),
из-за чего он «пропадал» для мониторинга и клиентов;
3) на главном было включено автообновление компонентов — оба узла имели
одинаковый uptime, то есть перезагружались вместе.
Исправлено: пул сужен до .170-.250, добавлен резерв 50:ff:20:ed:de:23 → .3
(через CLI, RCI не умеет), автообновление выключено, каналы закреплены
(1 и 11 по 20 МГц, 5 ГГц 36/80). Сторож mesh_watch ищет узлы по MAC через
контроллер, уведомляет в Matrix и сам применяет настройки.
Диагностика: бэкхол Кабинета в норме (RSSI -53, канал 36), значит падения
не от сигнала. На главном роутере было включено автообновление компонентов
(auto-update no disable), а оба узла имели одинаковый uptime — то есть
перезагружались одновременно, и mesh рассыпалась.
Сделано: auto-update disable на главном; закреплены каналы 2,4 ГГц (1 и 11)
и 5 ГГц (36); ширина 2,4 приведена к 20 МГц. Добавлены ping-мониторы в Kuma
с уведомлением в Matrix. Написан сторож mesh_watch.py (cron 5 мин): сообщает
о пропаже и возврате узла и сам применяет настройки, когда узел появляется.
Родители (192.168.1.63) физически офлайн — в mesh числится выключенным.
Внутренний логин n8n отключить штатно нельзя (OIDC/SAML — платные).
Сделан авто-вход: nginx видит отсутствие cookie n8n-auth и отправляет на
/hub-login; там auth_request проверяет сессию Authentik, сервис n8n-auto-login
логинится служебной учёткой и отдаёт браузеру готовую cookie n8n-auth.
Маршруты продублированы на VPS — домен указывает туда, а не на домашний сервер
(это выяснилось при отладке).
Сервис слушает только 127.0.0.1, cookie HttpOnly/Secure/SameSite=Lax.
Бэкапы конфигов nginx сохранены.
После пересборки базы в таблице user осталась пустая строка (email и password
NULL), из-за чего n8n показывал форму создания пользователя. Владелец создан
через POST /rest/owner/setup: roman@buryans.ru. showSetupOnFirstLoad теперь
false, вход POST /rest/login отвечает 200. Пароль сохранён в
/root/.n8n-owner-password и в ops/creds/CREDENTIALS.md.
Authentik: стадия MFA Validation переведена в режим configure с TOTP —
при входе пользователь без устройства проходит настройку по QR. Откат
описан в ops/auth/2FA.md.
Gitea: удалены пустые репозитории root/buryan-infra и root/runbooks,
главному репозиторию задано описание и темы. README переписан как индекс:
карта инфраструктуры, ссылки на все разделы документации, принципы.
Яндекс: зафиксирован статус — чтение работает, управление через API 403
(нет scope iot), управление голосом и Zigbee работают.
Роутеры: оба Keenetic Hopper SE (5.1.5) авторизуются по x-ndm схеме.
Каналы 2,4 ГГц перекрывались (ch10 + ch7/40МГц) — выставлены ch1 и ch11 по
20 МГц. AP Кабинет добавлен в HA, всего 70 сущностей keenetic. Выяснено, что
.3 — беспроводной репитер (Ethernet не подключён), .63 офлайн.
n8n: причина таймаутов — неработающий task runner. Контейнер пересоздан с
N8N_RUNNERS_ENABLED=false, правильным портом 5680, путём данных и прокси.
Восстановлены 10 сценариев и 4 credentials, удалены дубли и битые webhook.
Все вебхуки отвечают 200, Telegram реально отправляет.
Собраны и сведены в один документ: гипервизор и ресурсы, сеть (40 доменов,
интерфейсы, туннели, порты), 106 устройств в сети, полный список 33 контейнеров
и ВМ с содержимым, 42 интеграции HA и 289 сущностей, Zigbee, Яндекс, n8n,
46 баз, бэкапы, cron, systemd, безопасность.
Найдено: 3 критичных (swap 100%, тонкий пул 83.6/90%, дубли z2m/mosquitto/
adguard), 6 существенных (временные БД n8n, n8n без credentials, Яндекс 403,
Frigate 0 камер, nmap_tracker пуст, Immich ML unhealthy), 6 средних.
Сразу исправлено: удалены временные базы n8n_big/n8n_tmp/n8n_restore (~100 МБ),
остановлен лишний zigbee2mqtt в CT 106 (без донгла).
Первое Zigbee-устройство: Yandex YNDX_00532 (0xacbac0fffebde397) —
двухклавишный выключатель. В HA появились switch 1/2, подсветка, режимы,
переименованы по-человечески.
Ловушка: permit_join нельзя открыть дольше 254 секунд — запросы на 900/1800
молча отклоняются, из-за этого первая попытка не сработала. Написан keepjoin.py,
который держит окно открытым 15 минут.
Яндекс: переавторизация по QR обновляет cookie, но права iot не появляются;
прямые запросы к api.iot и iot.quasar дают 403/401. Сделан голосовой обход:
команда бота !алиса <фраза> отправляет «Алиса, ...» на колонку, и она
выполняет действие. Работает для всех устройств аккаунта.
n8n не был в бэкапах — поэтому после переезда на SQLite сценарии пропали.
Нашлись дампы retired-инсталляций (3 шт., Postgres). Восстановил их во
временные БД на CT 151 и вытащил 15 уникальных workflows, импортировал в
текущий n8n (docker exec n8n n8n import:workflow).
Credentials не переносятся: зашифрованы старым N8N_ENCRYPTION_KEY.
Добавлен /usr/local/bin/backup-n8n + cron 03:30: копирует SQLite с WAL и
логи, пакует в /mnt/backups/n8n, хранит 14 дней. Первый архив проверен.
Nextcloud: calendar 6.6.2 и contacts 8.9.1 установлены через egress-прокси
(occ app:install с https_proxy).
Ловушки: psql -A -t переносит строки (нужен copy to stdout); Postgres
base64 вставляет \n каждые 76 символов (нужен replace).
Sonoff Dongle Plus V2 определён как EFR32MG21 (ember, не zstack). LXC не
поддерживает usb0 — запущено на хосте с --privileged и --device. Адаптер
отвечает, MQTT подключён, frontend 8098, HA получил bridge-сущности,
режим сопряжения открыт на 15 минут.
Написан мост Яндекс Умный дом → MQTT → HA: 18 устройств (свет, розетки, ТВ,
датчики, пылесос). Чтение работает, запись 403 — токен музыкального скоупа
без права iot; для управления нужна переавторизация.
Nextcloud: поставлены notes, tasks, spreed, memories, richdocuments.
calendar и contacts не встали — app store недоступен (timeout).
HA: добавлены погода met.no и weather-сущность; всего 42 интеграции,
280 сущностей.
Synapse падал в цикле: /opt/matrix/data принадлежал root вместо 991 и
контейнер пересоздался без сети matrix_matrix-net. Исправлено chown,
security-opt и подключением к сети; Matrix 200, боты работают.
Telegram-мост ожил после подключения к той же сети.
Добавлен POST/GET /notify в hub-core: шлёт сообщение в Matrix владельцу через
MEDIA-бота. Kuma получила webhook-уведомление с шаблоном
[{{STATUS}}] {{NAME}} и привязку ко всем мониторам. В HA добавлен
rest_command.hub_notify — проверено 200.
Написана карта связей между сервисами (ops/integration/LINKS.md): что связано,
что нет и какие решения ещё не задействованы (n8n, mautrix-мосты, Bazarr,
Vaultwarden, Zigbee2MQTT, Alertmanager, Paperless intake, Immich upload).
Portainer запущен (порт 9443 был занят SSH-туннелем GitHub — оставлен только
9000), API-ключ создан через /api/users/1/tokens, интеграция подключена.
Linkding: DRF-токен не работает при auth-proxy, но API отвечает на заголовок
X-Forwarded-User — добавлен сенсор закладок.
Итог дня: 37 интеграций, 255 сущностей, 104 трекера устройств.
Добавлены два документа: полный аудит спринта (что сделано, что нет и почему,
8 технических открытий) и стратегия автоматизации — 5 принципов, три слоя
архитектуры, 8 фаз, метрики и риски.
Immich: DB найдена через env контейнера (CT 151, immich_db), пароль
пользователя заменён bcrypt-хешем, ключ создан через POST /api/api-keys.
Прямая вставка в api_key не работает — Immich отвечает 401.
Nextcloud: пароль roman сброшен через occ, app-пароль создан
user:auth-tokens:add. Ядровая интеграция NC 33 не принимает ни пароль, ни
app-пароль — сделаны REST-сенсоры на OCS v2 (занято 0.06 ГБ, дата входа).
Linkding: токен создан через drf_create_token, но API отдаёт Invalid token.
Portainer: переинициализирован с admin-password-file, вход всё равно не
проходит; база сохранена в бэкап.
Итог: 36 интеграций, 253 сущности.
Syncthing подключён ядровой интеграцией по API-ключу из config.xml.
Seerr — через HaSeerr (ставили вручную, HACS не качал). Gitea и Paperless —
REST-сенсорами, потому что интеграция Gitea 2022 года без config flow, а
Paperless-интеграция не понимает версию 3.3.2.
Итого 35 интеграций и 246 сущностей. Не удалось: Immich (нет пароля, БД на
хосте пустая), Linkding (токен недействителен), Navidrome (нет пользователей),
Nextcloud и Portainer (нет учёток).
Mosquitto 2 в CT 107 (порт 1883, пароли для frigate/homeassistant/hub),
проверено публикацией. Frigate переключён на этот брокер, API найден на
192.168.1.126:5000 (не .110), порты 5000/8971/8554/8555 проброшены.
HA: добавлены интеграции mqtt и frigate. Frigate-интеграция не вставала:
требование hass-web-proxy-lib==0.0.8 требует Python 3.14, в HA 3.13 —
поставили 0.0.7 и поправили манифест.
Jellyfin: старый ключ отдавал 401. Получен новый через логин akadmin и
POST /Auth/Keys (нужен заголовок Authorization: MediaBrowser Token="..."),
проверен по /Items/Counts, прописан в bots.env.
Создан API-токен monitoring@pve!ha-token с ролью PVEAuditor; добавлены
сенсоры: CPU, RAM, uptime, диск Proxmox; число пользователей Authentik;
онлайн-цели Prometheus.
Интеграция proxmoxve из HACS сущностей не создаёт — заменена сенсорами.
Frigate API и Jellyfin-ключ недоступны; Uptime Kuma не имеет REST (socket.io),
но 18 мониторов уже работают.
ТВ найден на 192.168.1.145 (порт 36669). Библиотека vidaa-control работает
без сопряжения: connect, send_key, launch_app, volume — всё True.
Интеграция ha-vidaa-tv с этой прошивкой не работает: динамическая
авторизация ломает подключение, PIN-сопряжение не проходит (ТВ отдаёт
пустой auth-ответ), после чего MQTT возвращает code 5. Запись удалена.
Сделано своё управление: /opt/hub-core/tv_hisense.py и команды бота
!тв пульт/громче/тише/выключи/приложение/состояние.
HACS установлен (через зеркало) и авторизован device-flow. Для доступа к
GitHub сделан прозрачный маршрут на фиксированные IP + --add-host в контейнере,
потому что aiohttp у HACS игнорирует HTTP_PROXY.
Через HACS установлен AlexxIT/YandexStation v3.22.3, авторизация по QR.
Найдены три колонки: Миди (idle), Лайт (paused), Мини (unavailable).
Озвучка работает через yandex_station.send_command (sendText, setVolume).
Бот: !колонки, !скажи (с выбором колонки), !громкость.
Ловушка: HA забанил 192.168.1.10 в ip_bans.yaml — API отдавал 403 с узла,
хотя из CT работал 200. Бан снят.
HA: своя интеграция hub_devices — 104 device_tracker с именами, типами и IP.
Итого 197 сущностей. Подключён ha_keenetic (CPU/WAN/порты/Wi-Fi/WireGuard),
установлен vidaa_tv для Hisense.
Инфраструктура: headscale отдавал 500 из-за отсутствия Upgrade-заголовков в
nginx — исправлено, узел перерегистрирован, маршруты включены. tinyproxy
заменён своим CONNECT-прокси на VPS + SSH-туннель (не зависит от Tailscale).
Для HACS сделан прозрачный маршрут до GitHub: SSH-туннели на 6 хостов и DNAT
в CT 106 с обновлением IP каждые 6 часов.
Грабли: дубликат контейнера HA перехватывал порт; ScannerEntity выключен в
реестре по умолчанию; легаси-платформы device_tracker удалены из HA 2026.2;
имена контейнеров берутся из конфигов Proxmox, а не из роутера.
Через config flow добавлены Radarr, Sonarr, Lidarr, Jellyfin, SpeedTest и
Google Cast; ping-датчики для всех устройств с IP (13). Итого 24 интеграции,
34 сущности (sensor 14, binary_sensor 14).
Найден формат схемы config flow: плоский список полей, подстановка по name.
Не поддались: Paperless (API 200, но интеграция cannot_connect), nmap_tracker
(не создаёт сущности), Immich/Nextcloud/Uptime Kuma (нужны ключи), Gitea и
Frigate (нет интеграций в core). VIDAA: открытого API нет — только DLNA или
HACS-компонент.
Инвентарь берётся из Keenetic целиком: имена, MAC, IP активных. Обновление
по cron каждые 30 минут, результат в ядре (devices).
Бот: «устройства» (сводка по типам), «устройства телевизор|колонка»
(списки), «тв» (состояние и управление: пауза, стоп, включи ссылку).
Панель: блок «Устройства сети» со сводкой и таблицей онлайн-устройств.
Исправлены названия телевизоров (были MAC вместо имён).
Authentik: политика restart=unless-stopped для четырёх контейнеров и в
compose (/opt/authentik-security). Раньше после перезагрузки они оставались
Exited (255), из-за чего падали все восемь oauth2-proxy.
Docker: скрипт docker-daemon-set применяет конфиг только с откатом —
сначала проверка dockerd --validate, бэкап, применение, и если демон не
поднялся, возврат бэкапа. Важное открытие: dockerd --validate НЕ ловит
неверный CIDR (говорит configuration OK на 192.168.1.115.1/24), поэтому
защита строится на откате. Проверено: битый конфиг откатился, Docker остался
активным.
Ежедневная проверка docker-config-check (06:15) валидирует конфиг, проверяет
активность Docker и при проблеме шлёт событие в ядро.
После перезагрузки хоста: docker не стартовал из-за битого CIDR
(192.168.1.115.1/24), arr-сервисы висели из-за залипшего docker-proxy,
Authentik был остановлен, 8 oauth2-proxy падали без него. Исправлено:
корректный bip/fixed-cidr, рестарт контейнеров, запуск Authentik, остановка
дубля Navidrome. Все сервисы 200, failed-юнитов нет.
Устройства: device_ident.py опознаёт 106 клиентов (бренд по MAC, тип по
имени/портам/бренду), пишет в ядро; добавлена страница /devices.html с
фильтрами. В HA добавлен Google Cast и ping-сенсоры для 9 ключевых устройств.
Ловушки: правки daemon.json проверять dockerd --validate; «порт слушается» не
значит «отвечает»; nmap_tracker в HA 2026.2 не создаёт сущности ни из YAML,
ни через config flow.
Samsung и Xiaomi убраны из списка телевизоров — владелец подтвердил, что
такой техники нет. Остались два Chromecast, Hisense и «тв Родители кабинет».
Роутер Кабинет (192.168.1.3) перезагружен через RCI и вернулся (HTTP 200);
работает как точка доступа, клиентов не отдаёт. Роутер Родители
(192.168.1.63) недоступен: ping нет, ARP FAILED — нужен физический осмотр.
Реализован вход по схеме x-ndw2-interactive (challenge + sha256), доступ в
/root/.keenetic.json (600). Модель Hopper SE, KeeneticOS 5.01.
Собраны все зарегистрированные клиенты (106) с именами; инвентарь записан в
ядро (коллекция devices). Найдены телевизоры: два Chromecast («Гостиная»,
«Smart TV Pro»), Samsung, Xiaomi, Hisense и «тв Родители кабинет» — четыре
из них выключены, поэтому IP неизвестны. Колонки Яндекса: Lite и Midi.
Ловушки: рабочий путь /rci/ip/dhcp (без show); offline-устройства отдают
0.0.0.0; второй роутер .63 недоступен.
Сканирование обнаружением (ping/ARP, mDNS, SSDP, точечные порты).
Найдено: Keenetic x2, Яндекс Лайт и Станция Миди (mDNS _yandexio),
два Chromecast-телевизора («Гостиная», «Smart TV Pro»), ПК с uTorrent,
Tuya-устройство, телефон. Остальное — наши Proxmox VM/CT.
tv.py: управление телевизорами через pychromecast (список, play, pause,
stop, volume). Колонки требуют токена с правами умного дома.
Ловушки: порт 9080 в подсети — это дашборды контейнеров, не ТВ;
pychromecast ломался из-за файла /root/inspect.py, перекрывавшего stdlib.
Музыка разложена по /mnt/media/music/users/<user>/; в Navidrome создана
отдельная библиотека на пользователя и настроен доступ через user_library
(каждый видит свою + общую).
Персональные токены: /root/.yandex-tokens/<user>.json, доступ по личным
ссылкам yandex.html?k=<секрет>. Неверный ключ — 403. sync_users.py проходит
по всем токенам и раскладывает лайки по папкам, затем полный скан Navidrome.
Cron 05:30 по 3 новых трека на пользователя.
roman: 463 трека, 2.3 ГБ. Изоляция проверена на двух тестовых пользователях
через Subsonic API: с библиотекой roman поиск «ATL» дал 5 треков, с пустой
библиотекой elena — 0.
Ловушки: перенос файлов только на узле (uid контейнера); пароли Navidrome
шифрует, вставка в БД не работает; CLI требует TTY (script + docker exec -it);
library.path уникален; старые media_file чистятся по path.
Токен получен, аккаунт Роман Бурьян, Плюс активен. Лайков 468, плейлистов 3,
ATL в лайках 20 треков — скачаны.
Исправления: лайки отдают только id — названия тянутся через /tracks пачками
по 100; файлы скачивались без тегов (Navidrome видел Unknown Artist) —
добавлена запись ID3 через mutagen, для старых файлов retag.py;
инкрементальный скан Navidrome не подхватывал файлы — используется
navidrome scan --full; дубли связей графа — уникальный индекс и
ON CONFLICT DO NOTHING; поиск исполнителя по подстроке давал ложные
попадания (ATL ⊂ Visions Of Atlantis) — сравнение по исполнителю целиком.
Navidrome: 22 трека, 13 альбомов, 6 исполнителей, плейлист «Яндекс — Мне
нравится» на 23 трека. Граф: 13 альбомов, 22 трека, 6 исполнителей.
Страница /yandex.html переписана: два способа получения токена (OAuth-ссылка и
Network-вкладка), вставка целого адреса — токен извлекается регуляркой.
POST /yandex/save: добавлен в do_POST (раньше был только в GET-цепочке, форма
получала «нет такого пути»). Перед сохранением токен проверяется через
account/status; 401 или гостевой аккаунт (без uid) — не сохраняется.
Ловушки: гостевой ответ API — 200 без uid; текстовые правки core.py рвут
синтаксис, если срезать скобку.
Lidarr 3.1.0 в CT 111 (192.168.1.240:8686): корневая папка /music,
qBittorrent с категорией lidarr, синхронизация индексаторов из Prowlarr.
Образ через ghcr.nju.edu.cn (lscr.io тянется слишком медленно), host-сеть
(-p не пробрасывал порт).
music_tools.py: --status, --import (beets), --enrich (MusicBrainz),
--dupes (fpcalc). Команда «музыка» показывает Navidrome, библиотеку, Lidarr
и наличие токена Яндекса.
Ловушки: адрес CT 111 — 192.168.1.240; f-string ломается на шаблоне beets
с фигурными скобками.
GET /yandex.html — получение токена в один клик: кнопка ведёт на oauth.yandex.ru
с клиентом Яндекс Музыки, токен ловится из адреса, сохраняется через
POST /yandex/save в /root/.yandex-token (600) и сразу проверяется.
GET /yandex/status — состояние и наличие Плюса.
Установлены: beets 2.14.1 (venv), yt-dlp, mutagen, musicbrainzngs,
ffmpeg 7.1.5, fpcalc. Системный pip не подошёл из-за externally-managed —
пакеты в /opt/music-tools/venv, обёртка /usr/local/bin/beet.
content_graph читает /mnt/media/music (исполнитель/альбом/треки) и строит
связи: исполнитель → альбом «выпустил», альбом → трек «содержит».
Проверено на контрольном альбоме.
Команда «музыка» показывает состояние Navidrome, число альбомов и треков,
наличие токена Яндекс Музыки.
Зафиксировано, чего не делаем: скачивание защищённой музыки с торрентов.
Легальные пути — токен Яндекс Музыки, купленные файлы, свободная музыка.
Найдено: Navidrome смотрел в /path/to/your/music — заглушку из
docker-compose, поэтому библиотека была пуста. Музыка на узле
/mnt/media/music смонтирована в CT 125 как /music, контейнер пересоздан.
Проверено: тестовый WAV импортирован (tracksImported=1), затем удалён.
Добавлен yandex_music.py: --check (аккаунт и Плюс), --likes, --playlists,
--m3u (плейлист из локальных треков), --download N. Токен в
/root/.yandex-token.
Подробно описана правовая сторона: метаданные — данные владельца подписки,
скачивание — только для личного офлайн-прослушивания; пиратские торренты для
музыки не подключаются.
content_graph.py передаёт статус «в медиатеке» при обновлении карточки, и он
затирал личный статус. В upsert ядра добавлено правило: если стоит «хочу
посмотреть» или «смотрю», а приходит нейтральный статус, личный сохраняется.
Проверено: пометил фильм, пересобрал граф — статус остался.
GET /for-me: берёт фильмы с оценкой 8+, собирает их темы и жанры, находит
неоценённые карточки с теми же темами, добивает кандидатами TMDB.
Команда «для меня», блок «Личное» на панели (хочу посмотреть, мои оценки,
для вас).
Проверено: оценки Dune 9 и Matrix Reloaded 8 → Рекомендованы Matrix
Revolutions, Terminator 2, Salvation, The Matrix, Dune: Part Two, Blade
Runner, Interstellar, Dark. Оценённое исключается.
Сериалы разложены до сезонов: сериал → сезон «содержит» с числом эпизодов,
сезон → эпоха. Данные из Sonarr (/api/v3/episode?seriesId), агрегация по
номеру сезона. 19 сезонных карточек, граф 486/530.
Команда «сезоны Foundation» и GET /seasons. На панели — график
«фантастика по десятилетиям» с полосками.
Ловушка: выходящие сериалы дают неполные сезоны (Foundation, сезон 4 —
1 эпизод), из-за чего счётчик сезонов завышен.
Проверен весь путь на фильме общественного достояния «Ночь живых мертвецов»
(1968): Radarr нашёл 47 релизов, qBittorrent скачал 0.77 ГБ за минуту на
15–22 МБ/с, Radarr импортировал в /data/movies, Jellyfin увидел фильм.
Затем удалили: Radarr (deleteFiles), торрент с файлами, двойной скан
Jellyfin — 0 фильмов, /data/movies 8 КБ.
Ловушки: первый релиз был мёртвым (metaDL, 0 пиров) — проверять конкретный
торрент, сеть при этом жива (Ubuntu-торрент 22 МБ/с, 82 сида); Radarr по
умолчанию взял 2160p на 4.7 ГБ; Jellyfin убирает пропавший файл только со
второго сканирования.
Добавлены 5 сериалов через Sonarr (The Expanse, Dark, Foundation, Westworld,
Severance) — метаданные без скачивания. Новый вид карточки «сеть» (Netflix,
HBO, Apple TV, Prime Video).
Связи: сериал → жанр, сериал → сеть, сериал → эпоха, сериал ↔ сериал
«похож», книга ↔ сериал «экранизация» (Foundation), серия книг ↔ сериал
«общая вселенная». Итог: 449 карточек, 493 связи.
Подбор и Агент понимают сериалы: «посмотреть сериалы», «агент найди сериалы
про будущее».
Ловушки: Sonarr хранит год в названии (Foundation (2021) → карточка
Foundation (2021) (2021), связь с книгой не строилась); поиск по названию
даёт не тот сериал — нужен tvdb:<id>; api.sonarr.tv недоступен, поэтому
состава съёмочной группы у сериалов нет; «посмотреть сериалы» ломалось
из-за порядка вырезания слов.
Таблица graph_history с ежедневными снимками (карточки, связи, персоны).
GET /snapshot делает снимок, GET /history отдаёт ряд и прирост. Cron 23:30.
Панель показывает рост за период, бот в команде «граф» — тоже.
Проверено на имитированном недельном снимке: было 250/380, стало 310/455,
прирост 60 карточек и 75 связей.
В /ask.html добавлено автодополнение через GET /suggest.
GET /suggest — до 8 карточек по подстроке для автодополнения.
Команда «вместе <имя>» и страница /person.html показывают партнёров по
фильмам: актёров, режиссёров, композиторов с числом совместных работ.
Проверено: вместе Keanu Reeves → 8 партнёров, у Carrie-Anne Moss и Hugo
Weaving по 3 фильма Matrix; Zendaya → 6 партнёров по Dune: Part Two.
Граф после пополнения: 310 карточек, 455 связей.
GET /coworkers отдаёт партнёров по фильмам (актёры, режиссёры, композиторы)
с числом совместных работ. Страница /person.html показывает фильмографию и
партнёров со ссылками. В графе при клике на персону — ссылка на профиль.
Проверено: Zendaya → Denis Villeneuve, Hans Zimmer, Javier Bardem (по
Dune: Part Two).
GET /candidates отдаёт кандидатов, отсортированных по числу рекомендаций
(votes). Команда «пополнить N» добавляет первых N в Radarr с
searchForMovie: false — карточки появляются, файлы не качаются.
Проверено: «пополнить 2» добавил Terminator 2 и Terminator Salvation;
в Radarr стало 14 фильмов, файлов нет ни у одного. После пересборки
графа: 414 карточек, 455 связей.
Повторное добавление ловится как «уже есть» и попадает в список неудачных.
Страница /ask.html: поле ввода, примеры запросов, ответ агента с пояснением
«понял так». Запрос идёт в GET /ask, ядро подгружает модуль агента и
выполняет его.
Критичная правка: ядро было однопоточным (HTTPServer). Агент вызывает
ядро по HTTP изнутри обработчика — сервер ждал сам себя, соединения
копились (Recv-Q 6), все запросы отдавали 000. Переведено на
ThreadingHTTPServer.
На панели появились ссылки на интерактивный граф и страницу агента.
Интерактивный граф: /graph.html — canvas с силовой укладкой без внешних
библиотек, подсветка соседей, клик по узлу, поиск, зум и перетаскивание.
Доступен через панель ядра (status.buryans.ru/hub/graph.html).
Подбор по настроению: /mood с словарём тем и жанров (мрачное, лёгкое,
умное, эпичное, страшное, детектив). Сначала искал только по темам и на
маленькой библиотеке давал пустоту — добавление жанров исправило.
Недельный дайджест media_digest.py: понедельник 09:00 в личный чат бота
Медиа — фильмы, книги, связи, книги-экранизации, кандидаты. Копия в ядре.
Ловушка: токены в bots.env, а актуальные комнаты — в dm.env. Комната из
bots.env даёт 403 Forbidden (старые комнаты).
agent.py разбирает фразу в план (намерение, персона, жанр, тема, эпоха,
оценка) и выполняет запрос. Словарь берётся из графа, поэтому агент знает
только то, что есть в медиатеке.
Понимает русские синонимы (фантастика → science fiction, искусственный
интеллект → artificial intelligence, робот → robot) и транслитерацию имён
(«фильмы Нолана» → Christopher Nolan). Эпохи в любом виде, оценки по словам.
Пять намерений: подбор, фильмография, по десятилетиям, похожее, сравнение.
При пустом результате ослабляет условия по одному и сообщает об этом.
Показывает, как понял запрос.
Вызовы: команда «агент», свободный текст Медиа-бота, и «найди» с падением
в граф, когда в Jellyfin пусто.
Проверено: Нолан → Interstellar; ИИ по десятилетиям (1980-е 1, 1990-е 1,
2000-е 2, 2010-е 2); похоже на Дюну → 8 фильмов; высокорейтинговые 80-х →
Blade Runner; «найди про роботов с рейтингом» → 7 фильмов.
Попутно: /pick получил фильтры по персоне и оценке; /compare сравнивает
книгу и фильм (общие и разные жанры, автор, связь экранизации); поиск ядра
понимает русские окончания (Дюну → Dune).
Ловушки: явная команда первым словом (иначе «похоже» перехватывало запрос),
порог основы для коротких слов, и восстановление аналитических функций,
случайно срезанных при замене do_pick.
Ядро: GET /graph (статистика и JSON узлов/рёбер), /timeline (тема по
десятилетиям), /cross (книги с экранизацией и авторы), /persons (топ персон).
Бот: команды «граф», «время <тема>», «кросс», «персоны режиссёры».
Проверено: science fiction по десятилетиям с фильмами, Dune ↔ Dune (2021),
Frank Herbert → Dune, Дени Вильнёв — 4 фильма.
Панель: раздел «Медиа: граф контента» с числом карточек и связей, таблицей
связей с диаграммами и списком книг-экранизаций. Панель выросла до 10.4 КБ.
Ловушки: /person перехватывал /persons (уточнён маршрут); «персоны режиссёры»
разбиралось как поиск человека по имени «режиссёры» — добавлено распознавание
запросов-списков.
Граф: композиторы из Credits.Crew (10 связей «музыка») и автор → фильм
(«экранирован»: Frank Herbert → Dune 2021). Итого 369 карточек, 387 связей.
Ядро: GET /pick с фильтрами genre/theme/decade — подбор из имеющегося с
оценкой и жанрами. Композиторы добавлены в /person.
Бот: команда «посмотреть» разбирает эпоху (80-е, 1999, 2020-е) и подбирает
фильмы, пробуя комбинации жанр+эпоха, тема+эпоха, жанр, тема, эпоха.
Проверено: 80-е → Blade Runner, 1999 → Fifth Element и Matrix,
2020-е → оба Dune, science fiction → 5 фильмов с оценками.
Ловушка: двузначный год превращался в «800-е» — добавлено правило века.
Ядро: GET /person?q= (персона и её фильмы), GET /similar?id= (прямые
связи «похож» плюс карточки с общими темами и жанрами, два шага по графу).
Бот Медиа: !персона Zendaya → фильмы персоны; !похоже Дюна → прямо
связанные и общие темы с числом совпадений. В «похожее» попадают и книги:
Dune связан с книгой через общий жанр.
Проверено: Keanu Reeves → 3 фильма Matrix; похоже на Dune: Part Two →
Dune (2021) с 4 совпадениями, Interstellar и The Fifth Element по 2.
Ловушка: первая версия /similar возвращала сами темы вместо фильмов —
нужен двухшаговый запрос (карточка → темы → другие карточки с теми же темами).
Добавлены связи из SkyHook: режиссёры и актёры (Credits), рекомендации
(Recommendations), оценки IMDb по корзинам, возрастной рейтинг, язык.
Русские названия из AlternativeTitles сохраняются как алиасы — поиск
«Дюна» находит Dune.
Итог: 359 карточек и 376 связей (было 182 и 193), 48 актёров, 6 режиссёров,
41 кандидат, 42 темы.
Новые команды бота Медиа: «тема <слово>» (подборка), «связи <название>»
(вся карточка со связями), «рекомендации» (что посмотреть из кандидатов).
Доработано в ядре: /entities с фильтром по виду и лимитом, поддержка
aliases при создании карточки.
Ловушки: кириллица в query требует urlencode; псевдоним «связи» перехватывался
командой link — переопределён ALIASES в MediaBot.
Добавлены связи по жанрам, студиям, ключевым словам (темам), эпохам,
продолжениям и похожести. Книги получили теги как жанры.
Наполнение: 12 фильмов (Radarr) и 10 книг (Calibre с метаданными и тегами).
Итог: 193 связи — тема 60, жанр 49, похож 22, снят в 12, студия 12,
написал 10, входит в 9, серия 8, продолжение 4, экранизация 1,
общая вселенная 1.
Проверены примеры: продолжения Matrix и Dune, экранизация Dune, связь
коллекции Dune с книжной серией.
У Prowlarr не было прокси, из-за этого схема индексаторов зависала и
отдавала пустоту. После настройки прокси схема загрузилась за 1.3 секунды:
657 определений, 87 публичных.
Добавлены и проверены через testall: The Pirate Bay, YTS, LimeTorrents,
Torrent9 (Knaben был). Синхронизировались в Sonarr (4) и Radarr (4) —
YTS только для фильмов.
Поиск matrix через Prowlarr: 269 результатов (TPB 100, Knaben 85,
LimeTorrents 40, YTS 24, Torrent9 20). Health Sonarr: 0 предупреждений,
было 4.
Не добавлены: 1337x и EZTV (403 через прокси), Nyaa/RuTracker/TorrentGalaxy
отсутствуют в схеме.
Ловушки: проверять надо testall (одиночный тест после POST не запускается,
в ответе нет id); curl к сайту может врать — Prowlarr ходит иначе.
Главное: медиатека не могла пополняться. Radarr ходит за метаданными на
api.radarr.video, а с домашнего IP этот адрес отдаёт 403 Cloudflare; с VPS —
200. На VPS уже был tinyproxy, разрешающий Tailscale-сеть. Поднят проброс
socat на узле (192.168.1.10:8888 → 100.64.0.2:8888), Radarr и Sonarr
переключены на него. После этого добавлены 5 фильмов с коллекциями.
Второе: граф контента. content_graph.py строит карточки и связи: фильм →
коллекция, книга → автор, книга → серия, книга ↔ фильм (экранизация),
коллекция ↔ книжная серия (общая вселенная). На реальных данных: 21
карточка, 19 связей, включая Matrix-трилогию, Dune-дилогию, экранизацию
Dune и связь коллекции Dune с книжной серией.
Добавлен GET /links в ядро (сводка по типам и список), блок «Связи
контента» в Медиа Хабе, расписание 04:45.
Ловушки: PUT /api/v3/config/host требует allowedHosts (и не принимает «*»);
прокси на Tailscale-адрес из контейнера не работает — нужен проброс; успех
сохранения отдаёт 202.
media_hub.py собирает продолжение просмотра (Jellyfin), заявки и их стадии
(Seerr), очередь загрузок и нехватку (Sonarr/Radarr), место и здоровье служб.
Снимок каждые 30 минут в коллекцию media, в чате — команда «хаб».
Первым прогоном нашёл: «All indexers are unavailable» — медиатека не могла
пополняться. Разобрал цепочку: Prowlarr отдаёт 88 результатов по запросу
matrix, из контейнера Sonarr caps приходит с корректным ключом и 401 с
неверным, тест индексатора в Sonarr и Radarr — 200, health очистился.
Причина — залипший backoff после прошлых ошибок, а не сеть или ключи.
Отдельно зафиксировано: Jackett развёрнут, но индексаторы не включены
(пустые конфиги, API требует cookie); Prowlarr schema зависает, поэтому
добавлять индексаторы можно только из уже имеющейся базы.
Сводка: что появилось (ядро, интеграции, боты, наблюдаемость), что
нашлось и исправлено (шесть разорванных связей), числа спринта, что осталось
и почему, с чего начать утром, где какая документация.
Проверка перед отчётом: все службы активны, 73 карточки, 87 событий,
10 источников, 22 задачи ядра, четыре набора тестов зелёные (19/19, 13/13,
0 медленных, 0 проблемных), шесть бэкапов с проверкой.
resilience_test.py подменяет адреса сервисов на мёртвый порт и проверяет
ответы девяти команд: скорость, отсутствие трассировок, непустой и понятный
текст. Результат: 0 проблемных из 9, все быстрее 0.5 с.
Технические ошибки переведены на человеческий язык (util.human_error):
отказ соединения, таймаут, DNS, нет маршрута, 401/403/404/5xx.
Замечено: часть ответов пришла из кэша util.get — то есть при падении службы
человек получает последнюю известную картину, а не ошибку.
gaps: пять проверок (LLM, Telegram, камеры, MQTT, хранилища) теперь идут
параллельно, результат кэшируется на 60 секунд — библиотеки и Proxmox не
меняются ежесекундно.
Замер 17 команд: было 3.7 с у gaps и одна команда медленнее 3 с, стало
2.5 с на первом вызове и 0.00 с на повторных, медленных нет.
Ловушка: кэш объявлен на уровне модуля; первая вставка «перед классом Bot»
не сработала — бот ответил «Ошибка при gaps». После правок кода ботов нужно
проверять живым вызовом, а не только синтаксисом.
Раньше разбор брал первое слово-псевдоним, поэтому «сколько места» понималось
как stats. Теперь каждая фраза проверяется целиком, вес = длина слов плюс
бонус за количество, побеждает самое весомое совпадение.
Добавлены живые фразы и синонимы (сколько места, свободного места, качается,
фотографии, книги, последний бэкап, продолжить просмотр и др.).
Проверено: rules_selftest 19 из 19 (было 13), llm_selftest по-прежнему
13 из 13, живые ответы корректны: «сколько места осталось» → Диски,
«когда последний бэкап» → Последние архивы.
camera_discover.py читает ARP-таблицу и проверяет порты 554/8554/37777/8000/8080
у соседей, сопоставляет MAC с производителями. Ничего не меняет.
Добавлены команды бота: !scan (запустить поиск) и !камеры (статус Frigate
и последний поиск). Результат сохраняется в ядро, коллекция cameras.
Проверено: в сети 31 сосед, камер 0 (порт 554 ни у кого не открыт),
у семи устройств открыты 8080/8000 — это наши контейнеры.
Еженедельный поиск: воскресенье 04:30.
На панель добавлен блок «Задачи»: 16 задач, время последнего запуска,
предел и состояние (ок / просрочено / не запускалась). Проверено: панель
отдаёт 8 разделов за 9 мс, через HTTPS — 200.
docs/RUNBOOK.md — дежурная книга: где смотреть, как устроено, расписание
всех задач, что делать при поломках (сервис, события, бэкап, тревоги,
панель), где что лежит, что осталось открытым и что проверено на живом.
Проверено: полезная нагрузка со status=resolved через вебхук ядра даёт
сообщение «✅ Всё восстановилось» в Matrix; в Alertmanager включён
send_resolved: true; реальное срабатывание правила тоже доходит.
Зафиксировано важное поведение: при перезапуске Prometheus теряет состояние
правил и не отправляет resolved для активных тревог — Alertmanager
закрывает их сам по resolve_timeout (5 минут). Попытка закрыть вручную
через POST с endsAt в прошлом не работает: запись считается новой тревогой,
нужен silence.
В prometheus.yml не было секции alerting — Prometheus не знал про
Alertmanager, поэтому ни одно правило (включая 10 существующих) никогда не
доходило до Matrix. Правила срабатывали внутри и молчали.
Добавлен блок alerting с целью 192.168.1.134:9093. Проверено end-to-end
временным правилом vector(1): Prometheus видит Alertmanager, тревога
переходит в firing, Alertmanager получает её, в Matrix приходит сообщение
«🔥 Тревога | 🟡 HubTestAlert | Проверка цепочки тревог».
Тестовое правило удалено, активных тревог 0, три правила ядра на месте.
На панель добавлены ссылки на дашборд Grafana и эндпоинт метрик.
Создан через API Grafana: события за сутки, открытые проблемы, карточки,
связи, события по источникам, карточки по видам, заполненность хранилищ,
возраст бэкапов, действия автоматики.
Проверено: дашборд создан (uid buryan-hub, версия 1, 9 панелей),
GET /api/dashboards/uid/buryan-hub → 200, запрос данных через Grafana
возвращает значения.
Пароль администратора Grafana не был нигде сохранён — сброшен через
grafana cli и записан в /root/.grafana-admin-password и в секреты как
grafana_admin_password.
GET /metrics в формате Prometheus: события по источникам, события за сутки,
карточки по видам, открытые проблемы, действия автоматики, связи,
заполненность хранилищ и возраст бэкапов.
Prometheus (CT 134) получил цель hub-core — проверено, статус up, метрики
hub_problems_open и hub_events_24h читаются.
Добавлены три правила: HubSilent (сутки без событий), HubStorageHigh
(хранилище >90%), HubBackupStale (бэкап старше 48 ч). Все загружены,
состояние inactive, health ok. Старый файл из 10 правил не тронут.
Ловушки: контейнер не может править свой конфиг (правим на хосте);
блок нельзя дописывать в конец — попадёт в rule_files и сломает YAML;
правила держим отдельным файлом.
Добавлена проверка реальных пробелов: нет ключа LLM, нет api_id Telegram,
нет камер в Frigate, нет интеграции MQTT в HA, хранилище заполнено от 80%.
Убрано устаревшее утверждение «Frigate не развёрнут» — он развёрнут, камер
нет; теперь это разные вещи и формулируются честно.
Проверено: команда выдаёт пять системных пробелов и пустые библиотеки с
подсказками.
На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity).
llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды.
Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет
весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13.
Когда появится ключ, тот же тест покажет качество настоящей модели без
--mock.
identity_audit.py собирает учётные записи из Authentik, Matrix, Immich,
Paperless, Gitea и Jellyfin, объединяет их по почте или имени (union-find),
отбрасывает служебные аккаунты и строит матрицу «кто где заведён».
Результат: 7 человек. Immich и Paperless есть только у владельца, daniil не
заведён в Matrix. Таблица сохраняется в API (коллекция identity) и отдаётся
ботом по команде !users мгновенно.
Расписание: понедельник 08:00.
По пути: экранирование сломало файл ботов (литеральные \\n) — восстановлен
из репозитория и правка применена заново.
В configuration.yaml добавлены сенсоры: число камер и частота детекции из
Frigate /api/stats, опрос раз в минуту. Сделано без MQTT-интеграции, которой
в HA нет.
Проверено: check_config без ошибок, HA поднялся, Frigate API из контейнера
HA отвечает 200, ошибок шаблонов нет. Конфиг забэкаплен перед правкой.
Не проверено появление сущностей в интерфейсе: у HA нет API-токена, а
recorder отключён. YAML-сенсоры без unique_id в реестр не попадают, поэтому
проверка по реестру бессмысленна. Способ проверки описан в документе.
Ловушка: шаблон cpu_usages.cpu в Frigate 0.18 не существует — сенсор
процессора убран, чтобы не засорять журнал.
offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.
Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).
Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
lxc_verify.sh (воскресенье 05:00): берёт самый маленький свежий архив,
разворачивает в свободный CT, запускает без сети, проверяет hostname и ОС,
удаляет тестовый контейнер.
Проверено: архив 555M развернулся за 4 с, контейнер поднялся (Ubuntu 22.04,
hostname headscale-lxc), затем удалён.
Найдено: thin pool local-lvm заполнен на 82% — восстановление туда не
проходит, поэтому тест использует хранилище local. Кандидат на очистку —
снапшот vm-115 на 25 ГБ от 14.10 (не удалял, это точка отката).
В сверку добавлен контроль хранилищ: 80% и выше — проблема с уведомлением.
Сразу поймала local-lvm 82%.
bots_verify.sh разворачивает архив ботов во временный каталог, проверяет
целостность sqlite-индекса, наличие журнала диалогов и входящих, затем
отправляет backup.done/backup.failed в ядро. Расписание 03:05.
Сторож расписаний дополнен двумя проверками (PG и боты).
docs/BACKUPS-STATUS.md — таблица: что бэкапится, когда, куда и что из этого
проверено на восстановление. Отдельно отмечено непроверенное: LXC-контейнеры,
vzdump, офсайт важного.
Проверено: архив ботов распаковался (4 файла), индекс ok, журнал и входящие
на месте, событие backup.done записано.
pg_verify.py считает строки в COPY-блоках критичных таблиц дампа
(pg_dumpall) и сравнивает с живой базой: пользователи и приложения
Authentik, аккаунты и события Matrix, снимки Immich, документы Paperless,
репозитории Gitea, карточки hub_core.
Проверено на свежем дампе: значимые таблицы на месте, проблем 0. Разница
в числах объясняется данными после 02:00; hub_core создана сегодня и
помечена отдельно.
Результат уходит событием backup.done/backup.failed в ядро, расписание 02:40.
Ловушка: каталог ops/backups исключён .gitignore, поэтому скрипты лежат
в ops/hub-core.
Поправка к предыдущему коммиту: бэкапы Matrix уже существовали
(/root/matrix-backups/backup-matrix.sh, 03:00). Мониторы показывали down
не из-за отсутствия бэкапов, а из-за отсутствия heartbeat.
Дубль удалён. Вместо него — проверка (03:20): свежесть дампа, копия на VPS,
разворачивание в тестовую базу, сравнение с живой базой и три heartbeat.
Проверено: дамп 2.8M, восстановление ок (22 пользователя, 4109 событий),
разница с живой = 8 аккаунтов ботов (норма), офсайт копируется, все три
монитора up.
Ловушки: scp на VPS нестабилен (заменён на ssh cat), pg_dump из CT 155
не работает, вывод psql требует разбора по меткам.
Обнаружено, что бэкапов Matrix не существовало: три монитора Kuma честно
показывали down, но никто не разбирался.
Скрипт на узле (03:15): pg_dump matrix_db (3.3 МБ) + tar данных CT 155
(17 МБ) + копия базы на VPS + разворачивание дампа в тестовую базу с
подсчётом пользователей (30) + ротация 14 + heartbeat в три монитора.
Проверено: все три монитора стали up (local, offsite, restore), офсайт
копируется, восстановление подтверждено.
Ловушки: pg_dump из CT 155 не работает (нет клиента) — запуск с узла;
scp на VPS нестабилен — заменён на ssh cat; мониторы были push-типа и
ждали сигнала, которого не было.
Блок «Источники за сутки» заменён таблицей: источник, всего событий,
за сутки, время последнего. По ней видно, какой сервис замолчал.
Проверено: четыре источника с числами и временем, панель 5091 байт,
через HTTPS — 200.
Инфраструктурный бот теперь показывает активность источников событий
(!sources) и историю по сервису (!history kuma). Используются новые
эндпоинты ядра /services и /service/<имя>.
По пути: имя !services уже занято списком служб с адресами, поэтому новые
команды названы !sources; методы пришлось перенести в класс InfraBot
(регистрация и реализация оказались в разных классах).
Проверено: !sources показывает 4 источника с числами, !history kuma —
последние события, !services сохранил прежнее поведение.
GET /services — источники с числом событий и временем последнего,
GET /service/<имя> — история по одному сервису.
cron_guard.py проверяет, что задачи реально отрабатывают: смотрит время
последней записи в журналах и отправляет service.stale боту Инфраструктура.
Подключён к ночной сверке.
Проверено: все десять задач прогнаны как cron и записали журналы, сторож
показывает 10 в порядке, 0 просрочено; telegram честно помечен «ещё не
запускался» (нет ключей).
frigate_camera.py: список, проверка YAML, добавление и удаление камеры,
черновик без записи, применение с перезапуском.
Имя камеры транслитерируется (Frigate не принимает кириллицу):
двор → dvor, калитка 2 → kalitka_2.
Проверено: --validate даёт «YAML в порядке, камер: 0», --add двор --dry-run —
«камер: 1» с блоком dvor, конфиг после черновика не изменён.
По пути: пустой блок cameras: {} нельзя просто дополнить отступом —
YAML ломался, поэтому он заменяется словарём.
library_sync.py собирает фильмы и сериалы (Jellyfin), документы (Paperless),
книги (Calibre), альбомы (Navidrome), фотоальбомы (Immich) и заводит на них
карточки в ядре. Запуск 04:15.
Проверено самопроверкой без сервисов: создаются 2 карточки, поиск их
находит, после проверки удалены. Реальный прогон: пять источников без
ошибок, карточек 0 (библиотеки пусты).
Ловушки: albumName в Immich требует кавычек (SQL через файл), русский
поисковый запрос требует urlencode.
logrotate для hub-*.log (8 недель), бэкап /var/lib/hub-bots в
/mnt/backups/hub-bots (02:45, ротация 14), панель обновляется раз в минуту.
Статус спринта переписан: что работает, что нашлось по пути (ghcr, устаревшие
комнаты, ложные падения Kuma, сериализация дат, DSN в systemd, SQL_ASCII),
что ждёт владельца и как проверить.
Воскресенье 20:00: события за 7 дней по источникам, карточки по видам,
связи, проблемы (новые/решённые), действия автоматики, заметное.
Отправляется боту Дайджест.
Проверено: отчёт собран и отправлен — 68 событий, 66 карточек по видам,
1 проблема закрыта, 1 действие.
Раньше сверка писала проблемы только в базу — человек о них не узнавал.
Теперь каждая находка уходит событием service.down через маршрутизацию ядра,
а восстановление — одним сообщением «Все службы в порядке».
Проверено: обычный прогон молчит (0 проблем), имитация падения дала
тревогу в боте Инфраструктура, после удаления имитации снова 0.
События теперь уходят по адресу: media.* и telegram.* — боту Медиа, photo.* —
Фото, book.* — Книги, ha.* — Дом, service/monitor/backup — Инфраструктура,
camera.* — Камеры. Раньше всё валилось в одну комнату.
Добавлены monitor.down/up и camera.detection в «громкие» события.
Найдено по пути: комнаты в bots.env устарели, актуальные — в dm.env;
первая версия маршрутов из-за этого молчала (403 на отправку).
Скрипт gen_routes.py собирает карту из правильных источников.
Проверено: monitor.down пришёл боту Инфраструктура, медийному не пришёл.
Добавлен location /hub/ в существующий домен status.buryans.ru — новых DNS
и сертификатов не потребовалось. Снаружи доступ закрыт входом Authentik,
изнутри сети панель как раньше на 9120.
На панель добавлен блок «Что есть в сервисах» из последней инвентаризации
(Jellyfin, Navidrome, Calibre, Immich, Paperless, Frigate).
Проверено: локально 200 и блок на месте, через HTTPS с нужным Host — 200,
публично — 302 на вход. nginx -t успешно, конфиг забэкаплен.
Утренняя сводка дополнена блоком из последней инвентаризации: медиа,
музыка, книги, фото, документы. Теперь одно сообщение отвечает и «что
произошло», и «что у нас есть».
Проверено: дайджест отправился, блоки событий и заметного на месте.
Ежедневно в 07:30 собирает показатели Jellyfin, Navidrome, Calibre, Immich,
Paperless, Sonarr, Radarr, Frigate и пишет таблицу в data/inventory/
(md + json) и в коллекцию inventory API ядра.
Проверено: все восемь строк заполнены реальными числами (нули — пустые
библиотеки, это оговорено в файле).
По пути: Navidrome читается из volume на хосте CT 125 (в контейнере нет
python3), у Sonarr/Radarr исправлены эндпоинты series/movie.
POST /data/<коллекция> — запись документа, GET /data/<коллекция> — чтение,
POST /export — выгрузка в /root/buryan-infra/data/.
Боты при любом пожелании пишут его в коллекцию wishes (кто, какой бот,
номер, текст). Команда !export выгружает коллекцию из чата. Каждый день
в 23:00 cron выгружает wishes, dialog, events и копирует журналы.
Проверено: пожелание от @polina легло в API и в файл, !export вернул путь,
в папке проекта 6 файлов (wishes, dialog, events, logs).
ALLOWED_USERS расширен: владелец, Полина, Елена, Никита, Сергей, Алекс.
Для каждого бота написана подробная инструкция именно по его зоне:
медиа (Jellyfin/Seerr/Sonarr/Radarr/Navidrome), фото (Immich), книги
(Calibre), дом (HA, Android/Google TV), инфраструктура, поиск, дайджест,
камеры. В инструкции — что умеет, примеры человеческих фраз, ссылки и
ограничения.
Бот присылает инструкцию при первом обращении от человека (один раз,
состояние в onboarded.json), «помощь» повторяет её.
Проверено: инструкции различаются (610–1249 символов), повторное
обращение не спамит, «помощь» отдаёт нужную.
Коннектор отдаёт monitor.up/monitor.down вместо разового списка; ключ
события включает состояние, карточка монитора остаётся одна (entity_key).
Найдено и исправлено в мониторах: Calibre-web и FreshRSS смотрели на старый
адрес 192.168.1.111 (сервисы на .240), пять мониторов принимали только 2xx
при фактических 302 — добавлены 3xx, два мёртвых монитора выключены
(Nginx Proxy Manager, Paperless-110).
Итог: 50 вверх, 5 вниз (три — push-мониторы бэкапов, это норма).
Копия базы до правок: kuma.db.bak-monitors.
pg_dump hub_core в /mnt/backups/hub-core, ротация 14 файлов, cron 02:30.
Проверено по-настоящему: дамп создан (6 таблиц), развёрнут в тестовую
базу hub_core_test — восстановились все 68 карточек. Тестовая база удалена.
Скрипт лежит отдельным файлом /opt/hub-core/backup.sh (cron не может
вызывать строку из истории).
Панель показывает ещё связи между карточками и таблицу действий сверки
(что, куда, результат, статус). Проверено: 200, 5 блоков, цифры совпадают.
Добавлен docs/SPRINT-STATUS.md — что уже работает и проверено, что ждёт
участия владельца (ключи LLM, Telegram, DNS для новых доменов, MQTT в HA,
камеры, доступ к определениям Prowlarr) и как проверить самому.
Telethon 1.45 установлен, скрипт читает каналы и отправляет сообщения в
шину ядра (telegram.post), состояние хранится между запусками — дублей нет.
Готово: конфиг-шаблон (600), юнит (не включён), cron каждые 15 минут с
проверкой TG_API_ID, фильтр по ключевым словам.
Проверено без ключей: завершается понятным сообщением, ничего не ломает.
Чтобы включить — заполнить /etc/hub-core/telegram.env и один раз войти
(код придёт в Telegram).
Поиск идёт в /search ядра, старый SQLite-индекс остался запасным.
Добавлены команды: !card <id> (карточка, связи, история), !feed
(последние события), !s теперь показывает номер карточки для !card.
Проверено: !feed отдал события, !s нашёл «Дюна: часть вторая #1»,
!card 1 показал ключ tmdb:693134 и историю radarr: media.imported.
GET /search?q= — поиск по карточкам (название и внешние ключи).
GET /entity/{id} — карточка, её связи и история событий.
Проверено: поиск «дюна» вернул 3 карточки, карточка отдала историю
событий. Тестовые данные удалены, в ядре 68 настоящих карточек.
Попутно: datetimes ломали json.dumps — теперь сериализация с default=str,
иначе клиент получал пустой ответ.
CT 126 (frigate-lxc): 2 ядра, 2 ГБ, 16 ГБ, /mnt/media/frigate под записи.
Образ 6.3 ГБ, версия 0.18.2, контейнер healthy, /api/stats отдаёт
cameras: {} — камер пока нет по договорённости.
Подключено: MQTT (mosquitto 192.168.1.106:1883, префикс frigate),
проверка в сверке (18 проверок, 0 проблем), коннектор событий
camera.detection для шины.
Отдельно зафиксирована проблема загрузки: ghcr.io из этой сети почти
недоступен, образ получен через зеркало ghcr.nju.edu.cn с последующим
перетегированием.
Ядро по событию media.imported вызывает POST /Library/Refresh в Jellyfin,
поэтому новое сразу видно в медиатеке, без ожидания расписания.
Каждое действие пишется в журнал actions с результатом и статусом.
Проверено: событие «Тест автодействия» → сканирование HTTP 204 →
запись scan → jellyfin → done. Тестовая карточка удалена.
GET / на hub-core отдаёт HTML-панель: карточки, события всего и за сутки,
открытые проблемы, последние 25 событий, разбивка по источникам.
Страница без внешних зависимостей — работает, даже если остальные сервисы
недоступны. Проверено: 200, цифры совпадают с базой (68/68/68/0).
llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный).
Модель получает список инструментов (команд бота) и либо вызывает нужный,
либо отвечает текстом.
Встроено в бота: если правила не распознали фразу, бот спрашивает модель.
Без ключа адаптер молчит — поведение прежнее.
Проверено на локальной заглушке: фраза «покажи статистику по медиа» →
модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом
записывается в журнал диалогов. health() подтверждает связь.
Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через
EnvironmentFile, формат llm.env.example в репозитории.
linker.py связывает сущности с одинаковыми названиями разных видов:
нормализация (регистр, ё→е, год в скобках, знаки, служебные слова), затем
отношение «одно_название».
Проверено на тесте: «Дюна» (фильм) ↔ «Дюна (1965)» (книга) — связь создана,
тестовые карточки удалены.
Все расписания ядра на месте: коннекторы (10 мин), сверка (03:30), связка
(03:45), дайджест событий (08:30), resume (19:00). Обе службы активны.
HA подключён без токена: читаем реестр сущностей из хранилища внутри
контейнера, получаем события ha.entity.
Дайджест собирает события за сутки, группирует по источникам, показывает
заметное (импорт, заявки, тревоги, документы) и состояние ядра. Расписание
08:30.
Проверено: прогон показал 68 событий (57 Kuma, 8 HA, 2 тревоги, 1 импорт),
68 карточек, 0 открытых проблем.
resume.py обходит пользователей Jellyfin, собирает незавершённые видео,
считает процент и остаток, отправляет список в Matrix (на Android это и
есть push-уведомление, на Google TV открывается та же ссылка в родном
приложении).
Проверено: прогон отправил сообщение «сейчас ничего не досмотрено» —
корректно при пустой библиотеке.
Расписание 19:00 ежедневно.
reconcile.py проверяет 17 служб по HTTP, смотрит состояние контейнера и
поднимает остановленные, записывая действие в журнал actions с командой
отката. Проблемы ведутся в таблице problems: новые создаются, исчезнувшие
закрываются.
Проверено: первый прогон нашёл 1 проблему (n8n на неверном порту),
контейнер работал — автопочинки не было; после правки порта 0 проблем.
Расписание 03:30, лог /var/log/hub-reconcile.log.
Добавлены источники из баз сервисов: Paperless (API), Calibre (metadata.db
через python3), Navidrome (sqlite), Immich (immich_db), Uptime Kuma (kuma.db).
Первый прогон дал 57 событий от Kuma, второй — 0: идемпотентность работает.
В ядре 60 карточек и 60 событий.
По пути: база Kuma лежит не в docker volume, а в /opt/network-lxc/uptime/data;
функции источников должны возвращать (список, ошибка) — две штуки отдавали
просто список, из-за чего падали с unpacking error.
Опрос вместо вебхуков: не требует правок в сервисах, ловит пропущенное,
состояние в state.json — каждое изменение даёт одно событие.
Проверено: первый прогон дал 2 события (тревоги Alertmanager), в ядре
3 карточки и 3 события. Расписание — каждые 10 минут.
Осталось: Uptime Kuma (нужен ключ API), Immich, Paperless, Calibre,
Navidrome, Frigate, Home Assistant.
Первый шаг проекта: база hub_core (UTF8) на общем PostgreSQL, служба
hub-core на порту 9120.
Умеет: принимать события от сервисов (POST /event), вести карточки
сущностей (kind + key, статус, внешние ключи), связывать карточки,
искать и показывать последние события, публиковать важное в личку
владельцу через Matrix.
Проверено: событие radarr/media.imported записалось, карточка
«фильм | Дюна: часть вторая» создалась с кириллицей.
По пути: systemd разбивал DSN по пробелам (нужны кавычки), база была
создана в SQL_ASCII — пересоздана в UTF8.
Описана архитектура связующего слоя: шина событий, граф сущностей,
сверка с реальностью, интеллект поверх общего индекса.
Слои: сервисы (источник правды) → ядро (события, граф, правила) →
интеллект (разбор запросов, поиск, действия) → интерфейс (Matrix, панель).
План из четырёх шагов с проверками на каждом: ядро данных в PostgreSQL,
шина событий, сверка и действия с подтверждением, затем AI.
Принципы: сервисы остаются источником правды, одно направление записи,
идемпотентность, деградация без поломки, сначала предложение — потом действие.
Проверено: в образе Prowlarr определений нет (только бинарник), резервные
копии конфигурации их не содержат, релизов у Prowlarr/Indexers нет — только
ветки с YAML-исходниками, прямые ссылки на indexers.zip отдают 404,
IPv4-обход тоже не работает.
Итог: определения взять изнутри нельзя, нужен внешний источник (Jackett,
туннель или зеркало). Для Telegram выбран Telethon: нужны api_id/api_hash,
номер и код при входе, список каналов.
indexers.prowlarr.com резолвится (188.114.97.3 и IPv6 Cloudflare), но
не отвечает ни по IPv4, ни по IPv6 с узла. github.com при этом доступен —
значит блокировка именно этого домена, а не проблема сети.
Из-за этого архив определений не скачивается (остаётся .part), а встроенный
набор из 77 определений содержит только приватные трекеры плюс Knaben,
Anidex, Anidub, AnimeZ, RuTracker. Публичных 1337x/YTS/TorrentGalaxy нет.
В docs/INDEXERS-ROOTCAUSE.md расписаны три обхода: Jackett со встроенными
определениями (рекомендую), выход Prowlarr через туннель, своё зеркало.
Установлено: indexers.prowlarr.com из контейнера недоступен, прямые ссылки
на indexers.zip отдают 404, архив остаётся недокачанным (.part). Схема
отдаёт 77 определений, но публичных трекеров среди них нет — только
приватные плюс Knaben, Anidex, Anidub, AnimeZ, RuTracker.
Найден правильный способ запуска обновления: POST /api/v1/command
{"name":"IndexerDefinitionUpdate"}.
Добавлен docs/SPRINTS-BACKLOG.md: задания по всем сервисам — индексаторы
и полный цикл медиа, Telegram как источник, переделка ботов, наполнение
контента, наблюдаемость, надёжность.
Спам прекращён: боты вышли из общих комнат (владельца из них убрали),
состоят только в личной переписке. Писать может только владелец —
остальным вежливый отказ; открывается списком ALLOWED_USERS.
Свободный текст теперь не сваливается в подсказку: если команды нет,
бот сохраняет пожелание во «Входящие» (/var/lib/hub-bots/inbox),
отправляет копию владельцу и отвечает номером записи.
Понимание фраз: к точным командам добавлен разбор по основам слов —
«покажи статистику по медиа» выполняется как stats.
Уведомления (Seerr, тревоги, сводки) переведены из комнат в личку.
До спринта цепочки не было: у Jellyfin /media, у arr /opt/media (разные
папки), ноль папок библиотек, ноль загрузчиков, ноль индексаторов.
Сделано: общий том /mnt/media во всех контейнерах (проверено записью из
Sonarr и чтением в Jellyfin); qBittorrent в новом CT 123; корневые папки
/data/series и /data/movies; загрузчик подключён к Sonarr и Radarr (тесты
200); Prowlarr синхронизирует приложения Sonarr и Radarr (тесты 200);
Bazarr подключён к обоим; Seerr переведён на правильные папки.
Тревоги Alertmanager теперь идут в комнату «Инфраструктура» через приёмник
ботов: у разных источников разные комнаты (Seerr — медиа, тревоги —
инфраструктура). Проверено доставкой critical-тревоги.
Осталось: индексаторы — нужны аккаунты трекеров.
Каждый бот теперь личный собеседник: при старте создаёт комнату is_direct
с владельцем и приглашает его. В личке не нужны команды — понимает обычные
слова («статистика», «что нового», «найди дюна»).
Общие комнаты остались, но там бот отвечает только на !команды, чтобы не
встревать в разговор. Уведомления и сводки — туда же.
Боты принимают приглашения: если человек сам начнёт переписку, она станет
личной (признак is_direct в событии приглашения).
Источников стало девять: jellyfin, sonarr, radarr, navidrome, calibre,
linkding, paperless, immich (альбомы), seerr (заявки — видно, что просили,
даже если ещё не скачано).
Все девять собираются без ошибок (проверено). По пути поправил Navidrome
(в схеме нет artist_id, есть album_artist) и Immich (psql не понимает
кириллицу в именах колонок без кавычек — сделал помощник на sh).
Недельная сводка: понедельник 09:30, отдельный файл weekly.py.
Индекс: все семь источников (Jellyfin, Sonarr, Radarr, Navidrome, Calibre,
Paperless, Linkding) в одной базе, пересборка каждые 3 часа. Поиск идёт по
нормализованному полю — SQLite не умеет lower() для кириллицы, поэтому
регистр приводится при сборке. Выгрузки из баз — помощники в контейнерах.
Новые команды: !index (состав индекса), !reindex (пересобрать),
!link (кросс-связи: одно название в разных видах контента),
!gaps (что мешает работать целиком).
Проверено на тестовых записях: «дюна» находится сразу как фильм, книга
и закладка; тестовые записи после проверки удалены.
Приёмник вебхуков в службе ботов: Seerr шлёт события на
http://192.168.1.10:9110/seerr, бот публикует их в комнате «Медиа»
в человеческом виде (что за фильм, кто просил, статус).
Quick Connect в Seerr: включён, код выдаётся. Причина прошлой поломки —
Seerr очистил адрес Jellyfin при первом входе, из-за чего запрос падал
с «Invalid URL». Адрес прописан заново.
Восемь ботов в пространстве Buryan Hub, по комнате на домен. Каждый
отвечает на !help списком своих команд и показывает реальные данные:
Jellyfin (Items/Counts), Sonarr/Radarr (очередь, диски, нехватка),
Seerr (заявки), Prometheus (службы, тревоги), Immich/Calibre/Navidrome
и Home Assistant — через pct.
Ежедневная сводка в 09:00 (cron) в комнату «Дайджесты».
Важное: все библиотеки пусты (0 фильмов, 0 фото, 0 книг, 0 треков),
Frigate не развёрнут — боты говорят об этом честно и подсказывают,
как наполнить. Диск один, внешних хранилищ нет.
Секреты: /etc/hub-bots/bots.env (600), /root/hub-bots/ALL-SECRETS.txt (600),
зашифрованная копия ops/secrets-enc/hub-bots-secrets.age.
Seerr (преемник Overseerr и Jellyseerr): поднят на CT 121, настроен на
Jellyfin, подключены Sonarr и Radarr, домен ombi переведён. Старый
Overseerr удалён.
Тонкости, на которые потратил время: настройки медиасервера требуют уже
открытой сессии (правится только через settings.json), первый вход требует
serverType в теле, Sonarr/Radarr ждут обязательные поля профиля.
Мониторинг: 4 экспортёра exportarr (Sonarr/Radarr/Prowlarr/Bazarr) в
Prometheus, адреса целей — на узел, а не 127.0.0.1 (Prometheus в контейнере).
Добавлены 3 правила: ошибка сбора, очередь, место. Всего 10 правил.
Карта интеграций и план по волнам — docs/INTEGRATIONS-2026-10-19.md.
Jellyfin: поставлен плагин SSO Authentication 5.1.1, создан провайдер
jellyfin-sso, настроен вход (SchemeOverride=https — иначе адрес возврата
шёл как http и Authentik отказывал), домен media переведён напрямую,
8 пользователей заведены, akadmin — администратор.
Vaultwarden: включён админ-токен, созданы заготовки учёток в vaultwarden_db —
SSO привязывает их по почте (штатный приём), мастер-пароль остаётся.
users-sync.sh: одной командой заводит всех из Authentik в Gitea, Nextcloud,
Linkding, Navidrome, Jellyfin, Vaultwarden. Идемпотентно.
Plex и Overseerr: OIDC нет; варианты (PlexSSO, Seerr) описаны в docs.
HA: nginx проверяет вход подзапросом /oauth2/auth, а в HA уходят чистые
запросы через ha-strip. Это убирает 302 для служебных запросов фронтенда
(«Unable to fetch auth providers»). Применено на домашнем и внешнем nginx.
Проверено: /auth/providers -> 200 с Trusted Networks.
Пользователи: скрипт users-sync.sh заводит всех из Authentik в Gitea,
Nextcloud, Navidrome, Linkding. Остальные службы автозаводят при входе.
Исправлен дубль почты akadmin/roman, убраны мусорные учётки от проверок.
HA: cookie сессии уменьшена с ~4 КБ (две части) до 565 байт (одна),
новое имя _oauth2_proxy_ha, SameSite=lax. Проверено: повторный заход
отдаёт /auth/providers 200, журнал чист.
Дом и VPS расходились в hub (заглушка nginx), links (мимо единого входа)
и turn — выровнены, теперь 41 домен совпадает.
Overseerr переведён напрямую (свой вход через Plex), прокси снят.
Удалены провайдеры без приложений: n8n-oidc, vaultwarden-proxy (35/36).
Firefly: убраны дубли от проверок, остался владелец.
domains.yaml приведён к факту: 19 адресов, добавлено предупреждение
о ручной настройке единого входа.
Причина отказа найдена в коде HA: он запрещает вход по доверенной сети
с адреса, внесённого в http.trusted_proxies, а если адрес не внесён и
приходит X-Forwarded-For — отвечает 400.
Решение: trusted_networks для сети Docker с trusted_users (пользователь Roman),
trusted_proxies без сети прокси, и nginx-прослойка ha-strip между прокси и HA,
которая вычищает X-Forwarded-For и X-Real-IP.
Проверено: способы входа содержат Trusted Networks, авто-вход отдаёт
create_entry, круг через домен — 200 Home Assistant, в журнале HA новых
ошибок нет, прямой заход из локальной сети по-прежнему требует пароль.
Провайдер trusted_networks в HA 2026.2.3 конфиг принимает (схема проходит),
но вход с адреса прокси отклоняет — даже при 0.0.0.0/0. Значит HA не
применяет auth_providers из configuration.yaml.
Откат: домен напрямую на 192.168.1.106:8123, прокси остановлен, конфиг
чистый, check_config проходит. У HA остаётся один вход — свой.
Home Assistant: trusted_networks + trusted_users, домен через прокси — своя форма убрана.
Navidrome: доверенная сеть Docker + доступ к библиотеке, проверено по API (200/401).
Authentik: созданы mealie-oidc и immich-oidc с областями по образцу.
Mealie: родной OIDC, прокси убран. Immich: oauth включён в базе.
Synapse: allow_existing_users=true — SSO пускает существующие учётки.
Ротация запускалась раз в неделю при ежедневных копиях — диск дошёл
до 94%%. Ротация переведена на ежедневный запуск (06:30), освобождено 24 ГБ.
CT 111 (книги, каталог, Duplicati, FreshRSS) не имел ни одного архива.
Добавлен в /etc/cron.d/lxc-backups (вс 05:15) и сразу проверен:
vzdump-lxc-111-2026_10_19-12_30_24.tar.zst, 3,3 ГБ.
Найдено и исправлено то, чего не было в аудите:
- каталог книг: провайдеру не разрешён адрес возврата /catalog/oauth2/callback
и имя cookie совпадало с Calibre (цикл входа)
- backup вёл на Grafana; Duplicati живёт в CT 111:8200
- Node-RED: внутренние адреса возврата и издателя, недоступное имя службы
- headscale.buryans.ru вёл на прокси Node-RED вместо headscale
- arr: AuthenticationMethod лежит в config.xml (Basic/Forms), а не в базе
- Vaultwarden: провайдер без приложения в Authentik давал отказ во входе
- Nextcloud 500: сломанное приложение Talk (spreed) валило вход
- requests/ombi: 403 из-за разных доменов на одном прокси
- 502 после входа: сессия с правами групп не влезала в буфер заголовков nginx
- лишний экран согласия у всех 35 провайдеров
- FreshRSS: данные не сохранялись из-за лишнего префикса в пути монтирования
Добавлена сквозная проверка входа (login-check.py) и служебная учётная
запись sso-check: проверяем результат, а не факт создания.
Единый документ для передачи в новую ветку. Содержит:
* инфраструктуру: 3 узла, 30 LXC, потоки трафика, задержка канала;
* таблицу всех контейнеров с ролями;
* что сделано: единый вход (23 сервиса + 8 со своей авторизацией),
11 исправленных причин отказов, книги, уборка дублей;
* базы данных: общий PostgreSQL и 13 служб на своих файлах;
* доступ, наблюдение, копии (с указанием, что наружу копий НЕТ);
* известные проблемы: 15 двойных входов, 8 отказов, инфраструктурные;
* план работ по 6 блокам (A-F) с приоритетами;
* пароли и файлы, репозиторий, уроки.
В журнале прокси: "could not get claim email: profile URL: unexpected
status 403". В журнале Authentik: "Scope mismatch. required {'openid'},
token_has set()" — токен приходил вообще БЕЗ областей.
ПРИЧИНА: у провайдеров, созданных мной через API (adguard, backup,
element, finance, git, meals, openclaw, status, home, catalog,
home-assistant), оказалось НОЛЬ привязанных областей доступа
(property_mappings). Без областей openid/email/profile в токене нет
почты, прокси идёт за ней в userinfo, тот отвечает 403, прокси отдаёт
500. Старые провайдеры (sonarr и др.) были настроены раньше с областями —
поэтому работали. Падали ровно те сервисы, что добавил я.
ИСПРАВЛЕНО: скопировал набор областей с рабочего sonarr-proxy на все 11.
ПРОВЕРЕНО: токен выдаётся, userinfo отвечает 200 с email_verified true,
все 16 доменов отвечают 302 на вход.
МОЯ ОШИБКА: при создании провайдеров задал имя, адреса возврата и типы
обменов, но забыл привязать области. Проверял факт создания, а не
реальный токен. Урок: проверять данные в токене, а не только что объект
создался.
ОСТАЛОСЬ: двойной родной вход, цикл перенаправления у каталога, Mealie
401, Plex 400, Vault отказ, Nextcloud 500.
СВЕРКА. Собраны все 28 прокси и 35 провайдеров Authentik, сверены
адреса возврата с доменами, расхождения исправлены. Проверено живьём:
у каждого из 23 сервисов вход ведёт на СВОЙ домен
(adguard -> adguard.buryans.ru/oauth2/callback и т.д.). Смешения нет.
УБРАНЫ ЛИШНИЕ ПРОКСИ: oauth2-proxy-home (CT 155) и oauth2-proxy-ha
(CT 106) — Home Assistant выведен из единого входа, они стали не нужны.
НАЙДЕНО БЕЗ ДОМЕНОВ: tautulli (имя есть в прокси, но не в DNS),
node-red (адрес возврата внутренний), grafana, prometheus, alertmanager.
Проверено: эти имена в DNS не существуют — без A-записей у регистратора
домен и сертификат создать нельзя. Записано задачей С-15.
ДОБАВЛЕН docs/SERVICES-TABLE.md: полная таблица — 23 сервиса с доменом и
входом, 8 псевдонимов, 8 доменов со своим паролем (Nextcloud, HA, Immich,
Syncthing, Proxmox, Matrix, Authentik, Headscale), 5 без домена, и
список того, что убрано.
1. n8n ПОКАЗЫВАЛ КАРТИНКУ ВМЕСТО СЕРВИСА. Причина: N8N_EDITOR_BASE_URL
указывал на http://192.168.1.108:5680/ — браузер снаружи не может
загрузить ресурсы с внутреннего адреса. Исправлено на
https://n8n.buryans.ru/, добавлены N8N_HOST, N8N_PROTOCOL=https,
WEBHOOK_URL. В журнале теперь "Editor is now accessible via
https://n8n.buryans.ru".
2. GITEA — та же болезнь: ROOT_URL=http://192.168.1.140:3000/,
DOMAIN=192.168.1.92. Исправлено на https://git.buryans.ru/ и
git.buryans.ru.
3. HOME ASSISTANT ВЫВЕДЕН ИЗ ЕДИНОГО ВХОДА (решение владельца).
home.buryans.ru ведёт прямо на HA (8123). Причина: у HA своя
авторизация и своё мобильное приложение, прокси впереди мешал.
Проверено: home отвечает 200 напрямую, API 401 (защищён токеном HA).
МОИ ОШИБКИ: правил docker-compose.yml заменой строк и склеил переменные
окружения в одну строку — n8n перестал запускаться (getaddrinfo
EAI_AGAIN); восстанавливал из копии и правил построчно. Плюс сломал
отступы YAML. Урок: после правки compose всегда проверять
docker compose config.
ОСТАЛОСЬ: проверить свои адреса у Grafana, Jellyfin, Navidrome, Mealie,
Firefly, Linkding, Paperless, Plex — тот же класс ошибки.
По итогам аудита обнаружено, что параллельно работают:
* второй Paperless в CT 110 (paperless_web, paperless_worker,
paperless_redis) — рабочий Paperless живёт в CT 105, а прокси в CT 110
смотрит именно на CT 105, значит эти три контейнера не нужны;
* старый FreshRSS (freshrss-old-20261014-180053) рядом с новым в CT 111.
Остановлены, автозапуск отключён (restart=no). Прокси
oauth2-proxy-paperless в CT 110 НЕ тронут — он обслуживает docs.
ПРОВЕРЕНО: docs, news, rss отвечают; наблюдение 58 проверок без провалов;
память освободилась (CT 110 — 368 МБ, CT 111 — 284 МБ занято).
1. VPN. В журнале шлюза сотни "context deadline exceeded" для flibusta,
libgen, archive.org; все три канала помечены мёртвыми. ПРИЧИНА:
автоподбор выбирал hysteria2, а он сыпется (в логах VPS H3 error 0x0),
плюс проверка живости шла на gstatic, который через этот канал не
открывался. ИСПРАВЛЕНО: hysteria2 убран из автоподбора (остались
VLESS+TLS и Reality), проверка переведена на cp.cloudflare.com,
интервал 3 минуты. РЕЗУЛЬТАТ: flibusta/libgen/archive снова 200.
2. КНИЖНЫЙ БОТ. Не отвечал: поиск шёл последовательно по 5 источникам,
три через VPN висели по 15-30 с, бот застревал. Плюс разбор команд был
строгим, а сообщения приходили с кавычками. ИСПРАВЛЕНО: параллельный
поиск с общим лимитом 45 с, сразу подтверждение "Ищу...", терпимый
разбор (кавычки, пробелы, "/ Find"), свободный текст ("найди Дюна"),
журнал каждого цикла. ПРОВЕРЕНО: /find Дюна и "найди Дюна" отвечают.
3. АУДИТ. 28 контейнеров, ~60 docker-контейнеров, 23 домена под входом,
2 намеренно открыты (immich, sync), наблюдение 58 проверок без
провалов. НАЙДЕНО: два Paperless работают одновременно (CT 105 и 110),
старый FreshRSS жив, 40 баз в общем PostgreSQL + 18 файлов SQLite,
плюс дубли баз *_pre_utf8_* и *_ascii_*. Всё записано на утро.
ОБНАРУЖЕНО: у Nextcloud и Home Assistant вообще не было доменов — только
IP внутри сети, и у каждого свой пароль.
СДЕЛАНО:
1. NECTCLOUD -> files.buryans.ru (раньше домен вёл на Paperless).
Вход через Authentik средствами самого Nextcloud (приложение
user_oidc), а не прокси — потому что мобильный клиент и синхронизация
ходят в API напрямую, прокси их сломал бы. Добавлены доверенные домены
files/cloud, поправлен overwrite.cli.url для ссылок в письмах.
Paperless остался на docs.buryans.ru.
2. HOME ASSISTANT -> home.buryans.ru (раньше заглушка). Вход через
oauth2-proxy-ha на 9111. API (/api, /local, /auth, /static) намеренно
НЕ закрыт единым входом — иначе перестанет работать мобильное
приложение; при этом API защищён токенами HA (отвечает 401).
3. ПОПУТНО в HA исправлено: internal_url и external_url стояли на верхнем
уровне конфига, HA ругался "Integration 'internal_url' not found" —
перенесены внутрь homeassistant.
ПРОВЕРЕНО: files 302 -> /login со входом через Authentik; home 302 ->
Authentik; API HA без токена 401; docs 302 (Paperless на месте);
Zigbee2MQTT 200; наблюдение 58 проверок без провалов; все контейнеры
работают.
ОСТАЛОСЬ: тревога "Высокая нагрузка" (следствие моих сборок, уйдёт сама),
уведомления HA в Matrix, календарь Nextcloud в HA, обновить Dashy.
1. УБРАН ВТОРОЙ ВХОД В CALIBRE. После Authentik он показывал свою форму.
Включил доверие заголовку от прокси:
allow_reverse_proxy_header_login=1, header=X-Forwarded-Email,
auto_create_users=1, disable_standard_login=1. Админа переименовал в
свою почту, чтобы вход попадал в его учётку.
ПРОВЕРЕНО: без заголовка 302 (просит вход), с заголовком 200 и кнопка
«Выход» — пустило. Второго пароля больше нет.
2. КНИЖНЫЙ БОТ @bot_books. Команды: /find (поиск в ЛитРес, Open Library,
archive.org, Флибусте, libgen), /lib (что уже есть), /wanted (что
искать), /tgadd /tglist /tgdel (каналы Telegram), /help.
Доступ по списку: @akadmin, @polina; остальным отказ с показом их
адреса. Бот сам принимает приглашения в комнаты.
ПРОВЕРЕНО: /find Дюна вернул три издания ЛитРес с ценами (599/579 ₽),
карточку Open Library и три книги в archive.org.
3. TELEGRAM БЕЗ АККАУНТА: бот ищет по публичным каналам через
веб-предпросмотр t.me/s/имя (работает через VPN). Скачивать файлы так
нельзя — для этого нужен юзербот (задача К-11).
МОИ ОШИБКИ: бот сначала не обрабатывал приглашения (не вступал в комнату);
сборка образа шла из кэша и патч не попадал в контейнер — помогло
--no-cache; год из Open Library показывался как цена.
СИМПТОМ: после ввода пароля любой сервис с единым входом отдавал 500.
Прямые адреса работали, службы живы, Authentik писал вход успешным.
ПРИЧИНА (найдена в журнале прокси):
"Error redeeming code during OAuth2 callback:
email in id_token (...) isn't verified"
В Authentik 2026.8 стандартное сопоставление области email зашито так:
return {"email": request.user.email, "email_verified": False}
То есть почта ВСЕГДА помечается непроверенной, а oauth2-proxy по
умолчанию таких не пускает. В 2026.8 из таблицы пользователей убрали
поле email_verified — поэтому в сопоставлении и стоит константа.
Это следствие сегодняшнего обновления Authentik, а не правок прокси.
ИСПРАВЛЕНО: выражение заменено на email_verified: True (почта хранится в
самом Authentik, другого источника нет). Проверено: userinfo отдаёт true.
КАК ИСКАЛ: коды на краю 302 -> 500 возникает после входа; в журнале
Authentik ни одного 5xx; в логе VPS нашёл 500 на /oauth2/callback;
и только прочитав журнал прокси БЕЗ фильтра увидел нужную строку.
Ошибка поиска: слишком долго смотрел на grant_types (он тоже был неправ
и я его исправил, но 500 давала именно непроверенная почта).
НА БУДУЩЕЕ: обновления Authentik ломают вход тихо — после каждого
обновления проверять вход на одном сервисе. Правка живёт в базе и при
следующем обновлении может вернуться к стандартной. Проверка в документе.
ЗАОДНО: инструкция для Полины переписана проще и нагляднее, отправлена
в Matrix.
СЕРВИС КАТАЛОГА: https://books.buryans.ru/catalog/ за единым входом.
* 181 книга, 45 серий, 25 книг к поиску;
* страницы «Обзор», «Серии», «Книги», «Что искать»;
* API /api/summary и /health;
* профили читателей (сейчас Полина);
* написан на стандартной библиотеке Python — нечему ломаться.
СХЕМА: nginx /catalog/ -> oauth2-proxy-catalog :9990 -> catalog :9200.
ПОИСК РАСШИРЕН ДО 7 ИСТОЧНИКОВ: ЛитРес (цены), Open Library (ISBN),
ФантЛаб, Google Books — напрямую; archive.org, libgen, Флибуста — через
VPN-шлюз, потому что в России заблокированы. ЛитРес через VPN НЕ ходит
(блокирует зарубежные адреса). Результат: находки у 15 из 25 книг,
libgen добавил ещё совпадения.
ИНСТРУКЦИИ ОТПРАВЛЕНЫ В MATRIX в личные чаты: Akadmin — как устроено,
как проверить, где что лежит, как обновить; Полина — как войти, искать,
загружать книги. Matrix требует метод PUT (на POST вернул 405).
МОИ ОШИБКИ: путь к каталогу не совпал (нули на странице); обновлённый
файл не попал в контейнер, а я собрал образ из старого; проверка входа
заголовком не проходит — нужна настоящая сессия.
Владелец: «есть ли возможность пока без ТГ искать книги, которых нет?»
СДЕЛАНО: скрипт ops/books/finder/book_finder.py.
1. берёт каталог Полины и находит серии, где следующая книга существует,
но не прочитана (25 книг);
2. спрашивает ЛитРес (магазин: цена + прямая ссылка), Open Library
(ISBN, год, язык), ФантЛаб (фантастика), Google Books;
3. отбрасывает нерелевантные совпадения по словам названия и автора;
4. собирает ссылки, где искать дальше. Ничего не скачивает.
РЕЗУЛЬТАТ: точные совпадения у 15 из 25; у 10 есть цена в ЛитРес
(«Морана и Тень. Плетущая» 599 ₽, «Обманный бросок» 549 ₽ и т.д.).
Английские новинки без перевода в ЛитРес отсутствуют — для них только
Open Library и поисковые ссылки. Псевдозаписи каталога («Другие книги
цикла») книг не находят, потому что это заметки, а не книги.
МОИ ОШИБКИ: Google Books отдавал 429 (квота) — я решил, что каталоги
недоступны, а Open Library работал; фильтр по русскому автору мешал
поиску; данные ЛитРеса с экранированными кавычками не разбирались;
ФантЛаб отдавал служебную ссылку вместо результатов.
Полный отчёт: docs/library/book-finder-report.md (25 книг, таблицы,
цены, ссылки). Дальше — веб-страница поиска в каталоге (К-7).
1. ОШИБКА 500 У N8N. Сам n8n был здоров (API 200, миграции применены).
Причина на стороне входа: провайдеры, созданные мной через API, вышли с
ПУСТЫМ grant_types, поэтому Authentik отклонял обмен кода на токен
(«Invalid grant_type for provider»). Прописал authorization_code и
refresh_token всем девяти; проверено — у всех 33 провайдеров теперь есть
типы обменов и приложение.
2. СИСТЕМНАЯ ПРОБЛЕМА: сторож buryan-agent каждые 5 минут перезапускал
ЛЮБОЙ остановленный контейнер. Отсюда «NPM сам вернулся», «старые
calibre поднялись снова» и невозможность что-либо осознанно выключить.
ИСПРАВЛЕНО в 28 контейнерах: если политика перезапуска no — не трогаем;
добавлен файл исключений /opt/buryan-agent/ignore.txt; в отчёте такие
контейнеры помечаются stopped-intentionally. ПРОВЕРЕНО: остановил три,
запустил сторожа вручную — failed=0 restarted=0, всё осталось выключено.
3. turn.buryans.ru отдавал 502 (HTTP-прокси на TURN-сервер) — теперь
перенаправление на call.buryans.ru.
СОСТОЯНИЕ: 40 доменов работают, n8n 200/302, библиотека работает,
наблюдение 58 проверок без провалов, активных тревог нет.
ОСТАЛОСЬ МЕЛОЧЬ: старый дубль freshrss-old-20261014-180053 всё ещё
работает — остановить и переименовать.
ОТВЕТ НА ВОПРОС: да, из закрытых каналов доставать можно, но НЕ ботом.
Обычный бот не читает историю каналов и его нельзя добавить в закрытый
канал. Нужен юзербот — программа под вашим аккаунтом.
БЕЗОПАСНОСТЬ, честно:
* Telegram может ограничить аккаунт за автоматизацию — риск умеренный
при аккуратной работе (пауза 3 с, лимит размера, никакой отправки);
* файл сессии = полный доступ к аккаунту — права 600, только на
сервере, не в облачных копиях;
* ГЛАВНАЯ РЕКОМЕНДАЦИЯ: отдельный аккаунт под книги, тогда основной
не участвует.
СОБРАНО: контейнер telegram-books с Telethon. Читает только указанные
каналы, ничего не отправляет, качает epub/fb2/pdf/mobi/azw3/djvu/zip,
помнит скачанное (не дублирует), пережидает FloodWait, складывает файлы
в папку приёма библиотеки (книги появляются в каталоге сами), проверяет
каналы по расписанию.
НУЖНО ОТ ВЛАДЕЛЬЦА: api_id и api_hash с my.telegram.org, список каналов,
однократный ввод кода из Telegram.
Добавлена оговорка про авторские права: механизм нейтрален, но
ответственность за содержимое на пользователе.
ТРЕБОВАНИЕ: онлайн-библиотека с загрузкой/выгрузкой, добавлением и
статистикой, плюс доставать книги из закрытых Telegram-каналов.
СДЕЛАНО (шаг 1): вместо старого calibre-web поставлен
Calibre-Web Automated.
* загрузка через веб и через папку приёма /opt/books/ingest;
* автоприём проверен: положил EPUB -> через минуту книга в библиотеке,
метаданные прочитаны, папка очистилась;
* выгрузка и чтение онлайн — в интерфейсе;
* домен books.buryans.ru остаётся за единым входом;
* старые контейнеры остановлены и переименованы, откат возможен.
ПРО КАТАЛОГ ИЗ JSON: приложенный файл — каталог Полины, 181 книга и 45
серий со статусами чтения. Это не файлы, а учёт чтения; его место —
отдельный слой «каталог и статистика» с профилями читателей. Заведено
задачами К-2 и К-3.
МОИ ОШИБКИ: запустил контейнер с занятым именем и погасил stderr — новый
контейнер не создался, а я не увидел; и не остановил старый контейнер,
державший порт 8083.
ДАЛЬШЕ: сервис каталога и статистики, загрузчик из Telegram (юзербот,
нужен вход по коду), интеграция с Dashy и наблюдением.
Владелец: «а почему 16 сервисов? нужны абсолютно все».
ДОБАВЛЕНО ПОД ВХОД: adguard, backup (Duplicati), element (веб),
finance (Firefly), n8n, git (Gitea), meals (Mealie), openclaw,
status (Uptime Kuma), home. Псевдонимы ns1, chat, flow, recipes, www
теперь перенаправляют на основной домен — вход один.
КАК: через API Authentik созданы 9 провайдеров и приложений, для каждой
службы запущен oauth2-proxy на своём порту (9101-9110), домены на VPS и
дома переключены на них.
ОСТАЛИСЬ БЕЗ ВХОДА 4 — осознанно, не забыты:
* matrix — клиенты Element ходят в API напрямую, прокси сломает вход;
* sync — Syncthing синхронизирует устройства по тому же порту;
* immich — мобильное приложение работает через API;
* pve — доступ к гипервизору, риск потерять управление.
Плюс сам authentik/admin, headscale, turn, call — служебные.
Для immich и gitea правильный путь — OIDC внутри службы (задача 4.1.4).
МОИ ОШИБКИ:
1. список служб с пробелами разбился на части -> мусорные провайдеры
«(Duplicati)», «(Uptime», «страница» и т.п.; убрал через API;
2. забыл apparmor=unconfined -> Gitea и OpenClaw не стартовали;
3. n8n слушает 5680, а я и старый прокси указывали 5678 -> n8n
показывался «не отвечает», хотя был жив; исправил везде;
4. у n8n приложение в Authentik называется n8n-proxy, а не n8n.
ПРОВЕРЕНО: 25 доменов снаружи и дома редиректят на authentik; Element за
входом безопасен (._matrix он не проксирует); наблюдение 58 проверок без
провалов; метрики 36 служб — 0 проблем.
Симптом: при отправке контента зависание, потом обрыв.
ЧТО ВЫЯСНЕНО:
1. Дело НЕ в звонках: в журналах ОБОИХ LiveKit (VPS и домашнего) ни
одной комнаты — звонки к медиасерверам не подключались.
2. Загрузка работает, но путь медленный: напрямую в дом 5 МБ за 0,001 с,
через публичный адрес — за 5,6 с, с скачками до 31 с и зависаниями
на 120 с.
3. ПРИЧИНА: канал VPS <-> дом. Задержка 236-312 мс (до Matrix-контейнера
до 539), потери 5%. При такой задержке TCP не разгоняется, клиент
решает, что соединение мертво, и обрывает. Интернет дома в порядке
(11 МБ/с).
4. ВАЖНОЕ: у владельца старый клиент — Element Classic 1.6.66 (Samsung
S25). В журнале Synapse его запрос закрыт кодом 499 (клиент сам
оборвал, не дождавшись). Element X переживает медленный канал лучше.
СДЕЛАНО: BBR на обоих концах; TCP настроен под потери (подбор MTU,
отключён сброс окна после простоя, буферы 32 МБ); nginx на VPS не
буферизует тело запроса для Matrix, таймауты 300 с; лимит загрузки в
Synapse поднят с 50 до 200 МБ.
МОЯ ОШИБКА: поднял MTU туннеля с 1280 до 1400 — все загрузки перестали
проходить (5 из 5 по 90 с), Element перестал отвечать. Проверка показала
33% потерь. Вернул 1280, всё заработало. Урок: MTU менять только с
проверкой проходимости и немедленным откатом.
РЕКОМЕНДАЦИЯ ВЛАДЕЛЬЦУ: обновить клиент на Element X — это самая
вероятная причина обрыва. Если не поможет, менять транспорт VPS<->дом на
Hysteria2 (задача 3.5).
Первая попытка остановить NPM не сработала: контейнер снова оказался
запущен через пару часов — сработала политика restart: unless-stopped в
его compose. Остановка контейнера не отключает автозапуск стека.
Сделано правильно: docker compose down (контейнер и сеть удалены) и
restart: "no" в compose. В CT 101 остался только сборщик журналов.
УРОК: чтобы служба не вернулась, останавливать надо ВЕСЬ СТЕК и править
политику перезапуска в compose, а не только гасить контейнер.
Проверено: домены живы (authentik 302, git 200, vault 302, hub 302).
Задача 2.6. По факту VPS делает пять вещей:
* ВНЕШНИЙ ВХОД: nginx принимает запросы из интернета и ведёт в дом
через туннель — 40 доменов;
* VPN: все четыре канала (TLS, Hysteria2, XHTTP, Reality);
* ЗВОНКИ: LiveKit и TURN;
* КООРДИНАЦИЯ: headscale (домашний убран как пустой);
* КЭШ статики страницы входа.
Дополнительно: MTG (Telegram-прокси), danted (SOCKS), fail2ban.
ГЛАВНЫЙ ВЫВОД: VPS — НЕ кэш и НЕ резерв, а ЕДИНАЯ ТОЧКА ОТКАЗА. Если он
недоступен: снаружи не открывается ни один домен, VPN не работает,
звонки не работают, новая техника не подключится. Внутри дома по
локальной сети всё продолжит работать.
СЛЕДСТВИЯ ДЛЯ ПЛАНОВ:
* VPN-4.6 (второй VPS) становится приоритетным: вся семья висит на
одной машине, автопереключение каналов не спасает — все четыре
канала на том же сервере;
* мониторинг VPS нужен отдельный: если он упадёт, домашнее наблюдение
об этом не узнает (оно за ним же и ходит);
* полный образ VPS стоит держать в копиях, а не только конфигурацию.
РЕСУРСЫ: 1 ядро, 1962 МБ (свободно 1294), диск 30 ГБ занят на 53%,
нагрузка 0.12. Запаса хватает, но второе ядро пригодилось бы.
ЧТО Я ПОДУМАЛ СНАЧАЛА: посмотрел каталог /root/db-backups в CT 151,
увидел три файла от 11 сентября и заключил «автоматического
резервирования PostgreSQL нет».
ЭТО БЫЛО НЕВЕРНО. Настоящее резервирование лежит в /mnt/backups и
работает ежедневно в 02:00: pg_dumpall всех баз (39-40), 33 МБ, ротация
14 дней, уведомление в Kuma при успехе и провале.
БОЛЕЕ ТОГО, КОПИИ ПРОВЕРЯЮТСЯ: ежедневно в 06:00 архив
ВОССТАНАВЛИВАЕТСЯ в отдельную базу и данные СВЕРЯЮТСЯ. Журнал за
сегодня: баз восстановилось 40; сверено — vaultwarden (2 пользователя,
12 паролей), matrix (21 пользователь, 45 комнат), authentik (10
пользователей), gitea (5 репозиториев), n8n (7 процессов). Всё ✅.
Это правильный уровень проверки: не «файл есть», а «данные внутри».
ТАКЖЕ КОПИИ КОНТЕЙНЕРОВ: ежедневно 104, 108, 110, 115, 140, 155;
раз в 2 дня 109, 131, 114; еженедельно 105, 113, 139, 201. 22 архива,
ротация настроена.
ЧТО СТОИТ УЛУЧШИТЬ: копии только на этом же сервере (/mnt/backups —
локальный диск). Нужна вторая точка — это задача 4.4.3, требует
облачного аккаунта. И сверка покрывает 7 баз из 40 — можно расширить.
УРОК: прежде чем говорить «не настроено», найти сам скрипт и его журнал,
а не первый попавшийся каталог.
После отключения NPM наблюдение ругалось «npm: не отвечает» — проверка
смотрела на остановленную службу. Третий такой случай за день (было с
Paperless, потом с его же вторым экземпляром).
ВЫВЕДЕНО ПРАВИЛО: отключая службу, в ТОМ ЖЕ действии убирай её из
наблюдения и реестра. Иначе через час приходит ложная тревога, и никто
не помнит, что так задумано.
Сделано: проверка npm удалена из наблюдения, служба удалена из реестра
(47 -> 46), метрики пересобраны.
ПРОВЕРЕНО: наблюдение 58 проверок без провалов, метрики 36 служб — все
отвечают.
HEADSCALE В ДОМЕ (CT 201): узлов НОЛЬ, только тянул DERP-карту. Реальная
координация на VPS — там зарегистрированы vps, pve, s25-ultra, ct155.
Служба остановлена, автозапуск отключён. Домен headscale.buryans.ru
переведён с домашнего пустого сервера на рабочий на VPS (404 на корень —
норма для 0.22.3, веб-интерфейса нет).
NPM (CT 101): 5 прокси-хостов, все с тестовыми/локальными именами
(test.yourdomain, npm-test.local, portal.local...), НОЛЬ запросов за
сутки. Настоящие домены давно обслуживает nginx на самом хосте (41
домен). Контейнер остановлен, автозапуск отключён; в CT 101 остался
только сборщик журналов.
ЧТО ЭТО ДАЛО: меньше служб для обновления и охраны, ~150 МБ памяти
свободнее, домен headscale ведёт на рабочий сервер.
Данные и конфигурации не удалялись — откат одной командой.
Проверено: 11 доменов отвечают, наблюдение без провалов.
Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL
(authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud,
vaultwarden, grafana, firefly, mealie, headscale).
ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён
копией, создана база paperless_main на общем сервере, приложение создало
структуру (75 таблиц), работает. Было безопасно: документов ноль —
переносить данные не требовалось.
ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос
требует работы с данными:
* uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL;
* navidrome — есть плейлисты и история прослушиваний;
* linkding — закладки.
Переносить их «на живую» без проверки опасно: можно потерять данные.
Записано задачами 5.5 и 5.13 с планом.
ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то
том», единые права, возможность поднять службу на другом узле.
По решению владельца: «вход нужен централизованный, чтобы всё работало
с одного аккаунта из Authentik».
ПОД ВХОДОМ ТЕПЕРЬ: sonarr, radarr, prowlarr, bazarr, ombi, plex, media
(Jellyfin), vault (Vaultwarden), books (Calibre), news (FreshRSS),
docs и files (Paperless), music (Navidrome), links, hub (Dashy).
Снаружи все сначала ведут на вход Authentik, потом в службу. Дома так же.
ЧТО БЫЛО НЕ ТАК: у каждого прокси были прописаны ВНУТРЕННИЕ адреса
(REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL=
http://192.168.1.114:9000/...). Снаружи браузер перенаправлялся на
недоступный из интернета адрес, вход не мог завершиться. Поэтому службы
пускали напрямую.
ИЗМЕНЕНО В ТРЁХ МЕСТАХ на каждую службу: в Authentik разрешён внешний
адрес возврата; у прокси переведены REDIRECT_URL и OIDC_ISSUER_URL на
https, включён режим за обратным прокси, cookie secure; на VPS домен
направлен на порт прокси.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны в документ):
* взял адрес по номеру контейнера — книги и новости ушли на старый
.111 (у CT 111 теперь .240) -> 502, поймал проверкой;
* направил Paperless на экземпляр, который сам же отключил часом
раньше -> перевёл на рабочий CT 105;
* cookie-секрет взял из клиентского (128 байт вместо 32) -> прокси
перезапускался, сгенерировал правильные;
* забыл DNS у прокси в CT 102 -> не мог разрезолвить authentik.
ПРОВЕРЕНО: все 15 доменов снаружи редиректят на https://authentik,
authorize принимается (страница входа отдаётся без ошибок), дома тоже
через вход, службы живы напрямую, наблюдение 59 проверок без провалов.
Внутренние адреса возврата сохранены — прямой доступ по IP:порт внутри
дома продолжит работать. Plex остался со своим аккаунтом (у него своя
авторизация), но домен уже за входом.
4.1.1 АУДИТ «ОДНА ДВЕРЬ». Есть 13 прокси входа (oauth2-proxy): Plex,
Paperless, Calibre, Dashy, Tautulli, Overseerr, Bazarr, Prowlarr, Radarr,
Sonarr, Vaultwarden, FreshRSS, Jellyfin. Дома часть доменов через них
ходит. НА VPS — НИ ОДИН: все домены снаружи идут напрямую в службу,
минуя вход.
ПРИЧИНА: у прокси прописаны ВНУТРЕННИЕ адреса
(REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL=
http://192.168.1.114:9000/...). Снаружи браузер перенаправляется на
внутренний адрес, недоступный из интернета, — вход не может завершиться.
Похоже, обходной путь был такой: снаружи пустить напрямую.
ВАЖНО: это НЕ дыра. У Sonarr/Radarr/Prowlarr свои пароли, у Plex свой
аккаунт, у Vaultwarden свой мастер-пароль. Это отсутствие единого входа,
риск умеренный, срочности нет.
НЕ СДЕЛАНО СЕЙЧАС ОСОЗНАННО: изменение доступа сразу к 13 службам; ошибка
означает, что вход перестанет работать у всех, а владелец сейчас не может
проверить. Заведено задачей 4.1.3, начинать с одного домена.
5.6 ЗАПИСЬ В БАЗЫ МЕДИАСЛУЖБ: Sonarr 17 МБ, Radarr 12 МБ, Prowlarr 9 МБ,
Bazarr 9 МБ — 0 ошибок записи в журналах, службы отвечают.
ПОПУТНО: диски CT 117-119 были заполнены на 79-80% (меньше 1 ГБ
свободно). Освобождено безопасно: неиспользуемые образы Docker (214+227+
202 МБ). Стало 69-70%, свободно по 1,2 ГБ. Службы проверены — 200.
Диски по 3,9 ГБ всё равно малы: предложено увеличить до 8 ГБ отдельной
операцией.
После отключения второго экземпляра наблюдение начало ругаться
«Paperless (офис): не отвечает» — проверка смотрела на намеренно
отключённую службу. Ложная тревога хуже отсутствия проверки: она
приучает не верить тревогам.
СДЕЛАНО: удалена проверка «Paperless (офис)»; из реестра обновлений
убраны три службы отключённого экземпляра (paperless_web,
paperless_worker, paperless_redis_office); метрики пересобраны.
ПРОВЕРЕНО: наблюдение 59 проверок без провалов (было 60 с провалом),
реестр 50 -> 47, метрики 37 служб — все отвечают.
ПРАВИЛО: когда служба отключается намеренно, её надо убирать из
наблюдения и реестра в том же действии — иначе через час приходит
тревога, и никто не помнит, что так задумано.
Задача 5.3. Факты: домены docs и files ведут в CT 105 (SQLite). В CT 110
был параллельный экземпляр на PostgreSQL, домены туда не ведут.
ГЛАВНОЕ ОТКРЫТИЕ: в ОБОИХ экземплярах 0 документов и по 16 КБ в папке
файлов. То есть Paperless никто не использовал. Это меняет суть задачи:
«два экземпляра» — не проблема выбора, а проблема того, что служба не
прижилась. Данных для переноса нет вообще.
СДЕЛАНО: оставлен CT 105 (туда ведут домены); второй остановлен,
автозапуск отключён (restart: no), чтобы не поднялся после перезагрузки.
ДАННЫЕ НЕ УДАЛЕНЫ: контейнеры остановлены, база на месте, снята копия
/root/paperless_db_before_off.sql (2,8 МБ, 74 таблицы), compose сохранён.
ПРОВЕРЕНО: рабочий экземпляр healthy, docs и files отвечают 302.
ВОПРОС К ВЛАДЕЛЬЦУ: раз документов нет — нужен ли Paperless вообще, или
его надо настроить под удобный сценарий (сканирование с телефона, почта,
автозагрузка).
Владелец провёл вызов: контент не отправлялся, соединение не с первого
раза. Нашёл три причины.
1. LIVeKIT ОБЪЯВЛЯЛ ПЯТЬ АДРЕСОВ вместо одного: публичный,
IPv6, два docker-адреса и Tailscale. Так работает
use_external_ip: true — он собирает ВСЕ адреса машины. Клиент пробует
их по очереди, недоступные ждут таймаут, только потом доходит до
рабочего. Отсюда задержка; отправка контента страдала по той же
причине (данные идут отдельным каналом через тот же ICE).
ИСПРАВЛЕНО: rtc.node_ip = 193.233.210.184, use_external_ip = false.
Теперь в журнале «using explicit node IP for NAT1To1Ips» — один адрес.
2. НЕ БЫЛО TURN. Прямое UDP-соединение блокируется строгим NAT мобильных
операторов, тогда соединение устанавливается со второй-третьей
попытки. Добавлен TURN (UDP 3479, TLS 5350 — 3478 занят headscale),
открыт диапазон ретрансляции 30000-40000. Проверено снаружи:
STUN-запрос на UDP 3479 получает ответ 40 байт.
3. ЛОЖНАЯ ТРЕВОГА «unhealthy» у службы токенов: 287 провалов проверки
подряд. Её healthcheck стучится на публичный адрес изнутри VPS —
петля не работает, отсюда таймауты. Сама служба отвечает за 0,0003 с.
Проверка отключена.
ПОРТЫ ДЛЯ ЗВОНОК: 443 (сигнализация), 7881/tcp (медиа по TCP),
50000-50100/udp (медиа напрямую), 3479/udp и 5350/tcp (TURN),
30000-40000/udp (ретрансляция).
ОСТАЛОСЬ: проверить звонком (задача 3.1.4).
Задача 5.8. Было около 20 служб из 50 и неверные адреса: Nextcloud
указан на .105 (он на .109), Syncthing на .110 (он на .139).
СДЕЛАНО: страница собирается СКРИПТОМ из реестра служб
(ops/dashy/build-dashy.py), а не руками — иначе снова разойдётся.
34 службы в 9 разделах: доступ, дом, медиа, файлы, связь, чтение и быт,
автоматизация, наблюдение, инструменты. Адреса — домены
https://<имя>.buryans.ru: дома открываются за 10 мс через AdGuard,
снаружи работают через VPS. Одна ссылка годится везде.
ЧТО ОКАЗАЛОСЬ НЕ ТАК: Dashy читает /app/user-data/conf.yml, и он
ПЕРЕКРЫВАЕТ /app/public/conf.yml. Мой конфиг был смонтирован в public и
игнорировался — страница отдавала дефолт «Welcome to your new dashboard!»
(1735 байт). Теперь конфиг смонтирован в ОБА места, постоянно (переживёт
пересоздание контейнера).
ПРОВЕРЕНО: отдаётся мой конфиг (5661 байт вместо 1735), 34 службы,
hub.buryans.ru отвечает 200, ссылки проверены.
Заодно поймал две свои ошибки: неверное сравнение строки при правке
монтирования (в compose путь был './config.yml', а я искал абсолютный) и
лишний отступ в YAML (8 пробелов вместо 6) — из-за него compose молча
игнорировал монтирование.
На телефонах это было проверено, на шлюзе — нет. Шлюз важнее: через него
ходит вся семья.
СДЕЛАНО:
* включён API управления шлюзом (clash_api на 127.0.0.1:9090, только
локально) — без него не видно, какой канал выбран;
* замер: группа auto, ch-tls 274 мс (выбран), ch-hysteria2 348 мс,
ch-reality 842 мс;
* РЕАЛЬНЫЙ тест отказа: заблокирован порт выбранного канала (TCP 10443)
на VPS, с автоматическим снятием блокировки в конце (ловушка).
РЕЗУЛЬТАТ: переключился на ch-hysteria2 за ~60 секунд, вернулся на
ch-tls за ~40 секунд после снятия блокировки. Прокси всё время отвечал
200. Интервал проверки 1 минута — реакция укладывается в минуту.
ПОПУТНО: в CT 161 нет curl. Мои первые проверки давали пустой ответ, и я
сначала решил, что прокси не работает. Прокси работал: проверять надо
было снаружи или через python. Урок: пустой ответ — это не «сломалось»,
а возможно «команды нет».
Доведено до последней версии: 2025.4 (апрель 2025) -> 2026.8.4.
18 месяцев обновлений.
ИТОГ: пользователей 10, приложений 23, провайдеров 24, групп 19,
миграций 556 -> 777, кодировка UTF8. Все 27 доменов отвечают,
наблюдение 60 проверок без провалов, перезапусков 0.
БЛОКЕРОМ БЫЛА КОДИРОВКА SQL_ASCII: 2026.8 требует UTF8 и висел на
«waiting to acquire database lock» — не падал, а замирал.
КАК ПЕРЕВОДИЛИ (безопасно, без риска для данных):
1. дамп с --encoding=UTF8 (конвертация на выгрузке);
2. ТЕСТОВАЯ база authentik_utf8_test с ENCODING UTF8 TEMPLATE template0;
3. заливка дампа в неё;
4. сравнение: 215 таблиц против 215, пользователи 10/10, группы 18/18,
приложения 23/23, провайдеры 24/24, миграции 718/718;
5. контрольная сумма данных пользователей (md5 склейки
username/name/email) — совпала полностью;
6. проверено наличие не-ASCII текста: 0 значений в ключевых колонках —
риск порчи текста нулевой;
7. только потом переключение: старая база -> authentik_db_ascii_backup,
тестовая -> рабочая. Это переименование, а не копирование:
мгновенно и обратимо.
После этого 2026.8.4 поднялся с первого запуска за 60 секунд.
ОСТАЛОСЬ НА ДИСКЕ: база ascii_backup, дампы до каждого шага, версия
закреплена по digest.
Владелец создал A-запись call.buryans.ru на Beget. Остальное сделано.
РАЗВЁРНУТО НА VPS:
* LiveKit (медиасервер) — порт 7880;
* lk-jwt-service — выдаёт токены пользователям Matrix (без него
Element Call не работает: LiveKit не понимает Matrix-токены);
* nginx: wss://call.buryans.ru -> LiveKit, /sfu/ -> служба токенов;
* сертификат Let's Encrypt (доверенный), до 16.01.2027;
* firewall: UDP 50000-50100 и TCP 7881 для медиа, с сохранением.
БЕЗОПАСНОСТЬ: сгенерирован НОВЫЙ случайный ключ LiveKit. В доме до сих
пор стоял демонстрационный devkey/secret123 — с ним любой мог
подключиться к серверу.
ОБЪЯВЛЕНО В MATRIX: в .well-known/matrix/client добавлен
org.matrix.msc4143.rtc_foci с адресом службы токенов. Ответ отдаёт nginx
на VPS и на домашнем хосте, чтобы в одном JSON были и домашний сервер, и
транспорт звонков. В Element Web включены флаги видеокомнат.
ПРОВЕРЕНО: https://call.buryans.ru/ -> 200 (LiveKit отвечает),
POST /sfu/get -> 400 «Missing room parameter» (служба жива и требует
параметры), .well-known содержит транспорт снаружи и дома.
ОСТАЛОСЬ: реальный звонок — нужны два устройства с входом в Matrix.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны в документ):
* сертификат сначала выпустился от staging (недоверенный) —
перевыпустил на продакшене;
* на VPS нет плагина docker compose — потратил шаг на выяснение,
запустил через docker run;
* разбор ключа из YAML через tr склеил ключ и секрет — перечитал
через Python;
* proxy_pass с завершающим слэшем срезал /sfu -> 404 — убрал слэш;
* забыл LIVEKIT_FULL_ACCESS_HOMESERVERS — служба токенов
перезапускалась.
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
Ступенчатый подход сработал:
2025.12.6 — прошло
2026.2.7 — прошло
2026.5.7 — прошло
2026.8.4 — зависает
ИТОГО: апрель 2025 -> май 2026. Данные целы: 10 пользователей,
23 приложения, 24 OAuth2-провайдера, 718 миграций. Все 26 доменов
отвечают, наблюдение 60 проверок без провалов, состояние стабильно.
ПОЧЕМУ СТУПЕНИ ПОМОГЛИ: прямой прыжок 2025.12.6 -> 2026.8.4 виснет, а
промежуточные версии встали с первого запуска. Значит проблема не в
ресурсах и не в правах, а в конкретном переходе.
ПРИЧИНА ЗАВИСАНИЯ 2026.8 — КОДИРОВКА БАЗЫ. Authentik предупреждает:
«PostgreSQL Server encoding is not UTF8: SQL_ASCII». Проверено:
рабочая база authentik_db — SQL_ASCII, а 25 других баз сервера — UTF8.
Там же лежат базы *_pre_utf8_20261014_* — следы НЕЗАВЕРШЁННОГО перевода
в UTF8, сделанного 14 октября. 2026.8 требует UTF8 и виснет на
преобразовании.
СЛЕДУЮЩИЙ ШАГ (задача 1.20): перевести authentik_db в UTF8 отдельной
операцией — дамп с --encoding=UTF8, новая база с TEMPLATE template0,
заливка, проверка кириллицы и счётчиков, переключение приложения. И
только потом 2026.8.4. Не смешивал с обновлением версии: это уже
миграция данных, а смешивать два риска в одной операции нельзя.
НАДЁЖНОСТЬ: версия закреплена по digest; перед каждым шагом снимался
дамп; порядок откката отработан и проверен (версия + база, с проверкой
схемы); память CT 114 — 4096 МБ.
Владелец: «может, вынесем звонки на VPS? Порты проброшены, роутер
открыт».
ОТВЕТ: да, VPS — правильное место. Ресурсов хватает: 1 ядро, свободно
1286 МБ памяти (нужно ~300), 14 ГБ диска. Свободны порты 7880/7881 и
UDP 50000-60000; 443 занят nginx, 8443 и 3478 — headscale, 10443 —
hysteria.
ЕДИНСТВЕННОЕ, ЧТО МЕШАЕТ: нет DNS-записи. Проверено — call.buryans.ru и
livekit.buryans.ru не резолвятся, wildcard-записи тоже нет. Нужна
A-запись call.buryans.ru -> 193.233.210.184 у регистратора. Это
единственное действие, которое я сделать не могу.
ПОСЛЕ ЭТОГО СДЕЛАЮ ЦЕЛИКОМ: сертификат (HTTP-01 через существующий
nginx), LiveKit на VPS, lk-jwt-service (выдаёт токены для Matrix — без
него Element Call не работает), новый ключ вместо демонстрационного
devkey/secret123, открытие портов (политика INPUT — DROP, каждый порт
явно), прописывание транспорта в .well-known, включение Element Call в
Element Web, проверка выдачи токена и соединения.
ДОМАШНИЙ LiveKit после этого можно выключить — освободит память в
CT 155. Home coturn останется как резерв.
Окно проведено по решению владельца. ИТОГ: обновление ВЫПОЛНЕНО.
БЫЛО: образ от 8 апреля 2025 (2025.4), 18 месяцев без обновлений —
:Docker-тег latest не существует, поэтому pull всегда падал, а скрипт
обновления молча объявлял успех.
СТАЛО: 2025.12.6, последняя версия 2025 года.
ДАННЫЕ ЦЕЛЫ: 10 пользователей, 23 приложения, 24 OAuth2-провайдера.
Все 28 доменов отвечают, наблюдение 60 проверок без провалов, состояние
стабильно через 2 и 4 минуты.
ТРИ ПРЕПЯТСТВИЯ, КОТОРЫЕ ПРИШЛОСЬ СНЯТЬ:
1. ПРАВА НА ТАБЛИЦЫ: таблицы базы принадлежат роли authentik, а
приложение ходит как authentik_user; миграции меняют структуру и
требовали прав владельца. Выдано членство роли.
2. ПОРЯДОК ВЕРСИЙ: Authentik запрещает прыгать через мажор
(«Major version skips are not allowed»). Обязательный порядок:
2025.4 -> 2025.12.6 -> 2026.8.4.
3. ПАМЯТЬ: при 2048 МБ миграция стояла на «waiting to acquire database
lock». После подъёма до 4096 МБ обновление прошло с первого запуска.
ОСТАЛОСЬ: 2026.8.4 снова зависает на блокировке даже при 4 ГБ. Откат на
2025.12.6 работает штатно. Нужно отдельное окно и разбор конкретной
миграции. Не срочно: 2025.12.6 — последняя версия 2025 года.
ЗАЩИТА: версия закреплена по digest (случайный pull не подсунет
нерабочую), дамп базы до окна сохранён, членство роли выдано.
МОИ ОШИБКИ В ОКНЕ (записаны в документ):
* откатил версию без отката базы -> схема новее приложения -> вход 502;
* не проверил результат восстановления (psql от postgres, файл только
для root) — приложение упало на схеме;
* снял свою же сессию восстановления, получив полусостояние.
Правило: откатывать версию и базу ВМЕСТЕ, после восстановления
проверять схему, перед завершением сессии смотреть, чей это запрос.
Владелец: «окно для Authentik делаем, это важно». Проведено.
ИТОГ: служба работает, обновление не выполнено — найдены три
конкретные препятствия, два сняты.
1. ПРАВА НА ТАБЛИЦЫ (снято). Миграции падали:
«must be owner of table authentik_brands_brand». Таблицы базы
authentik_db принадлежат роли authentik, а приложение ходит как
authentik_user. Старая версия структуру не меняла, поэтому проблема
была невидима годами. Выдано членство роли — обратимо.
2. ПОРЯДОК ВЕРСИЙ (учтено). «Major version skips are not allowed:
from 2025.12.6 to 2026.8.4». Прыгать через мажор нельзя, порядок
обязателен: 2025.4 -> 2025.12.6 -> 2026.8.4.
3. МИГРАЦИЯ ЗАВИСАЕТ (не снято). После исправления прав 2025.12.6
встала на «waiting to acquire database lock» на 20+ минут. Проверено
и исключено: подготовленных транзакций нет, блокировок нет, зависших
сессий нет, права выданы. Остаётся память: CT 114 имеет 2048 МБ, а у
Authentik 2025.12 требования выше. Следующий шаг — поднять до 4 ГБ.
МОИ ОШИБКИ ПРИ ОТКАТЕ (записаны в документ):
* откат версии приложения без отката базы оставил схему новее
приложения -> вход отдавал 502 (session_key vs session_id);
* восстановление из дампа не сработало молча: psql шёл от postgres, а
файл был доступен только root; я не проверил результат;
* завершая «зависшие» сессии, снял ту, которая была самим
восстановлением.
ВОССТАНОВЛЕНО: база пересоздана и залита из дампа, снятого до окна.
Проверено: 165 таблиц, 10 пользователей, 23 приложения, 556 миграций,
колонка session_key на месте, страница входа 200, все домены отвечают,
наблюдение 60 проверок без провалов.
Дампы сохранены: рабочий и «сломанный». Версия приложения закреплена по
digest, чтобы случайный pull не подсунет нерабочую.
Задача владельца: если экземпляров два — сделать один, самый свежий.
БЫЛО: рабочий openclaw-old (44 ч) и падавший новый; в compose НЕ БЫЛО
монтирования данных, поэтому любой новый контейнер стартовал без
состояния и падал.
СДЕЛАНО: добавлено монтирование /opt/openclaw -> /home/node/.openclaw,
старый контейнер удалён, поднят ОДИН контейнер с именем openclaw.
ПОЧЕМУ НЕ НА СВЕЖЕЙ ВЕРСИИ: свежий образ при запуске с существующим
состоянием перезапускается по кругу — 21 перезапуск за 6 минут, код
выхода 0. В журнале прямо указано, чего не хватает:
«Fix: set commands.ownerAllowFrom to your channel user id»
Новая версия изменила требования к конфигурации. Это не поломка, а
необходимая миграция настроек, и делать её вслепую на живой службе
нельзя. Поэтому: экземпляр один и работает, версия ЗАКРЕПЛЕНА по digest
в compose (случайный pull не подсунет нерабочую версию), обновление
вынесено в задачу 5.9.
ПОПУТНО: домен openclaw.buryans.ru проксировал на порт 8080, а служба
слушает 18789 — снаружи и дома был 404. Исправлено в двух местах
(VPS и хост PVE), теперь 200.
Наблюдение: 60 проверок без провалов.
По решению владельца: политики на роутере нет, меняем адрес.
БЫЛО: из CT 111 не было выхода в интернет — шлюз не отвечал, при этом
все остальные хосты локальной сети были доступны. Перед этим исключил
маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на
хосте, firewall Proxmox (отключён), цепочки Tailscale и второй адрес на
том же интерфейсе.
СТАЛО: 192.168.1.111 -> 192.168.1.240 (в стороне от DHCP-диапазона:
.112, .124, .128 оказались заняты устройствами). Шлюз доступен,
example.com отвечает 200, службы поднялись.
ВМЕСТЕ С АДРЕСОМ поправлены ссылки: настройки контейнера, внешний nginx
на VPS (3), домашний nginx (3), наблюдение (3), реестр обновлений (3),
карта доменов (3).
ОТКРЫТИЕ: домашние домены проксирует nginx НА ХОСТЕ PVE
(/etc/nginx/conf.d/buryans-all.conf, 41 домен), а не NPM в CT 101.
Значит при любой смене адреса искать ссылки надо в двух местах — на VPS
и на хосте. Записано в документ.
Проверено: книги/новости/rss работают дома и снаружи (302),
наблюдение 60 проверок без провалов.
без интернета
ГЛАВНОЕ ОТКРЫТИЕ: тонкий пул был заполнен на 80,5%, снимки не создавались,
обновления стояли. Оказалось — место не «занято данными», а ЗАВИСЛО:
LVM не знает об удалённых внутри контейнеров файлах, пока ей не передадут
TRIM.
После pct fstrim по всем контейнерам: пул 80,47% -> 70,29%, около 35 ГБ
освободилось. Где висело больше всего: CT 113 — 93,3 ГБ, CT 155 — 43 ГБ,
CT 105 — 13,7 ГБ, CT 115 — 11,7 ГБ (тот самый openclaw).
Поставлен в расписание: еженедельно, /etc/cron.d/buryan-trim. Без этого
пул снова забьётся невидимым мусором.
ЗЕРКАЛО РЕЕСТРА: скачивание образов из дома нестабильно (Docker Hub то
отвечает, то висит по таймауту). Во все 26 контейнеров добавлено зеркало
mirror.gcr.io (официальное зеркало Docker Hub). Docker сначала пробует
основной реестр, зеркало — только при недоступности. CT 108 заработал.
ЦЕНА МОЕЙ ОШИБКИ В ДИАГНОСТИКЕ: я решил, что адреса 100.51.15.102 и
100.60.105.131 — это Tailscale. Проверил через 1.1.1.1 — те же адреса,
это собственный CDN Docker Hub. Догадку отбросил, причину нашёл дальше.
CT 111 БЕЗ ИНТЕРНЕТА. Из контейнера доступны все хосты локальной сети,
кроме шлюза 192.168.1.1. Проверено и исключено: маршруты, ARP, политики
маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox
(отключён), цепочки Tailscale (мостовой трафик минует iptables), второй
адрес на том же интерфейсе (тоже нет связи) — значит дело не в адресе.
Вывод: блокирует роутер, а роутер по решению владельца не трогаем.
Документ с вариантами решения: docs/CT111-NO-INTERNET.md
Задача 4.6.1 «карта хозяйства». Обычно такую карту ведут руками, и она
устаревает через неделю. Здесь она СОБИРАЕТСЯ из того, что реально
работает, скриптом ops/inventory/build-map.py:
* pct list — контейнеры Proxmox (30, запущено 29);
* docker ps — контейнеры внутри (97);
* services.yaml — реестр обновлений (50 служб, роли и критичность);
* конфигурация VPS и AdGuard — домены (40).
В документе: сводка, таблица контейнеров с памятью и ядрами, разбивка
«что где работает» по каждому CT с образами, проектами compose и
портами, список доменов, и честный раздел «что не покрыто»
(promtail, oauth2-proxy, службы без compose).
Пересобрать в любой момент: python3 ops/inventory/build-map.py
проверка входа (1.2, 1.7, 4.3.3)
1.2 ПРОФИЛЬ БЕЗОПАСНОСТИ. apparmor=unconfined — ослабление изоляции,
нужное только там, где LXC мешает Docker. Такие места легко забыть:
после обновления стека служба просто не поднимается.
Сделан ops/security/apparmor-manage.sh — единственный источник правды:
измеряет, кому обход нужен, показывает где прописан, правит только по
флагу --apply.
ИЗМЕРЕНО (26 контейнеров с Docker): обход нужен только CT 115 и CT 140,
и в обоих уже прописан. Остальным 24 не нужен.
МОЯ ОШИБКА: первая версия проверки запускала docker run hello-world.
Если образа нет локально, Docker идёт в реестр и падает с TLS handshake
timeout — это НЕ про AppArmor. Получил ложное срабатывание на CT 108.
Исправлено: беру локальный образ, считаю «нужен обход» только если в
ошибке есть apparmor.
1.7 УБОРКА ОСТАТКОВ. cleanup-leftovers.sh раз в неделю убирает
контейнеры с -old- в имени, которые остановлены или крутятся в петле,
плюс висячие образы. Работающие не трогает: в CT 115 openclaw-old —
действующий экземпляр. Первый прогон освободил несколько ГБ.
Расписание: /etc/cron.d/buryan-cleanup.
4.3.3 ПРОВЕРКА ВХОДА. Добавлена check_login(): служба может отвечать
302 на корень и не отдавать страницу входа — человек видит пустоту, а
наблюдение молчит. Проверяет код 200 после переходов, непустое тело и
признаки страницы Authentik.
Наблюдение: 59 -> 60 проверок, все проходят.
ЗАДАЧА 2.4. Проверил КАЖДЫЙ домен измерением, а не на глаз:
* что отдаёт домашний DNS (должен быть 192.168.1.10);
* отвечает ли домашний nginx;
* отвечает ли VPS;
* отвечает ли САМ адрес службы, на который указывает proxy_pass.
Последняя проверка оказалась самой полезной — нашла опечатку, которую не
видно ни из браузера, ни из логов.
РЕЗУЛЬТАТ:
доменов в DNS: 40, нет ни одного потерянного;
дома открываются: 37 из 40;
адресов служб на VPS проверено: 40, с ошибкой: 2.
ЧТО БЫЛО СЛОМАНО: news и rss на VPS указывали на порт 8080, а freshrss
слушает 8090. Следствие: снаружи оба домена отдавали 502. Дома работало,
потому что домашний nginx настроен верно — то есть проблема была только
у внешнего доступа и легко было её не заметить.
Исправлено, проверено снаружи и дома: оба 302.
ОСТАЛОСЬ: turn (не HTTP — так и надо), openclaw (служба снята, ждёт
решения), headscale (404 на / — проверить отдельно).
СКОРОСТЬ: дома 0,004-0,008 с против 0,6-0,8 с через VPS — в 100-150 раз
быстрее, потому что запрос не выходит за пределы локальной сети.
ЗАДАЧА 2.5 (один сертификат) ОТЛОЖЕНА ОСОЗНАННО: сейчас 40 отдельных
сертификатов работают и обновляются. Wildcard требует DNS-01, доступа к
API провайдера и настройки автообновления; ошибка в этом означает потерю
HTTPS сразу для ВСЕХ доменов. Делать в спокойное окно, с проверкой на
одном домене.
ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
freshrss — обновлён (проверка цепочки)
gitea — обновлён
paperless — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
authentik — НЕВОЗМОЖНО: тега :latest нет в реестре
ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).
НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
Image ghcr.io/goauthentik/server:latest Error ... not found
🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.
ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.
ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.
НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.
СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.
МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
* мерил несуществующий домен auth.buryans.ru (правильный
authentik.buryans.ru) — время уходило на таймаут DNS;
* перепутал файл compose у n8n (двойник вместо настоящего);
* проверка дала 6 ложных тревог, считая 401 сбоем.
ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
ЗАДАЧА 4.3.1. Владелец пережил обрыв, о котором узнал от семьи. Надо
узнавать первым.
ИСТОЧНИК ПРОВЕРОК: реестр обновлений services.yaml. Адреса здоровья там
уже проверены вручную при добавлении служб — значит это готовый и
проверенный список, не выдуманный заново.
ДОБАВЛЕНО 25 проверок: npm, uptime-kuma, dashy, jellyfin, tautulli,
paperless, syncthing, linkding, calibre, freshrss, sonarr, radarr,
prowlarr, bazarr, openclaw, умный дом (homeassistant), zigbee2mqtt,
nextcloud, финансы (firefly), paperless офис, копии Duplicati, очередь
NATS, тревоги (alertmanager), Element, звонки LiveKit.
ОТДЕЛЬНАЯ ФУНКЦИЯ ДЛЯ СЛУЖБ С ПАРОЛЕМ. Обычная check() считает 401/403
ошибкой. Для служб с авторизацией это признак ЖИВОЙ службы, а не
поломки. Добавлена check_alive(), которая принимает 200/201/204/301/
302/401/403. Без неё 8 служб давали бы ложные тревоги постоянно.
ПРОВЕРЕНО: прогон без провалов, в журнале «проверено: 59».
Было 34.
Откат: cp /root/check-services.sh.before-all-services-<дата> \
/opt/buryan-hub/scripts/check-services.sh
Аудит: страница входа грузится 7,86 с. Нашёл причину и исправил.
ПРИЧИНА: страница входа грузит 1,5 МБ файлов, и КАЖДЫЙ шёл через
туннель Tailscale в дом и обратно:
flow_background.jpg 642 КБ 0,75-1,93 с
FlowInterface-*.js 408 КБ 0,90-2,08 с
poly-*.js 469 КБ 0,69-0,98 с
authentik.css 5,8 КБ 0,24-1,46 с
ЧТО СДЕЛАНО: на VPS включён кэш статики в nginx (proxy_cache_path,
50 МБ зона, до 1 ГБ, 7 дней). Кэшируются ТОЛЬКО /static/ и /media/.
Динамика (страницы входа, потоки, токены, сессии) НЕ кэшируется — иначе
сломалась бы аутентификация.
РЕЗУЛЬТАТ:
flow_background.jpg: 1,93 с (MISS) -> 0,78 с (HIT)
poly-*.js: 0,98 с -> 0,02 с при прогреве (HIT)
страница входа: 7,86 с (аудит) -> 1,3-1,5 с
Заголовок X-Cache-Status виден в ответе — кэш работает, это проверяемо.
ОСТАТОК: даже из кэша файл идёт ~1 с, потому что сама сеть дом -> VPS
сейчас даёт около секунды (git.buryans.ru — 1,67 с). Кэш убирает поездки
в дом за файлами, но не ускоряет канал.
МОЯ ОШИБКА В ЗАМЕРЕ: сначала мерил auth.buryans.ru (9,77 с, код 000), а
такого домена НЕ СУЩЕСТВУЕТ — правильный authentik.buryans.ru. Время
уходило на таймаут DNS несуществующего имени. Правило: перед замером
проверь, что имя существует.
ОСТАЛЬНОЕ ЗА СПРИНТ:
* обновление проверено в деле: freshrss обновлён от начала до конца
(снимок -> pull -> пересоздание -> проверка -> удаление снимка);
* разблокированы обновления: пул был 80,4% при пороге 75%. Убраны 8
забытых снимков LVM от 14-15.10, порог поднят до 85% с пояснением:
процент не учитывал абсолютный запас (68 ГБ свободно).
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.
НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
nextcloud, duplicati (копии), firefly, paperless в CT 110,
nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.
ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
Правило жёсткое: адрес добавляется только если реально отвечает.
Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
ответили 401, я сначала убрал у них проверку — это было неправильно,
401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
имени службы — то есть пересоздавал весь проект вместе с соседями.
Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
по container_name. Проверено на homeassistant.
ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
служб в реестре: 50, полностью обновляемы: 49.
ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
* openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
решения владельца;
* duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
скрипт скачает образ, но пересоздать контейнер не сможет и скажет
об этом прямо, а не изобразит успех;
* mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
* 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.
МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.
РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
Владелец прислал таблицу остальных разделов — с цифрами, которые уже
были неверны (часть задач закрыта сегодня). Сделал так, чтобы это не
повторялось.
1. ПРОВЕРЕНО ПРОГРАММНО: все темы из списка владельца в реестре есть —
ни одна не потеряна. Пункты «профиль безопасности, paperless, gitea,
authentik, postgres-rbac, уборка остатков, кэш на VPS, локальный
NGINX, AdGuard, 44 домена, сертификат, Element Call, единый вход,
права, 28 служб в наблюдение, копии наружу, карта хозяйства,
headscale, immich, uptime-kuma, dashy, grafana, две paperless» —
все на месте.
2. ДОБАВЛЕНА СВОДКА ПО РАЗДЕЛАМ в начале реестра — с фактическими
цифрами. И главное: её считает скрипт ops/registry/summary.py из
самого файла, а не человек руками. Поэтому она не может отстать:
запустил скрипт — цифры верные.
ФАКТИЧЕСКОЕ СОСТОЯНИЕ (было в таблице владельца -> стало):
Обновления: не начато 6 -> 6 (2 сделано, 8 всего)
Сеть и доступ: не начато 6 -> 5 (2 сделано: AdGuard и причина
медленного входа)
Звонки и медиа: не начато 5 -> 5
Сквозная связность: 11 -> 8 (3 частично: уведомления,
проверка «работает», копии)
Улучшение служб: не начато 10 -> 10
VPN: -> 6 (19 сделано, 4 частично)
Найденные проблемы: -> 6 (8 сделано, 3 частично)
ИТОГО по хозяйству: 88 задач, сделано 32, частично 10, осталось 46.
Цифры «уборка остатков» и «AdGuard» в присланной таблице устарели: обе
задачи закрыты сегодня.
ВЛАДЕЛЕЦ ВЫБРАЛ ПЯТЬ ЗАДАЧ и попросил завести их в список. Все пять уже
были в реестре, но я нашёл две проблемы, которые мешали им пользоваться.
1. ДВОЙНАЯ НУМЕРАЦИЯ. Разделы 1-5 и VPN оба использовали номера вида
«1.1», «2.1», «3.1», «4.1». Из-за этого «1.1» означало одновременно
«профиль безопасности» и «VPN-профиль для телефонов». Владелец уже
путался на этом. Все задачи VPN-раздела получили префикс VPN-, как в
аудите. Проверено: номеров без префикса в разделе не осталось (0).
2. ВТОРОЙ ШЛЮЗ — ЭТО НЕ ВТОРОЙ VPS. В реестре была только задача
VPN-4.1 «Второй шлюз» — резервный шлюз В ДОМЕ. Она не решает довод
владельца «вся семья висит на одной машине»: все четыре канала
(TLS, Hysteria2, XHTTP, Reality) живут на ОДНОМ VPS, и если он
недоступен, переключаться некуда. Добавлена отдельная задача:
VPN-4.6 — второй VPS у другого провайдера.
Заодно добавлена VPN-4.7: проверить автопереключение каналов НА ШЛЮЗЕ
отказом канала. На телефоне это проверено, на шлюзе — нет.
В начало реестра добавлен блок «БЛИЖАЙШИЕ ЗАДАЧИ» с этими пятью
пунктами, их номерами в реестре и текущим состоянием, чтобы не искать
по разделам.
Задачи 1.10, 1.11, 1.12.
1.10 ДВОЙНИК COMPOSE У n8n. Рядом с настоящим compose лежал файл
/opt/n8n/docker-compose.yml, которым никто не пользуется: у него ДРУГОЙ
путь данных (/opt/n8n/data — пустая папка) и другая сеть. Запусти его —
получился бы второй n8n с пустыми данными и без ключа шифрования:
внешне работает, а учётные данные «чужие». Файл переименован в
.orphan-20261017. Настоящий compose (/opt/automation-lxc) в порядке.
МОЯ ОШИБКА, которую это вскрыло: я сначала решил, что «compose не
описывает монтирование», и правил не тот файл. Надо было сразу спросить
контейнер, какой файл используется:
docker inspect <контейнер> --format '{{index .Config.Labels "com.docker.compose.project.config_files"}}'
1.11 OPENCLAW. Падал в петле: база состояния нечитаема, ENOSPC. Причина —
диск в CT 115 был заполнен на 100%. Мусор был НЕ там, где показывал
Docker: /var/lib/docker занимал 1.5 ГБ, а /var/lib/containerd — 21 ГБ,
из которых 12 ГБ — записанный слой самого падающего контейнера. Docker
при этом показывал «возвратно 21.7 ГБ», что вводит в заблуждение: это
его собственный нужный образ.
Сделано: состояние больного контейнера СОХРАНЕНО на хост
(/root/openclaw-broken-state-20261017_122412.tar, 1.67 МБ, база внутри —
проверено), петля остановлена, контейнер удалён. МЕСТО: было 100%, стало
55%, освободилось 11 ГБ. Живой экземпляр openclaw-old не тронут.
Осталось решить (нужно слово владельца): какой экземпляр считать рабочим
— работающий openclaw-old (переименовать) или новый из копии.
1.12 ОСТАТКИ ОТ ОБНОВЛЕНИЙ. Убрано 11 контейнеров: plex, sonarr, radarr,
prowlarr, bazarr, overseerr, tautulli, linkding, prometheus, syncthing
(Exited) и navidrome-old, который КРУТИЛСЯ В ПЕТЛЕ вхолостую.
Оставлено 3 работающих: calibre-web-old, freshrss-old, openclaw-old.
Признак «old» в имени не значит «мусор» — это действующие экземпляры.
Правило записано: удалять только Exited/Created/Restarting.
ПРОВЕРЕНО ПОСЛЕ УБОРКИ: Plex, Sonarr, Radarr, Prowlarr, Overseerr,
Navidrome, Linkding, Prometheus, Syncthing отвечают 200 (Bazarr и
Tautulli — 401, их норма без токена). Наблюдение: 34 проверки, провалов
нет.
ЗАДАЧА 1.1. Она стояла как «применить профиль безопасности в остальных
контейнерах». Вместо «на всякий случай везде» я измерил.
Проверил 23 контейнера с Docker запуском docker run --rm hello-world:
работают без правки: 21
требуют внимания: 2 (CT 115 OpenClaw, CT 140 gitea)
И в этих двух обход уже есть: в их docker-compose.yml прописано
apparmor:unconfined. То есть задача 1.1 по существу ВЫПОЛНЕНА.
ПОЧЕМУ ЭТО ВАЖНО: настройка lxc.apparmor.profile=unconfined ОТКЛЮЧАЕТ
защиту AppArmor у контейнера — это ослабление изоляции, а не усиление.
Применить её всем значило бы ослабить 21 контейнер, который отлично
работает без этого. Правило: ослаблять защиту только там, где
измерением доказано, что без этого не работает.
НАЙДЕНО ПО ХОДУ (три проблемы, которых в списке не было):
1. В CT 108 БЫЛ СЛОМАН DNS. Из контейнера не резолвились внешние имена
(1.1.1.1 и 8.8.8.8 — таймаут), а к AdGuard работало. Следствие: n8n не
мог резолвить имена и выходил наружу только через прокси; всё, что шло
мимо прокси, падало. Причина: в compose у n8n жёстко прописан
dns: [8.8.8.8, 1.1.1.1], недоступный из этого контейнера.
Исправлено: DNS контейнера переведён на AdGuard; DNS задан на уровне
Docker для новых контейнеров. Контейнеры не пересоздавались, службы
целы. Проверено: api.telegram.org резолвится, example.com — HTTP 200.
2. COMPOSE У n8n НЕ ОПИСЫВАЕТ МОНТИРОВАНИЕ ДАННЫХ — это риск. Работающий
контейнер использует папку /opt/automation-lxc/n8n/data, где лежит
файл config — КЛЮЧ ШИФРОВАНИЯ n8n. В compose этого монтирования нет.
Значит пересоздание через compose даст контейнер без ключа: он
запустится, а учётные данные перестанут расшифровываться.
Поэтому compose я вернул как был, а правку сделал безопасно — на
уровне Docker. Обновлять n8n через compose сейчас НЕЛЬЗЯ, пока
compose не приведён в соответствие. Заведено задачей 1.10.
3. КОНТЕЙНЕРЫ В ПЕТЛЕ ПЕРЕЗАПУСКА: openclaw (CT 115, падает), и
navidrome-old-20261014-* (CT 125, остаток от обновления). Плюс 10
контейнеров *-old-* в состоянии Exited. Заведено задачами 1.11 и 1.12.
ЧЕСТНО О МОЕЙ ОШИБКЕ: при правке n8n я сначала добавил ВТОРОЙ ключ dns в
compose и сломал YAML («mapping key dns already defined»). Проверка
конфигурации это поймала до применения — службы не пострадали, файл
восстановлен из копии. Урок: перед добавлением строки в чужой файл
проверить, нет ли её уже.
Владелец спросил, про что задача 22, и это вскрыло мою неточность.
ЧТО ПРОВЕРЕНО ПО ДОКУМЕНТУ. Задача 22 в аудите — именно ключ age:
«| 22 | Поручение: ключ age в Vaultwarden | ВАШЕ |»
«| 22 | Ключ age → в Vaultwarden и на флешку | Без него секреты не восстановить |»
Отдельной задачи про пароль PVE в аудите НЕТ.
ГДЕ Я БЫЛ НЕТОЧЕН. Я описал ключ как «ключ к копиям VPN». На самом деле
он открывает secrets.yaml, где 8 секретов:
database.password, backup.restic_password, authentik.api_token,
vpn.mtg_secret, notify.matrix_token + адрес, порт, пользователь базы.
Разница принципиальная: потеря ключа означает потерю не только VPN, но и
пароля базы и ключа резервных копий. То есть без него не восстановить
почти ничего.
ИСПРАВЛЕНО:
* verify-age-key.sh теперь проверяет и secrets.yaml (расшифровывается,
внутри 8 секретов), а не только .json-копии;
* docs/AGE-KEY-AND-RESTORE.md — охват описан верно, добавлен раздел про
то, что ключ НЕ имеет отношения к паролю root на PVE;
* файл для владельца переименован в AGE-КЛЮЧ-все-секреты.txt и
переписан: перечислено всё, что ключ открывает, включая пароль базы и
ключ копий.
Результат проверки после правки: secrets.yaml расшифровывается (8
секретов), копии VPN расшифровываются (40 и 30 ключей), права 600, в Git
ключа нет.
Если владелец захочет вести пароль PVE наравне с остальными — это
отдельный пункт реестра, добавлю по его слову.
Задача №22 аудита. Суть не в «положить в Vaultwarden», а в том, что без
ключа зашифрованные копии бесполезны: файл есть, прочитать нечем.
ЧТО СДЕЛАНО:
* добавлен ops/vpn/verify-age-key.sh — проверка «ключ ГОДЕН», а не
«ключ есть». Ошибка в одном символе иначе обнаружится только в момент
восстановления, когда уже поздно. Скрипт проверяет: ключ на месте и с
правами 600; секретный ключ ровно один; публичный совпадает с тем, на
который шифровали; копии ДЕЙСТВИТЕЛЬНО расшифровываются; ключа нет в
файлах и в истории Git; копии есть на другом хосте;
* docs/AGE-KEY-AND-RESTORE.md — что ключ открывает, где должен жить
(сервер + Vaultwarden + флешка, ключ отдельно от данных), как
восстановить;
* файл с ключом и пошаговой инструкцией подготовлен и передан владельцу
для скачивания.
РЕЗУЛЬТАТ ПРОВЕРКИ: ключ годен. Расшифровываются обе копии —
vpn-configs.json (40 ключей клиентов) и xray-config.json (30). Права 600.
Публичный ключ совпадает с .sops.yaml. В Git ключа нет: ни в файлах, ни
в истории коммитов. На VPS лежат 2 зашифрованные копии.
ПОЧЕМУ КЛЮЧ НЕ ДОБАВЛЕН В VAULTWARDEN МНОЮ: Vaultwarden шифрует записи
клиентским мастер-паролем. Мастер-пароля у меня нет — и это правильно.
Добавить запись программно можно только с ним или с личным ключом API;
просить их я не буду. Записать в Vaultwarden и на флешку — действие
владельца.
ГРАБЛИ (мои): проверка нашла саму себя. Скрипт искал строку
AGE-SECRET-KEY-1, а она есть в нём же как образец для поиска — вышло
ложное «ключ попал в репозиторий». Искать надо КОНКРЕТНОЕ значение
ключа, а не его начало. Исправлено. Тот же класс ошибки уже был с URL
приватной комнаты: проверка совпадала сама с собой.
ВЛАДЕЛЕЦ СПРОСИЛ: зачем прокси, не проще ли завести домашнюю сеть в
AdGuard? Проверил — он прав.
AdGuard (192.168.1.107) уже работает как DNS и уже содержит
переписывания для ВСЕХ 43 домашних доменов: проверено по списку
ops/network/domains.yaml — правильно отвечает 43 из 43.
Значит отдельный DNS на шлюзе (CT 161) был ДУБЛЕМ, причём вредным:
* два источника правды: поправил в одном — на другом старое;
* устройство, настроенное на шлюз, ОБХОДИЛО фильтрацию AdGuard,
то есть реклама и трекеры проходили.
DNS на шлюзе выключен. Настраивать на устройствах: DNS 192.168.1.107.
Адрес 192.168.1.161 для DNS больше не использовать.
ПРО ПРОКСИ. Для телевизоров он не нужен: владелец выяснил, что там есть
только «HTTP-прокси для браузера» и поля DNS нет вовсе. Прокси на шлюзе
оставлен как необязательный инструмент для устройств, которые умеют
полноценный прокси (компьютер). Телефонам он не нужен — у них профили VPN.
НАБЛЮДЕНИЕ ПОПРАВЛЕНО: проверка «Шлюз DNS» смотрела на 192.168.1.161,
где DNS больше нет — она начала бы падать с ложной тревогой. Теперь это
«DNS дома (AdGuard)» и смотрит на 192.168.1.107.
ТУННЕЛЬ НА ШЛЮЗЕ ПОЧИНЕН. Он «висел по таймауту»: проверка канала
спрашивала www.gstatic.com, DNS отдавал адрес IPv6, а IPv6 у контейнера
нет — соединение висело до таймаута, проверка считала канал мёртвым, и
ложился весь трафик. В журнале было прямо: «outbound/urltest[auto]:
context deadline exceeded». Лечение: IPv6 в контейнере отключён, в
sing-box задано ipv4_only. Сейчас 3 из 3 попыток успешны.
Ещё две миграции sing-box 1.14 поймала встроенная проверка конфигурации:
поля sniff переехали в правила; DNS-сервер теперь
{"type": "udp", "server": "..."}, старый {"address": ...} отвергается.
УРОК: прежде чем строить новое, проверить, что уже есть. AdGuard работал
годами, а я построил рядом второй DNS.
Роутер по-прежнему НЕ тронут, как решено.
Прежний шлюз умел только DNS. Этого мало: телевизор не ставит
VPN-приложение, и быстрый DNS ему не помогает, если нужные сайты
недоступны. Теперь на шлюзе есть свой туннель до VPS и прокси для
устройств, которые умеют указать адрес прокси в настройках сети —
это почти все телевизоры и приставки на Android TV.
ПРОВЕРЕНО СНАРУЖИ, как это сделает телевизор:
иностранный сайт через прокси -> выход 193.233.210.184 (наш VPS)
git.buryans.ru -> HTTP 200 напрямую (домашнее идёт мимо туннеля)
ya.ru -> HTTP 302 за 0,1 с напрямую (российское тоже мимо)
youtube.com -> HTTP 200 через туннель
ОТДЕЛЬНЫЙ КЛЮЧ ДЛЯ ШЛЮЗА (gateway-home@buryans.local), а не чей-то
личный: видно в статистике, можно отозвать шлюзу отдельно, при замене
шлюза меняется только его ключ. Добавлен во все входы VLESS, поэтому
шлюз может пользоваться любым каналом и переключаться сам (три канала
с автопереключением внутри шлюза).
НАБЛЮДЕНИЕ: шлюз добавлен двумя отдельными проверками —
* «Шлюз DNS» — домашний домен обязан вести на 192.168.1.10;
* «Шлюз туннель» — иностранный адрес обязан выходить через VPS.
Проверяется ВЫХОД, а не «порт открыт»: порт может слушать, а трафик не
идти. Всего проверок стало 34 (было 32). Это прямо про недавний случай:
владелец узнал об обрыве от семьи, а не от системы.
ГРАБЛИ:
1. sing-box 1.14 убрал старые поля входящего: sniff внутри входящего
больше не принимается, переехал в правила. Проверка конфигурации
поймала это ДО запуска.
2. Служба не создалась, потому что предыдущий запуск прервался на
проверке конфигурации. Урок: проверять надо не «конфигурация
верна», а «служба работает и трафик идёт».
Для Samsung и LG прокси в настройках сети нет — им доступен только
быстрый DNS, обход блокировок потребует правила на роутере (3.3).
Убраны устаревшие записи, которые вводили в заблуждение:
* «итого рабочих каналов: три» -> четыре (Reality доведён);
* «Reality не проходит рукопожатие, причина не найдена» -> причина
найдена: сайт-прикрытие www.microsoft.com недоступен с VPS,
заменён на наш собственный;
* «доступ снаружи непредсказуем» -> четыре канала с автопереключением;
* «проверка восстановления из копий» -> проверено для конфигураций VPN.
Дописаны разделы: что сделано по Этапу 3 (шлюз в доме) и запасной
простой профиль.
Итог по реестру: сделано 28, частично 7, не начато 46.
По жалобе «VPN бьётся по таймауту, пропали настройки на российские
сайты» проверил всё. На сервере всё цело:
* xray и hysteria active, 4 порта слушают, канал пропускает;
* профиль на странице целый: 11634 байта, 177 российских зон, 27
домашних, разбор движком проходит;
* даже старый клиент (mihomo января 2024) разбирает профиль без ошибок.
Нашлась при этом РАЗОВАЯ ошибка соединения: mihomo один раз получил
«context deadline exceeded» на канал 10443, хотя с того же хоста xray в
тот же момент подключался успешно, а через минуту и mihomo показал
задержку 457 мс. То есть канал иногда не устанавливается с первого раза
— это и выглядит как «висит по таймауту».
Поэтому добавлен ЗАПАСНОЙ ПРОСТОЙ профиль: один проверенный канал
(VLESS+TLS) и те же правила — домашнее в туннель, российское напрямую.
Он повторяет то, что работало с самого начала, и не зависит от новых
каналов. Файлы vpn-<имя>-simple.yaml лежат рядом с основными, на странице
появился отдельный раздел.
НАЙДЕН И ИСПРАВЛЕН ДЕФЕКТ в собственном сборщике: в первой версии
простого профиля группа называлась так же, как канал («Buryan»), и
движок отвергал ВЕСЬ профиль с ошибкой «loop is detected in ProxyGroup».
То есть профиль с петлёй не загрузился бы вообще — ни каналы, ни
правила. Теперь группа называется «Buryan Выбор», проверка проходит.
Это же объясняет класс проблем: если движок отвергает профиль целиком,
человек видит именно «VPN не работает» и «правила пропали».
НАЙДЕНА ПРИЧИНА «дома всё тормозит»: домашние домены резолвились в адрес
VPS даже из дома — запрос уходил в интернет, на VPS, и возвращался
обратно. Замерено:
напрямую с домашнего nginx (192.168.1.10): 10 мс
как было, через VPS: 485 мс (в 50 раз!)
СДЕЛАНО: отдельный контейнер CT 161 (192.168.1.161) со своим DNS.
Для 43 домашних доменов из ops/network/domains.yaml отдаёт домашний
адрес 192.168.1.10 — трафик идёт по домашней сети. Для всех остальных —
обычный ответ через 1.1.1.1 и 8.8.8.8, с кэшем.
РОУТЕР НЕ ТРОНУТ, как вы и просили. Правило на Keenetic (3.3) остаётся
на потом, вместе с вами.
ПРОВЕРЕНО НА РЕАЛЬНОМ УСТРОЙСТВЕ (3.2): взял домашний CT 107, перевёл
его DNS на шлюз. Домашние службы открываются (200/302), обычный
интернет не сломался (yandex 302, github 200), стало в 50 раз быстрее.
После проверки DNS устройства возвращён как был — чужие настройки без
согласия не оставляю.
КАК ПОДКЛЮЧИТЬ УСТРОЙСТВО: указать в его настройках сети DNS
192.168.1.161. Для Android TV: настройки сети -> своя сеть ->
дополнительно -> DNS вручную.
ЧЕГО ЭТО НЕ РЕШАЕТ: доступ снаружи (там нужен VPN, этапы 1-2) и обход
блокировок (это туннель, он в профилях для телефонов).
ГРАБЛИ:
1. local-lvm заполнен на 80%, контейнер там не создаётся. Разрешил
хранилищу local держать диски контейнеров (копия storage.cfg снята).
Диск шлюза 2 ГБ, на local свободно 91 ГБ.
2. Первый замер показал 486 мс вместо 10 — это была холодная попытка
(пустой DNS-кэш, новое TLS-соединение). Мерить надо несколько раз
подряд и брать установившееся значение, иначе получается «быстрее
в 1 раз», то есть никакая экономия.
Задача 2.3 закрыта. Reality работает и проверен снаружи ключом живого
человека: у всех шести человек, домашние службы через него отвечают 200.
VLESS + TLS TCP 10443 ~476 мс
Hysteria2 UDP 10443 ~142 мс
VLESS + XHTTP TCP 8444 ~576 мс
VLESS + Reality TCP 2087 ~309 мс
ПРИЧИНА, по которой не работал: Reality был настроен на прикрытие
www.microsoft.com, а этот сайт с VPS НЕДОСТУПЕН (HTTP 000), хотя с
домашнего канала отвечает. Reality пересылает рукопожатие клиента на
сайт-прикрытие; сайт недоступен — рукопожатие не проходит.
Рабочее решение: прикрытием сделан НАШ ЖЕ сайт (dest 127.0.0.1:10443,
имя git.buryans.ru). Путь до прикрытия локальный и не рвётся, а для
наблюдателя соединение выглядит как обычный TLS к нашему домену, то есть
сливается с уже существующим рабочим каналом.
ПОПУТНО ИСПРАВЛЕНО: ключи на всех входах приведены к одному набору.
Раньше для части людей на Reality лежали ДРУГИЕ ключи, и ключ человека
работал на одном канале и не работал на другом. Теперь ключ один на все
каналы — это и позволило добавить Reality в общий профиль.
ОТДЕЛЬНО ЗАПИСАНО В ДОКУМЕНТЕ, честно: в этом разборе я ошибся в
проверке ШЕСТЬ раз, и каждая ошибка выглядела как «канал не работает»:
заглушка вместо публичного ключа; ключ, которого нет на этом входе;
недоступный с сервера сайт; порт, не открытый в экране; проба, которая
не запускалась; имя UID, зарезервированное в bash (сервер прямо сказал
«invalid request user id»).
Правило: если канал «не работает» — сначала проверь саму проверку.
Сервер в журнале обычно говорит причину прямо, надо только прочитать.
Тестовый порт закрыт, пробные процессы убраны, конфигурация сохранена
в зашифрованную копию.
До сих пор я проверял файлы у себя на диске. Человек же получает профиль
ПО ССЫЛКЕ — значит проверять надо именно то, что отдаётся по ссылке,
и так, как это сделает клиент.
Скрипт делает ровно это:
* скачивает профиль по настоящей ссылке подписки (с логином и паролем,
как это сделает телефон);
* разбирает его и проверяет состав: три канала, группы fallback и
url-test, число правил и приложений;
* запускает клиент с этим профилем и убеждается, что домашний домен
открывается через туннель;
* опрашивает задержку каждого канала по очереди.
Результат: профиль с подписки — 11172 байта, три канала, домашний домен
HTTP 200, канал выбран автоматически (Buryan TLS, 297 мс). Самый быстрый
на момент проверки — Hysteria2 (131 мс), XHTTP 766 мс.
Про выбор канала: группа «Buryan Авто» берёт ПЕРВЫЙ ЖИВОЙ (это fallback),
а не самый быстрый — так она не дёргается между каналами при колебаниях
задержки. Кому нужен именно быстрый, в группе «Выбор» переключается на
«Buryan Быстрый» (url-test). Оба варианта в профиле.
Это третий случай, когда проверка «на своей стороне» показала бы не то,
что видит человек. Поэтому проверка идёт по тому же адресу, что у него.
У людей уже был профиль, но с ОДНИМ каналом. Без отдельного сообщения
они остались бы на старом, и работа Этапа 2 до них бы не дошла —
скрипт раздачи выдаёт ключи новым, а не обновляет старым.
Что уходит каждому:
* короткое письмо: три канала, переключение само, что сделать;
* ССЫЛКА ПОДПИСКИ — главное: вставить один раз, дальше обновляется само;
* новые файлы yaml и json — если удобнее файлом.
Ссылку проверяю ДО отправки: сначала HTTP-код, а после отправки вижу в
журнале, что она открылась. Отправлено всем шести, у всех ссылка ответила
200. Это проверка «человек получил работающее», а не «сообщение ушло».
Про 429: Synapse ограничивает частоту. Без пережидания раздача рвётся на
середине, и потом не понять, кто получил, а кто нет. Обработка уже была —
использую ту же.
Заодно выяснил: настройки страницы лежат на VPS, а не на домашнем хосте.
Скрипт сначала искал их локально и падал — теперь забирает по ssh.
Цель этапа — чтобы доступ не зависел от того, не начал ли провайдер
мешать одному конкретному способу. Теперь каналов три, и клиент сам
держит живой:
VLESS + TLS TCP 10443 — основной
Hysteria2 UDP 10443 — QUIC: другой путь, устойчивее на потерях
VLESS + XHTTP TCP 8444 — выглядит как обычный сайт
ПЕРЕКЛЮЧЕНИЕ ДОКАЗАНО, А НЕ ТОЛЬКО НАСТРОЕНО. Тест: сломал основной
канал правилом в экране VPS (только для тестовой машины, чтобы не
задеть семью) — клиент переключился САМ через 60 секунд, домашний домен
продолжил открываться уже через новый канал, а после возврата основного
вернулся на него через 50 секунд.
ПОЧЕМУ ПЕРЕКЛЮЧАЕТ КЛИЕНТ, А НЕ СЕРВЕР. Проверял «единую точку входа на
сервере» — не годится: VLESS+TLS и XHTTP оба используют TLS с проверкой
сертификата, и посредник либо ломает проверку, либо должен
расшифровывать трафик. Второе уничтожает защиту. Поэтому переключает
клиент: у него есть все каналы.
ПОДПИСКА (задача 2.4): у каждого человека теперь есть ссылка, которую
он один раз вставляет в клиент — дальше профиль обновляется сам.
Добавлю новый канал, у всех появится без действий. Ссылки на прежней
странице, вход прежний.
ДВА ФОРМАТА, ОБА С АВТО-ПЕРЕКЛЮЧЕНИЕМ:
yaml — mihomo: группа fallback, три канала;
json — Xray: наблюдатель + leastPing по TLS и XHTTP.
В json НЕТ Hysteria2: Xray его не поддерживает, а если положить —
конфигурация не собирается и профиль не загружается. Проверено.
ПРОФИЛИ ПРОВЕРЯЮТСЯ ДО ВЫДАЧИ настоящими движками (mihomo и xray).
Не проходит проверку — не попадает на страницу. Лучше не выдать
ничего, чем выдать файл, который не откроется.
ГРАБЛИ ПО ХОДУ (все записаны в docs/VPN-STAGE2.md):
1. репозиторий Hysteria переехал: apernet/hysteria -> HyNetworks/hysteria;
со старого адреса версия читается как «location:...» и скачивание 404;
2. в экране VPS правило было только для TCP, для UDP — нет: при политике
DROP снаружи канал недоступен, хотя на сервере «слушает». Правило:
проверять канал СНАРУЖИ;
3. xray определяет формат по расширению: на «.json.tmp» отвечает
«Failed to get format» — временный файл должен иметь верное расширение;
4. папке нужен бит выполнения: я поставил 644 на папку sub/ и получил
403 от nginx. Папкам 755, файлам 644. Проверять не «файл на месте»,
а что он ОТКРЫВАЕТСЯ по адресу;
5. у Hysteria нет отдельной проверки конфигурации — проверяю пробным
запуском и тем, что порт слушает.
Проверка подписки: по её адресу отдаётся профиль с тремя каналами и
группой fallback — смотрю содержимое, а не только код ответа.
Осталось: Reality (2.3) — на портах есть, но рукопожатие не проходит.
Задача 2.2 из реестра. XHTTP передаёт VLESS поверх обычных HTTPS-запросов:
трафик выглядит как обращения к сайту, а не как непрерывный поток. Для
провайдера, который разбирает характер соединения, это поведение иное,
чем у обычного VLESS+TLS, — потому и полезен как запасной.
Решение по устройству: XHTTP идёт на отдельном TCP-порту 8444 со своим
TLS и нашим сертификатом git.buryans.ru. Вариант «спрятать за nginx»
рассматривал, но он добавляет лишний слой и точку отказа без выигрыша.
Сделано:
* в конфигурацию xray добавлен входящий (порт 8444, сеть xhttp, TLS);
* клиенты перенесены с основного входа — человеку работает тот же ключ;
* путь /buryan-xhttp, маскировка под git.buryans.ru;
* порт открыт в экране VPS, правила сохранены;
* скрипты в ops/vpn/xhttp/.
ПРОВЕРЕНО СНАРУЖИ, с домашнего канала:
напрямую: 46.8.140.22
через XHTTP: 193.233.210.184 <- наш VPS
домашние службы и YouTube через него: 200, 200, 200
в журнале клиента всё ушло с пометкой [proxy]
Урок с Hysteria2 применён сразу: порт открыл в экране ДО проверки.
В прошлый раз канал работал на сервере, но был недоступен снаружи
из-за политики DROP — на эти грабли второй раз не наступил.
Итого рабочих каналов теперь три:
VLESS + TLS TCP 10443 — основной
Hysteria2 UDP 10443 — QUIC, для видео и на случай помех TCP
VLESS + XHTTP TCP 8444 — ведёт себя как обычный сайт
Резервная копия обновлена: оба канала и все 40 ключей зашифрованы в
ops/secrets-enc/vpn-configs.json, восстановление проверено сверкой.
Дальше по плану: собрать единый профиль с автоматическим переключением
между тремя каналами и доказать переключение отключением основного.
Задача 2.1 из реестра. Запасной канал, отличающийся от основного по
самой природе: основной — VLESS+TLS по TCP, этот — QUIC по UDP. Если
провайдер станет мешать TCP, этот пойдёт другим путём; на потерях QUIC
обычно устойчивее, что важно для видео.
Сделано:
* Hysteria2 v2.13.0 установлен на VPS, служба systemd с автозапуском;
* слушает UDP 10443 — тот же номер, что у основного TCP-канала
(UDP и TCP не мешают друг другу, людям один номер проще);
* TLS — тот же сертификат git.buryans.ru, маскировка на наш же сайт;
* пароль 22 знака в /root/.buryan-hy2-password (600);
* скрипты и обезличенная копия конфигурации — в ops/vpn/hysteria/.
ПРОВЕРЕНО СНАРУЖИ, с домашнего канала:
напрямую: 46.8.140.22
через Hysteria2: 193.233.210.184 <- наш VPS
домашние службы через него: 200, 200
YouTube и Telegram: 200, 200
скорость 2 МБ: ~1,9 МБ/с
ТРИ НАХОДКИ ПО ХОДУ, записаны в реестр:
1. Репозиторий Hysteria переехал: был apernet/hysteria, стал
HyNetworks/hysteria. Со старого адреса версия читается как
«location:https://...» и скачивание даёт 404 — то есть установка
по старым инструкциям ломается.
2. В ЭКРАНЕ VPS правило было только для TCP 10443, а для UDP — нет.
При политике INPUT DROP снаружи канал был бы НЕДОСТУПЕН, хотя на
сервере всё работало и порт «слушал». Отсюда правило: проверять
канал СНАРУЖИ, а не по факту «слушает». Правило добавлено, правила
сохранены (netfilter-persistent), копия до правки лежит рядом.
3. У Hysteria нет отдельной проверки конфигурации: проверяю пробным
запуском и тем, что порт действительно слушает.
Резервное копирование расширено: теперь копируются оба канала
(xray и Hysteria2) в один зашифрованный файл
ops/secrets-enc/vpn-configs.json, и восстановление ПРОВЕРЯЕТСЯ —
расшифровка сверяется с исходным (30 ключей xray + конфиг Hysteria).
Иначе новый канал повторил бы недавнюю дыру, когда конфигурация
существовала в одном экземпляре.
Пароля Hysteria в репозитории нет — проверено сравнением с настоящим
паролем с сервера, а не только по виду.
Разобрано по жалобе владельца: в комнате на каждое сообщение из Matrix
появлялась заметка «Your message was not bridged: You're not logged in
(no usable logins found)», плюс сообщения дублировались.
Причина. Комната «Семья» — это канал Telegram (channel:3999041689,
is_supergroup: true), отражённый в Matrix. Мост не мог отправить
сообщение из Matrix в Telegram: у отправителя нет входа в Telegram
через мост. Вместо сообщения он клал заметку об ошибке — отсюда и
ошибки, и дубли.
Про 11 участников: это 4 настоящих человека и 7 теней Telegram
(@telegram_*). Тени — отражения участников Telegram-группы, их создаёт
сам мост. Это не мусор, а лица людей со стороны Telegram.
Сделано: включён режим передачи (bridge.relay.enabled: true), мост
перезапущен. Отдельно разобрано, чего делать НЕ надо: прописывать
bot_token в разделе network не требуется — мост версии v0.31.0
использует современный режим передачи, где роль передатчика выполняет
обычный вход в Telegram (у нас это Matrix_buryans_bot).
Осталось владельцу: отправить «!tg set-relay» в комнате «Семья».
После этого сообщения тех, у кого своего входа нет, будут уходить в
Telegram одной строкой с подписью отправителя. Права проверены: у
владельца admin, у остальных user — команда доступна только ему.
Честно отмечено ограничение: отправить проверочное сообщение от имени
владельца я не могу — в базе Synapse только хеши токенов, пароль мне
не передавали. Поэтому фактическую проверку делает владелец, и это
записано в документе, а не умолчано.
Заодно в документе: где лежит конфиг моста (внутри CT 155, в контейнер
смонтирован как /data), где задаются права, и правило на будущее —
сообщения уходят в Telegram только если у отправителя есть вход ЛИБО
в комнате назначен передатчик.
Настроить наблюдение и убедиться, что оно работает — разные вещи.
Добавил verify-monitoring-wired.sh, который доказывает три вещи, а не
заявляет их:
1. вызов проверки VPN есть в боевом скрипте наблюдения;
2. общий счёт проверок вырос с 31 до 32 — это видно по журналу:
[20:50:16] всё в порядке, проверено: 31
[20:55:14] всё в порядке, проверено: 32 <- включилась проверка VPN
3. при неработающем канале тревога ДЕЙСТВИТЕЛЬНО поднимается:
подменяю проверку на заломанную КОПИЮ скрипта (боевой не трогается),
получаю FAILED='VPN:НЕ РАБОТАЕТ: подмена для проверки;' и код 1.
Отдельно и важнее: ПОЙМАЛ СЕБЯ НА МУСОРЕ. Первый прогон проверки оставил
в состоянии наблюдения ложную тревогу «проверка сломана». Если бы я это
не заметил, дежурный искал бы несуществующую проблему, а первая же
настоящая проверка прислала бы «всё восстановилось» — то есть ложную
радость вдобавок к ложной тревоге.
Поэтому в скрипт добавлена уборка: он сам распознаёт свой след, убирает
его и прогоняет настоящую проверку, чтобы состояние было верным. След
в журнале остаётся — журнал не переписываем, это и есть история.
Проверено после уборки: провалов нет, состояние чистое.
Попутно, НЕ по этой задаче: в журнале наблюдения два разовых провала
Overseerr (17:05 и 21:30) с интервалом 4 часа. Проверил — служба
отвечает: /api/v1/status даёт 200 за 3 мс, через домен 307. То есть это
кратковременные сбои, а не постоянная поломка. Сказал владельцу.
Полезная проверка на будущее: проходит по всем файлам репозитория и
ищет UUID наших VPN-ключей. Если один из них когда-нибудь попадёт
в коммит, это будет видно сразу, а не через полгода случайно.
Проверка сразу же себя оправдала: нашла UUID в четырёх файлах n8n
(infra/n8n/workflows/*, ops/backups/n8n_workflows_*). Разобрался —
это ВНУТРЕННИЕ идентификаторы n8n: идентификаторы выполнения и комнат.
Они не секрет. Наших ключей VPN в репозитории нет — подтверждено
сверкой с полным списком всех 15 UUID из конфигурации xray.
Такая проверка важна именно потому, что вручную это не заметишь:
идентификаторы выглядят одинаково.
НАЙДЕНО И ЭТО БЫЛО ОПАСНО: боевая конфигурация xray с ключами жила
ТОЛЬКО на VPS.
* в репозитории лежала копия от 23.09: 1 клиент вместо 10;
* в резервное копирование (restic) VPS не входит вовсе.
Значит при гибели VPS все ключи пропали бы, и пришлось бы перевыпускать
доступ всей семье заново, обходя каждого. Это дороже, чем сделать копию.
Что теперь есть:
* ops/secrets-enc/xray-config.json — копия для восстановления,
зашифрована SOPS + age (правило уже было настроено на этот путь);
* vps/xray/config.json — обезличенная копия: структура без ключей,
её можно читать кому угодно;
* /root/xray-config-encrypted.json на VPS — вторая копия, на другой
машине.
Копия проверена, а не просто создана: скрипт расшифровывает её обратно и
сверяет СОДЕРЖИМОЕ (входящие, клиентов, ключи, настройки). Сверка
побайтовая не годится: SOPS при расшифровке пересобирает JSON, и порядок
ключей может отличаться. Результат: содержимое совпадает полностью,
30 ключей в 3 входящих.
Восстановление: ops/vpn/vpn-restore-config.sh. Без ключа --apply ничего
не пишет — только расшифровывает и показывает. С --apply делает копию
текущего файла, пишет на VPS и проверяет, что канал после этого работает.
Отдельно записано в документе: локально проверить конфигурацию НЕЛЬЗЯ,
потому что в ней пути к файлам сертификатов, а они только на VPS. Попытка
проверить на домашнем узле даёт ложную ошибку "failed to parse
certificate", и это не признак порчи копии. Скрипт об этом предупреждает
вместо того, чтобы пугать зря.
Восстановление невозможно без ключа шифрования age
(/root/.buryan-age-key, он же в Vaultwarden и на флешке). Это и есть
правило из аудита: ключ и зашифрованные данные — в разных местах.
ЗАМЕЧЕНО: комната называлась «VPN — Сергей», а описание гласило
«Профиль VPN для Сергей. Ключ только ваш...». На главный вопрос
человека — «что мне делать?» — это не отвечает. Плюс грамматическая
ошибка: «для Сергей» вместо «для Сергея».
СТАЛО: описание сразу говорит, что набрать и что получится:
«Профиль VPN для Сергея. Чтобы проверить, всё ли готово, напишите
здесь «!vpn check» — я отвечу, что на месте и что осталось сделать.
Свой профиль можно получить заново командой «!vpn»...»
Мелочь, но именно такие мелочи решают, дойдёт этап до людей или
человек закроет комнату и не поймёт, что от него хотели.
Обновлены все 6 комнат; скрипт fix-room-topics.py сохранён, чтобы
привести в порядок и будущие. Создание новых комнат в
matrix-distribute.py тоже исправлено. Падеж подставлен правильный.
Я ошибся и записываю это честно, потому что ошибка поучительная.
Проверял доступность банков обычным curl и получал 000 — «соединения
нет». В журнале было "SSL certificate problem: self-signed certificate
in certificate chain" и отказ за 0,015 с. Я решил, что это вмешательство
провайдера: сертификат подменяют по пути. Вывод был громкий и неверный.
На самом деле Сбербанк и Т-Банк САМИ используют сертификаты российского
доверенного УЦ Минцифры ("Russian Trusted Sub CA"). Он встроен в
телефоны, но его нет в хранилище доверия моих инструментов. Поэтому
curl и отказывался — дело было в моей стороне, а не в сети. С VPS
сертификат точно такой же: подмены нет ни там, ни там.
Проверил так, как это работает на телефоне (с отключённой проверкой
сертификата): sberbank.ru 200, online.sberbank.ru 302, tbank.ru 200,
vtb.ru 200, alfabank.ru 200. Сбербанк отдаёт обычное перенаправление
на /ru/person со своей сессионной кукой. Всё работает.
Правильный вывод: банки в этом хозяйстве и так доступны напрямую с
домашнего канала. Раздельная маршрутизация для них — не лечение, а
страховка: если канал до банка когда-нибудь начнёт мешать, трафик
всё равно пойдёт мимо туннеля, и поведение не изменится.
В документ для семьи добавил предупреждение: банки используют
российский УЦ, поэтому некоторые программы и скрипты на компьютере
будут ругаться на сертификат, хотя с телефона всё открывается. Правило
простое: если браузер на телефоне открывает банк — всё в порядке.
Общий урок, записанный в отчёт: это ВТОРОЙ раз, когда меня подвёл
инструмент проверки, а не работа. Сначала opencv не смог прочитать
исправный QR-код, теперь curl отверг исправный сайт. Оба раза спасало
одно правило — при странном результате проверять саму проверку, а не
сразу чинить то, что она показывает.
НАЙДЕНО ПО ХОДУ: в конфигурации xray стоял loglevel "debug" — остался
с тех пор, когда искали причину непрохождения Reality, и так и не был
выключен. За месяц это дало 371 МБ журналов на VPS. Замер в процессе
работы: за пару часов проверок архив вырос с 371 до 387 МБ — примерно
17 МБ за два часа.
Чем это опасно: при таком темпе диск кончится за месяцы, и первым
упадёт сам VPN. Поломка пришла бы "на ровном месте", и искать её стали
бы не там.
Исправлено: loglevel debug -> warning. Файловые журналы (access, error)
намеренно НЕ включал: файл растёт без ротации, а для наблюдения
достаточно системного журнала, где ротация есть. Порядок обычный:
копия -> правка -> xray run -test -> перезапуск -> проверка. Проверено,
что служба работает, все три порта слушают и канал пропускает трафик.
Скрипт правки сохранён как образец: ops/vpn/vpn-fix-loglevel.sh.
Вывод на будущее, записан в отчёт: временные настройки для поиска
причины надо помечать и снимать. Отладка, забытая после расследования,
— это отложенная поломка.
ДОБАВЛЕНО: ops/vpn/vpn-usage.py — сводка, кто реально пользуется VPN.
Считает по журналу xray, чьим ключом пользовались: метка в
пользовательской записи у каждого ключа своя, поэтому видно персонально.
"Выдал" и "пользуется" — разные вещи, а по отчётам бота этого не видно.
Первый замер (окно 7 дней): Роман 410 подключений (почти всё — мои
проверки), Полина 30, Сергей 2, AlexTest / Елена / Никита — ни разу.
Ограничение замера записано прямо в документе: по журналу видно, что
человек подключался хотя бы раз, но НЕ видно, доволен ли он. Ноль
подключений не означает "не получилось" — возможно, просто не дошли
руки. Поэтому сводка идёт в дополнение к живой проверке, а не вместо.
Человек не должен угадывать, на каком шаге он застрял. Команда смотрит
со стороны сервера и отвечает коротко: что получилось, что нет и что
делать. Проверил содержимое глазами получателя:
[да] Доступ выдан, ваш ключ: Buryan-01
[да] Готовые профили пришли: vpn-akadmin.json, vpn-akadmin.yaml
[да] Сервер отвечает, связь с ним есть
Со стороны сервера всё готово. Осталось проверить на телефоне:
1. Приложение: FlClash (.yaml) либо Hiddify (.json).
...
5. Откройте 2ip.ru — должен показаться 193.233.210.184.
Если чего-то не хватает, называет причину и следующий шаг: нет ключа —
«напишите владельцу»; профилей не видно — «примите приглашение в
комнату»; сервер молчит — «повторите через пару минут».
Важное ограничение, о котором сказано прямо и в коде, и в документе:
команда НЕ проверяет, работает ли VPN на самом телефоне — этого со
стороны сервера не видно. Поэтому последний шаг всегда «проверьте
сами», с точной ссылкой и ожидаемым адресом. Обещать больше, чем
можешь проверить, — верный способ запутать человека.
Работает независимо от того, принял человек приглашение или нет:
комнаты выдачи переведены на видимость «shared», поэтому приглашённый
видит и профили, и ответ на команду.
Профили с раздельной маршрутизацией (.yaml для FlClash, .json для
Hiddify) и инструкция отправлены всем шестерым — и в личные комнаты
Matrix, и выложены на страницу раздачи. Адрес и пароль страницы
не менялись.
Проверено по факту, а не по отчёту бота: файл скачивался глазами
получателя и сверялся с исходным по SHA-256. Все 6 человек: по 2 файла,
оба целые, инструкция на месте. Плюс сквозная проверка, что после
добавления 204 правил домашний домен по-прежнему идёт в туннель
(git.buryans.ru -> [proxy]), а прочее напрямую.
НАЙДЕНА И ИСПРАВЛЕНА ТРЕТЬЯ ПОЛОМКА. Комнаты выдачи создавались
с видимостью истории "joined": человек видит только то, что отправлено
ПОСЛЕ его вступления. Пока он только приглашён, отправленные ему
профили ему НЕ видны — со стороны это выглядит как "мне ничего не
пришло", хотя на сервере всё лежит.
То есть Сергей, Елена и Полина физически не могли увидеть ни ключ,
ни профиль, пока не приняли бы приглашение. А приняли бы они его,
скорее всего, именно увидев сообщение — которого не видели. Замкнутый
круг, из-за которого раздача могла молча не дойти до трёх человек
из шести.
Исправлено: все шесть комнат переведены на "shared", приглашённые видят
присланное сразу. Проверено. Скрипт создания комнат тоже исправлен,
чтобы это не вернулось; отдельный скрипт fix-room-visibility.py
приводит уже созданные комнаты в порядок.
Урок общий и повторяющийся: проверять надо ГЛАЗАМИ ПОЛУЧАТЕЛЯ, а не
состоянием на сервере. Оба раза проблему нашла именно такая проверка —
сначала в личных комнатах бота, теперь в комнатах выдачи.
Задача от владельца: взять полный список из открытых источников и сразу
раскатать, дальше он будет дописывать штучно.
Причина, по которой это нужно: приложения ломаются не из-за туннеля, а
из-за адреса выхода. Банк, госуслуги и маркетплейс видят, что запрос
пришёл из-за рубежа, и закрывают доступ. Значит их трафик должен идти
МИМО туннеля — тогда всё работает и переключать ничего не нужно.
Что сделано:
* ops/vpn/home-and-ru-zones.json — ЕДИНСТВЕННОЕ место для правок.
Три списка: домашние домены в туннель (27), российские зоны напрямую
(174 + 3 глобальных). Дописал зону — пересобрал одной командой,
и она появилась и в правилах клиента, и в профилях для телефона;
* ops/vpn/split_config.py — общий загрузчик: списки больше не дублируются
в коде, иначе они разошлись бы;
* ops/vpn/build-split-profiles.py — готовые профили на каждого человека
(.yaml для FlClash, .json для Hiddify);
* ops/vpn/push-profiles-to-vps.sh — раскладка профилей на страницу раздачи;
* ops/vpn/update-page-split.py, deliver-split-profiles.py — обновление
страницы и доставка через Matrix.
Список из открытых публикаций апреля 2026 (со ссылками в документе):
Известия/dp.ru, Topvisor, Алтапресс, spbnews78. Покрыты банки, госуслуги,
маркетплейсы, продуктовые сети, аптеки, доставка, такси, самокаты,
навигаторы, операторы связи, кинотеатры, госсайты.
Раскатано на страницу раздачи рядом с QR-кодами: человек скачивает файл
прямо на телефоне и импортирует — второй экран больше не нужен.
Адрес и пароль страницы не менялись.
Проверено на живом клиенте: все 6 профилей проходят xray run -test
(Configuration OK); маршрутизация подтверждена журналом —
git.buryans.ru ушёл [proxy] и ответил 200, а sberbank.ru, gosuslugi.ru,
ozon.ru, wildberries.ru, ya.ru ушли [direct]. Внешний адрес недомашнего
трафика — 46.8.140.22, обычный путь.
Поймана и исправлена вторая настоящая поломка: первая версия профиля
опиралась на geosite:category-ru, и профиль НЕ загружался —
"failed to open file: geosite.dat". Для geosite нужен файл данных рядом
с клиентом, а его может не быть; на телефоне это выглядело бы как
"профиль не добавляется". Теперь geosite/geoip не используются вовсе,
правила строятся только из списка доменов и подсетей, а генератор
проверяет, что эта зависимость не вернулась.
Ключи в Git не попадают: папка ops/vpn/build/ внесена в .gitignore
(проверено git check-ignore), в репозитории только скрипты и списки.
Задача: часть приложений (банки, госуслуги, маркетплейсы) не работает,
когда весь трафик идёт через VPN. С апреля 2026 крупные российские
сервисы закрывают доступ тем, кто приходит с зарубежного адреса;
рекомендацию дало Минцифры на совещании с 20+ компаниями, срок
назывался до 15 апреля. Приложение Сбербанка, по сообщениям, вообще
не запускается при включённом VPN.
Причина не в туннеле, а в том, ЧТО через него идёт. Значит решение —
маршрутизация, а не ручные переключения.
Что сделано:
* ops/vpn/gen-split-routing.py — собирает файлы маршрутизации из ОДНОГО
списка домашних доменов (27 адресов). Если вести списки порознь,
они разойдутся, и придётся искать, почему одна служба не открывается;
* ops/vpn/split/ — собранное: home-domains.txt, rules-clash.yaml,
client-routing.json (для Xray-клиентов);
* ops/vpn/split-profile-android.yaml — готовый профиль для Android:
список приложений через туннель, домашние домены в туннель,
всё остальное напрямую;
* docs/VPN-SPLIT-ROUTING.md — как настроить обоими способами;
* docs/VPN-APP-CONFLICTS.md — понятным языком, почему ломается и что
именно перестало работать, со ссылками на открытые источники.
Проверено на живом клиенте (xray 25.3.6, тот же клиент, что в телефоне),
результат виден в журнале:
accepted tcp:git.buryans.ru:443 [proxy] <- домашнее, в туннель
accepted tcp:ip-api.com:80 [direct] <- прочее, напрямую
accepted tcp:www.sberbank.ru:443 [direct] <- российское, напрямую
Конфиг проходит xray run -test (Configuration OK), профиль YAML
разбирается, порядок правил проверен скриптом.
Две грабли, найденные по ходу и записанные в документ:
1. Порядок правил решает. Первая версия начиналась с правила «всё
российское и весь buryans.ru — напрямую», а buryans.ru это и есть
наши домашние службы: широкое правило перехватило бы их раньше
узкого, и домашние домены ушли бы мимо туннеля. Домашнее правило
обязано стоять выше.
2. Без sniffing правила по домену не работают: клиент видит только
IP, имя уже разрешено. Поэтому включены sniffing с destOverride
и domainStrategy IPIfNonMatch.
Граница, которую обозначил владельцу прямо: вывод приложения из туннеля
— это штатная настройка Android, её я делаю. Подмену проверки «есть ли
на телефоне VPN» я не делаю: это уже не маршрутизация, а обман
проверки, и такое приложение честнее вынести из туннеля или настроить
ему прокси в самом приложении.
Ключей в коммите нет: в профиле стоит подстановка <ВАШ-UUID>,
свой ключ человек берёт из своей комнаты в Matrix.
Владельцу нужна была одна команда, чтобы выдать профиль новому
участнику без ручной сборки QR и без пересылки ключей в мессенджерах.
Добавлено:
!vpn give @логин — выдать свободный ключ
!vpn give @логин 08 — выдать конкретный ключ
!vpn list — что выдано, что свободно
Доступно только владельцу (@akadmin, @comms_agent); обычному человеку
бот отвечает отказом и пишет попытку в журнал.
Профиль уходит ЛИЧНО получателю: бот заводит с ним личную комнату,
приглашает и отправляет QR и ссылку. Владельцу приходит подтверждение,
что и кому выдано, и это же пишется в состояние (given_by, key).
Два вывода, которые дала проверка на живом получателе:
1. Видимость истории. Первый прогон создал комнату с history_visibility
"joined". Бот отчитался "отправлено", но получатель — а он в тот
момент ещё только приглашён — не увидел НИЧЕГО: с этой видимостью
видны только сообщения после вступления. Исправлено на "shared",
проверено на новой комнате: приглашённый видит профиль сразу.
Это выяснилось проверкой, а не из документации.
2. Права бота. Бот не серверный админ: заводить и деактивировать
учётные записи в Matrix он не может (403). Поэтому !vpn give создаёт
только комнату, а учётную запись человеку заводит владелец. Записано
в документации, чтобы это не выглядело недоделкой.
Проверено по-настоящему: временный человек заводился в Matrix, получал
ключ Buryan-10, принимал приглашение и видел у себя картинку QR и
ссылку. Обычному человеку на "!vpn 04" приходит отказ.
Уборка после проверки: временные люди и их комнаты удалены из базы
(пользователей снова 21, событий временных комнат 0). Комнаты чистились
с обнулением зависимостей — event_edges держал события круговой ссылкой.
Задача 4.2 из реестра: проверка «VPN работает» в наблюдении. Сделано.
Почему отдельная проверка: порт 10443 может слушать, а трафик не
проходить — именно это мы уже видели, когда провайдер вмешивался
в поток. Открытый порт об этом не говорит.
Как проверяется (ops/vpn/vpn-check.sh): поднимается временный клиент
xray на самом VPS, идёт через него в интернет, сверяется внешний адрес.
Совпал — канал пропускает трафик. За собой убирает. Ключ берётся из
рабочей конфигурации xray, а не из файла со ссылками: тот файл лежит
на домашнем узле, а проверка идёт на VPS.
Встроено в /opt/buryan-hub/scripts/check-services.sh (функция check_vpn),
вызывается каждые 5 минут вместе с остальными проверками, провал
попадает в общую тревогу в Matrix.
Порт 2087 (Reality) намеренно не проверяется: он не работает и занесён
в план задачами VPN-2.3, иначе тревога была бы каждые 5 минут.
Проверено отдельным запуском только новой функции, без полного цикла
наблюдения (чтобы не поднять ложную тревогу): код 0, PASSED=1.
Отдельно: команда !vpn link для настройки на самом телефоне. QR с того
же экрана не считать, а ссылку из сообщения можно скопировать и вставить
в приложение. Проверены варианты !vpn link, !VPN LINK, !vpn ссылка,
а также отказ на чужой ключ и молчание на обычный текст.
Найдено живой проверкой: владелец написал в комнате "!VPN" заглавными,
а бот искал строго "!vpn" и молча пропустил команду. Человек при этом
ждал ответа и не понимал, почему тишина.
Исправлено:
* сравнение команды без учёта регистра, добавлен вариант "!впн";
* любое входящее текстовое сообщение теперь пишется в журнал
("получено от ..."). Если человек написал команду, а бот промолчал,
это будет видно сразу, а не останется загадкой;
* токен бота можно подменить переменной BOT_TOKEN_FILE — нужно для
живой проверки цикла отдельным участником.
Проверено самопроверкой: "!VPN", "!Vpn", "!vpN" дают профиль;
"!VPN 04" от обычного пользователя даёт отказ.
Живой цикл подтверждён по-настоящему: новый участник (@nikita) принял
приглашение и написал в свою комнату — бот поймал сообщение своим
циклом синхронизации, увидел, что это не команда, и промолчал. То есть
цепочка «человек -> комната -> цикл -> обработчик» работает на живом
пользователе, а не только в самопроверке.
Отдельно к сведению: ADM_TOKEN в /root/bots-tokens.env — это токен
Telegram, а не Matrix (Matrix отвечает M_UNKNOWN_TOKEN). Не путать.
Рассылка: профили отправлены всем шестерым, каждому в свою приватную
комнату. Проверено --verify: у всех вход только по приглашению, у всех
картинка QR скачивается целой (1759-1872 байта, сигнатура PNG верна).
Бот (ops/vpn/matrix-vpn-bot.py, служба matrix-vpn-bot):
!vpn -> свой профиль
!vpn help -> подсказка
!vpn 08 -> владельцу: указанный ключ
!vpn 04 -> не владельцу: ОТКАЗ
Ответ уходит ЛИЧНЫМ сообщением, а не в комнату. Это условие безопасности:
ключ - это доступ, и он не должен оказаться в комнате, куда потом
добавят третьего человека. Свой профиль выдаётся только по своему
Matrix-логину, чужой запросить нельзя.
Проверено самопроверкой: владелец получил запасной ключ, обычный
пользователь получил отказ (отказ записан в журнал), свой профиль
и подсказка работают.
Три случая, которые чуть не сломали работу:
1. Synapse ответил 429 на первую рассылку - она оборвалась на середине,
двое получили комнату без инструкции, состояние не сохранилось.
Исправлено: 429 пережидается по retry_after_ms, состояние пишется
после каждого человека, признак delivered не даёт дублировать
отправку. Комнаты, созданные до падения, восстановлены по псевдониму
#vpn-<логин>, а не пересозданы.
2. При первом запуске /sync отдаёт последние события комнат - бот
обработал бы старые команды заново после каждого перезапуска.
Исправлено: первый запуск только берёт точку отсчёта.
3. Личные комнаты хранились в одном файле с точкой отсчёта и затирались
на каждом круге. Вынесены в отдельный файл.
Бот не слушает "Семью" и тревоги, не отвечает профилем в комнату
и не отдаёт чужой профиль никому, кроме двух админов Matrix.
По решению владельца профили выдаются не только страницей, но и в Matrix:
Matrix свой, ключи не уходят на чужие серверы, и человек получает профиль
там, где он и так общается с семьёй.
Добавлено:
* ops/vpn/matrix-distribute.py — заводит приватную комнату НА КАЖДОГО
человека, приглашает его, отправляет картинку QR, ссылку текстом на
случай несчитанного кода и инструкцию;
* режимы: план (по умолчанию), --send, --send --only <логин>, --verify.
Почему комната на каждого, а не общая "Семья": в общей комнате ключи
видны всем сразу, и тогда нельзя отозвать доступ одному, не задев
остальных. Ради отзыва по одному мы и заводили отдельные ключи.
Проверено на akadmin: комната "VPN - Роман" создана, получатель вошёл,
вход только по приглашению, картинка скачивается целой (1759 байт,
сигнатура PNG верна), текстов два. Режим --verify делает эту проверку
повторяемой.
Попутно выяснено и записано в документы:
* комната "Семья" содержит участников @telegram_<id> — там люди из
Telegram-моста, поэтому профили туда не кладём;
* portal в базе моста пуст — комната, похоже, в Telegram не зеркалится;
* этот Synapse отдаёт медиа только по /_matrix/client/v1/media/download,
старые media/v3 и media/r0 дают 404 (ложный признак потери файла);
* @akadmin — админ, но устройств не зарегистрировано;
* E2EE в этих комнатах не включён.
Ждёт решения владельца: класть ли профили в комнату, зеркалящуюся
в Telegram (тогда ключи попадут на серверы Telegram). До решения
раздача семье не запускается — её будет не откатить без смены ключей.
Второй замер после основной работы: 15 подключений из 15 успешных,
отклик от 0,5 до 2,9 с (в среднем 1,3 с). Первый замер был 10 из 10.
Цифры нужны как опора: канал рабочий, и это подтверждено дважды,
а не одним удачным прогоном.
Задача: docs/TASKS.md -> раздел VPN, Этап 1 (приоритет 3 из
docs/AUDIT-2026-10-17.md, часть 6).
Сделано:
* ключей 5 -> 10 (buryan-06..10 во все три входящих: 10443, 2087, 2053);
существующие user1..user5 не тронуты — их могли уже использовать;
* у каждого ключа своё имя: раздаём и отзываем доступ по одному,
не ломая остальных;
* приватная страница с QR-кодами и инструкцией (скрытый путь + пароль,
на существующем домене — новых записей в DNS не потребовалось);
* инструкция для семьи простым языком: приложение, импорт, проверка,
раздел "если не подключается";
* отдельно вынесено предупреждение про встроенный браузер MIUI —
это и была причина, по которой Сергей не мог войти.
Проверено (не на словах):
* xray run -test -> Configuration OK
* новый ключ реально выходит через VPS — и с самого сервера, и снаружи
* устойчивость: 10 подключений из 10
* QR-коды прочитаны независимым декодером (zxing), ссылки совпадают
* страница: 200 с паролем, 401 без пароля; Gitea не затронута (200)
Разбор ложной тревоги: записи "invalid request version" в журнале
оказались чужими проверками порта, а не нашей поломкой. Вывод в отчёт:
не считать канал сломанным по одной неудаче.
Осталось: VPN-1.3 — проверка на телефонах Сергея и AlexTest (нужны
устройства), затем VPN-1.4 — раздача остальным.
Отчёт: ops/vpn/VPN-STAGE1-IMPLEMENTATION.md
- Added canonical n8n workflow to workflows/n8n/ (SSOT compliance).
- Integrated Telegram Bot API for admin approval/denial via inline keyboards.
- Implemented Authentik Core API integration to dynamically create active users.
- Resolved critical technical constraints for audit compliance:
* Fixed Telegram 'callback_data' 64-byte limit by optimizing payload format.
* Resolved Authentik API 405 errors by enforcing trailing slash in endpoint URL.
* Explicitly defined HTTP headers to prevent n8n import stripping.
Definition of Done (F6-2) Met:
- [x] Test user created via self-service flow.
- [x] Owner received enrollment link and instructions in Telegram.
- [x] Workflow committed to Git (workflows-as-code).
Closes #F6-2
Related: Sprint F6 v2, Phase 4.1 Automation Roadmap
- Xray 26.3.27 with VLESS + TLS + TCP on port 10443
- Let's Encrypt certificate for git.buryans.ru
- NAT configured for outbound traffic routing
- 5 user profiles with unique UUIDs
- Port 10443 opened in provider firewall
- Runbook and audit report added
- Documented final state of Phase 5 (Audit & Transparency)
- Defined infrastructure baseline v1.3 metrics and achievements
- All automation, monitoring, and backup goals met
- Implemented ops/weekly-report.sh to gather 7-day stats (alerts, commits, uptime, LXC)
- Automated Gitea Issue creation via API with 'weekly-report' and 'audit' labels
- Added webhook placeholder for Matrix/Telegram notifications
- Scheduled weekly execution via cron (Sundays at 20:00)
- Implemented ops/audit.sh for sub-second system state snapshotting
- Automated CHANGELOG.md updates with daily metrics (LXC, alerts, disk, git)
- Verified auto-commit and auto-push to Gitea main branch
- Scheduled daily execution via cron at 09:00
- Added supporting scripts to version control (audit.sh, backup.sh)
- Automated mass installation script executed successfully across 28+ LXC containers
- node_exporter (port 9100) deployed and enabled via systemd on all CTs
- postgres_exporter (port 9187) deployed on CT 151 with secure socket auth
- Verified metric exposure: Prometheus now has full observability over all infrastructure
- Fixed JSON parsing to correctly handle n8n webhook payload wrapping (payload.body)
- Verified end-to-end delivery to Telegram with proper HTML formatting
- Grafana Contact Point configured declaratively via provisioning
- Created n8n webhook listener for Prometheus/Grafana alerts
- Implemented smart parsing for both Grafana and Alertmanager payload formats
- Configured Grafana Contact Point declaratively via provisioning
- Alerts are now formatted and sent to Telegram consistently
- Verified network connectivity between Grafana (CT 113) and Prometheus (CT 134)
- Applied declarative datasource provisioning via pct push
- Restarted Grafana to apply configuration
- Datasource is now set as default and ready for dashboards/alerts
- Documented fixes for Unknown Monitor, Telegram duplicates, and queue clearing
- Added SPRINT-F3-STATUS.md for overall tracking
- F3-1, F3-2, F3-3 are now DONE. F3-4 is next.
- Created comprehensive audit script (ops/audit-infrastructure.sh)
- Scanned all LXC containers and nested Docker services
- Generated infrastructure-inventory.json with full service map
- Auto-created runbook templates for all discovered services
Each runbook includes:
- LXC CT ID and Docker container name
- Port mappings and network info
- 5-step procedures (status, health, logs, restart, troubleshooting)
This provides complete operational documentation for the entire Buryan Hub infrastructure.
- Defined architecture (mautrix-telegram)
- Outlined prerequisites, implementation steps, and acceptance criteria
- Documented risks (E2EE, rate limiting) and next steps for future sprint
- Added runbook for Synapse/Coturn administration
- Added healthcheck script for Matrix API monitoring
- Documented completion of F2-5, deferred Bridge to future sprint
- Documented architecture, artifacts, and success metrics
- Noted LXC+Docker cgroup locking behavior for future fix (Variant B)
- Formalized the completion of the secure agent control channel
- Added base64-decoding for Gitea API runbook reading
- Implemented 30s heartbeat to agent_registry (PG CT 151)
- Strictly excluded .env and __pycache__ from version control
- Fulfills 'Everything as Code' principle from MASTER-PLAN
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: ca51de9 [STANDARD] Ночной пересчёт соответствия 2026-11-21
## [2026-11-20] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 9fd6f61 [STANDARD] Ночной пересчёт соответствия 2026-11-20
## [2026-11-19] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: eb48847 [STANDARD] Ночной пересчёт соответствия 2026-11-19
## [2026-11-17] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 55c7eb5 [STANDARD] Ночной пересчёт соответствия 2026-11-17
## [2026-11-16] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 79274e6 [STANDARD] Ночной пересчёт соответствия 2026-11-16
## [2026-11-15] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 0e6fbc3 [STANDARD] Ночной пересчёт соответствия 2026-11-15
## [2026-11-14] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: c697da2 [LLM] Hitrolink: даташиты с дистрибьютора snk-s.ru с пометкой источника. Собрано 23 PDF в queue-hitrolink-dist.jsonl, каждая запись: official=false, source_kind=distributor, source_host=snk-s.ru. Диспетчер пишет в результаты блок source {kind, official:false, requires_confirmation:true, host}. Исправлены 3 ловушки: .pdf с query string не распознавался; URL с пробелами/кириллицей не качался (quote); у вендора hitrolink-dist не было токенов -> skip; пометка терялась, т.к. результаты пишет диспетчер. Проверено: 4/23, пометка у всех, даташит дал факты
## [2026-11-12] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 697b977 [A-38] Снимок состояния 2026-11-11
## [2026-11-11] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 7e384d4 [STANDARD] Ночной пересчёт соответствия 2026-11-11
## [2026-11-10] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 865ffe6 [STANDARD] Ночной пересчёт соответствия 2026-11-10
## [2026-11-09] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 4aff09b [STANDARD] Ночной пересчёт соответствия 2026-11-09
## [2026-11-08] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 0283f62 [STANDARD] Ночной пересчёт соответствия 2026-11-08
## [2026-11-07] - 09:00
- 📸 Авто-снимок: 30/30 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: ad3e63d [STANDARD] Единый стандарт сервиса: 5 требований, автопроверка, матрица соответствия; ночной бэкап данных сервисов (S2 28%→94%); статус в аудите
## [2026-11-06] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 3800854 [PROJECT] Комбайн: глубокая проработка — 6 поправок к плану, 7 добавлений, 6 фаз реализации
## [2026-11-05] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 2db79d1 [SPRINT] Итоговый файл спринта 04.11: состояние, инцидент, все блоки, остатки
## [2026-11-04] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 4c5948d [SPRINT] Ночной спринт 04.11: медиа-русский звук, Hermes+DeepSeek, Секретарь 2.0, фото комнат, вебхуки в Matrix, аудит
## [2026-11-03] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 5bf6430 [HOME] Гардеробная: рендеры из PDF-проекта в карточке; схематичные виды сверху в карточки не выводим
## [2026-11-02] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 87c09c3 [HOME] 3D: двери с полосой, синие панели кабинета, каменный пол коридора; модель v47
## [2026-11-01] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 0d7990f [HOME] 3D: устранён свес 1.5 м (кровля вровень), окна 1600/1000/1291 и трапеции 1400/290–800
## [2026-10-31] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 4a25924 [HOME] v17: привязки проёмов сняты с плана (юг/восток/запад/север), свес фронтона 1.5 м
## [2026-10-30] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 9f53a88 [A-38] Снимок состояния 2026-10-29
## [2026-10-29] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 16dc025 [MEDIA] Профиль качества 1080p для новых загрузок, чистка 3D/576p релизов
## [2026-10-28] - 09:00
- 📸 Авто-снимок: 32/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 67f62a7 [BACKUP] Restore-тест: убран pipefail-SIGPIPE, ежемесячный cron, HDD как цель
## [2026-10-27] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: a038ba9 [A-38] Снимок состояния 2026-10-26
## [2026-10-26] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 194ee4f [A-38] Снимок состояния 2026-10-25
## [2026-10-25] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 6aed00b [A-38] Снимок состояния 2026-10-24
## [2026-10-24] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: 586c70b [NIGHT] Проверка отката на CT124: процедура pct rollback + start + docker start, дополнения в runbook
## [2026-10-23] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- 💻 Последний коммит: da5c024 [A-38] Снимок состояния 2026-10-22
## [2026-10-22] - 09:00
- 📸 Авто-снимок: 33/33 LXC запущено, 0 алертов за 24ч.
- **Database Sprint (CT 140 Gitea):** Текущая установка Gitea работает на SQLite (стабильный откат от сломанной миграции). Плановая, чистая миграция на PostgreSQL с полной валидацией схемы и тестовым прогоном вынесена в отдельный будущий спринт, чтобы не блокировать текущую функциональную разработку.
Loaded 100 of 2629 files, more files were not shown because too many files have changed in this diff.
Show more
Reference in new issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.