617236205b88214c292ca2a8ea38ee424ba01bbc
58
Commits
| Author | SHA1 | Message | Date | |
|---|---|---|---|---|
|
|
617236205b |
Calibre: один вход без второй формы; книжный бот в Matrix
1. УБРАН ВТОРОЙ ВХОД В CALIBRE. После Authentik он показывал свою форму. Включил доверие заголовку от прокси: allow_reverse_proxy_header_login=1, header=X-Forwarded-Email, auto_create_users=1, disable_standard_login=1. Админа переименовал в свою почту, чтобы вход попадал в его учётку. ПРОВЕРЕНО: без заголовка 302 (просит вход), с заголовком 200 и кнопка «Выход» — пустило. Второго пароля больше нет. 2. КНИЖНЫЙ БОТ @bot_books. Команды: /find (поиск в ЛитРес, Open Library, archive.org, Флибусте, libgen), /lib (что уже есть), /wanted (что искать), /tgadd /tglist /tgdel (каналы Telegram), /help. Доступ по списку: @akadmin, @polina; остальным отказ с показом их адреса. Бот сам принимает приглашения в комнаты. ПРОВЕРЕНО: /find Дюна вернул три издания ЛитРес с ценами (599/579 ₽), карточку Open Library и три книги в archive.org. 3. TELEGRAM БЕЗ АККАУНТА: бот ищет по публичным каналам через веб-предпросмотр t.me/s/имя (работает через VPN). Скачивать файлы так нельзя — для этого нужен юзербот (задача К-11). МОИ ОШИБКИ: бот сначала не обрабатывал приглашения (не вступал в комнату); сборка образа шла из кэша и патч не попадал в контейнер — помогло --no-cache; год из Open Library показывался как цена. |
||
|
|
2807bc815f |
Исправлен 500 на всех сервисах: Authentik 2026.8 отдавал email_verified=false
СИМПТОМ: после ввода пароля любой сервис с единым входом отдавал 500.
Прямые адреса работали, службы живы, Authentik писал вход успешным.
ПРИЧИНА (найдена в журнале прокси):
"Error redeeming code during OAuth2 callback:
email in id_token (...) isn't verified"
В Authentik 2026.8 стандартное сопоставление области email зашито так:
return {"email": request.user.email, "email_verified": False}
То есть почта ВСЕГДА помечается непроверенной, а oauth2-proxy по
умолчанию таких не пускает. В 2026.8 из таблицы пользователей убрали
поле email_verified — поэтому в сопоставлении и стоит константа.
Это следствие сегодняшнего обновления Authentik, а не правок прокси.
ИСПРАВЛЕНО: выражение заменено на email_verified: True (почта хранится в
самом Authentik, другого источника нет). Проверено: userinfo отдаёт true.
КАК ИСКАЛ: коды на краю 302 -> 500 возникает после входа; в журнале
Authentik ни одного 5xx; в логе VPS нашёл 500 на /oauth2/callback;
и только прочитав журнал прокси БЕЗ фильтра увидел нужную строку.
Ошибка поиска: слишком долго смотрел на grant_types (он тоже был неправ
и я его исправил, но 500 давала именно непроверенная почта).
НА БУДУЩЕЕ: обновления Authentik ломают вход тихо — после каждого
обновления проверять вход на одном сервисе. Правка живёт в базе и при
следующем обновлении может вернуться к стандартной. Проверка в документе.
ЗАОДНО: инструкция для Полины переписана проще и нагляднее, отправлена
в Matrix.
|
||
|
|
60866cd2b6 |
Каталог книг: сервис со статистикой; поиск расширен (7 источников); инструкции в Matrix
СЕРВИС КАТАЛОГА: https://books.buryans.ru/catalog/ за единым входом. * 181 книга, 45 серий, 25 книг к поиску; * страницы «Обзор», «Серии», «Книги», «Что искать»; * API /api/summary и /health; * профили читателей (сейчас Полина); * написан на стандартной библиотеке Python — нечему ломаться. СХЕМА: nginx /catalog/ -> oauth2-proxy-catalog :9990 -> catalog :9200. ПОИСК РАСШИРЕН ДО 7 ИСТОЧНИКОВ: ЛитРес (цены), Open Library (ISBN), ФантЛаб, Google Books — напрямую; archive.org, libgen, Флибуста — через VPN-шлюз, потому что в России заблокированы. ЛитРес через VPN НЕ ходит (блокирует зарубежные адреса). Результат: находки у 15 из 25 книг, libgen добавил ещё совпадения. ИНСТРУКЦИИ ОТПРАВЛЕНЫ В MATRIX в личные чаты: Akadmin — как устроено, как проверить, где что лежит, как обновить; Полина — как войти, искать, загружать книги. Matrix требует метод PUT (на POST вернул 405). МОИ ОШИБКИ: путь к каталогу не совпал (нули на странице); обновлённый файл не попал в контейнер, а я собрал образ из старого; проверка входа заголовком не проходит — нужна настоящая сессия. |
||
|
|
9b28117a7d |
Поиск книг без Telegram: 15 из 25 найдено, с ценами ЛитРес
Владелец: «есть ли возможность пока без ТГ искать книги, которых нет?»
СДЕЛАНО: скрипт ops/books/finder/book_finder.py.
1. берёт каталог Полины и находит серии, где следующая книга существует,
но не прочитана (25 книг);
2. спрашивает ЛитРес (магазин: цена + прямая ссылка), Open Library
(ISBN, год, язык), ФантЛаб (фантастика), Google Books;
3. отбрасывает нерелевантные совпадения по словам названия и автора;
4. собирает ссылки, где искать дальше. Ничего не скачивает.
РЕЗУЛЬТАТ: точные совпадения у 15 из 25; у 10 есть цена в ЛитРес
(«Морана и Тень. Плетущая» 599 ₽, «Обманный бросок» 549 ₽ и т.д.).
Английские новинки без перевода в ЛитРес отсутствуют — для них только
Open Library и поисковые ссылки. Псевдозаписи каталога («Другие книги
цикла») книг не находят, потому что это заметки, а не книги.
МОИ ОШИБКИ: Google Books отдавал 429 (квота) — я решил, что каталоги
недоступны, а Open Library работал; фильтр по русскому автору мешал
поиску; данные ЛитРеса с экранированными кавычками не разбирались;
ФантЛаб отдавал служебную ссылку вместо результатов.
Полный отчёт: docs/library/book-finder-report.md (25 книг, таблицы,
цены, ссылки). Дальше — веб-страница поиска в каталоге (К-7).
|
||
|
|
25ef17ad18 |
n8n 500 и системная проблема сторожа: исправлено
1. ОШИБКА 500 У N8N. Сам n8n был здоров (API 200, миграции применены). Причина на стороне входа: провайдеры, созданные мной через API, вышли с ПУСТЫМ grant_types, поэтому Authentik отклонял обмен кода на токен («Invalid grant_type for provider»). Прописал authorization_code и refresh_token всем девяти; проверено — у всех 33 провайдеров теперь есть типы обменов и приложение. 2. СИСТЕМНАЯ ПРОБЛЕМА: сторож buryan-agent каждые 5 минут перезапускал ЛЮБОЙ остановленный контейнер. Отсюда «NPM сам вернулся», «старые calibre поднялись снова» и невозможность что-либо осознанно выключить. ИСПРАВЛЕНО в 28 контейнерах: если политика перезапуска no — не трогаем; добавлен файл исключений /opt/buryan-agent/ignore.txt; в отчёте такие контейнеры помечаются stopped-intentionally. ПРОВЕРЕНО: остановил три, запустил сторожа вручную — failed=0 restarted=0, всё осталось выключено. 3. turn.buryans.ru отдавал 502 (HTTP-прокси на TURN-сервер) — теперь перенаправление на call.buryans.ru. СОСТОЯНИЕ: 40 доменов работают, n8n 200/302, библиотека работает, наблюдение 58 проверок без провалов, активных тревог нет. ОСТАЛОСЬ МЕЛОЧЬ: старый дубль freshrss-old-20261014-180053 всё ещё работает — остановить и переименовать. |
||
|
|
5c040ec142 |
Книги из Telegram: собран загрузчик (юзербот), нужны данные владельца
ОТВЕТ НА ВОПРОС: да, из закрытых каналов доставать можно, но НЕ ботом.
Обычный бот не читает историю каналов и его нельзя добавить в закрытый
канал. Нужен юзербот — программа под вашим аккаунтом.
БЕЗОПАСНОСТЬ, честно:
* Telegram может ограничить аккаунт за автоматизацию — риск умеренный
при аккуратной работе (пауза 3 с, лимит размера, никакой отправки);
* файл сессии = полный доступ к аккаунту — права 600, только на
сервере, не в облачных копиях;
* ГЛАВНАЯ РЕКОМЕНДАЦИЯ: отдельный аккаунт под книги, тогда основной
не участвует.
СОБРАНО: контейнер telegram-books с Telethon. Читает только указанные
каналы, ничего не отправляет, качает epub/fb2/pdf/mobi/azw3/djvu/zip,
помнит скачанное (не дублирует), пережидает FloodWait, складывает файлы
в папку приёма библиотеки (книги появляются в каталоге сами), проверяет
каналы по расписанию.
НУЖНО ОТ ВЛАДЕЛЬЦА: api_id и api_hash с my.telegram.org, список каналов,
однократный ввод кода из Telegram.
Добавлена оговорка про авторские права: механизм нейтрален, но
ответственность за содержимое на пользователе.
|
||
|
|
a28ea95c46 |
Книжная библиотека: Calibre-Web Automated с автоприёмом
ТРЕБОВАНИЕ: онлайн-библиотека с загрузкой/выгрузкой, добавлением и
статистикой, плюс доставать книги из закрытых Telegram-каналов.
СДЕЛАНО (шаг 1): вместо старого calibre-web поставлен
Calibre-Web Automated.
* загрузка через веб и через папку приёма /opt/books/ingest;
* автоприём проверен: положил EPUB -> через минуту книга в библиотеке,
метаданные прочитаны, папка очистилась;
* выгрузка и чтение онлайн — в интерфейсе;
* домен books.buryans.ru остаётся за единым входом;
* старые контейнеры остановлены и переименованы, откат возможен.
ПРО КАТАЛОГ ИЗ JSON: приложенный файл — каталог Полины, 181 книга и 45
серий со статусами чтения. Это не файлы, а учёт чтения; его место —
отдельный слой «каталог и статистика» с профилями читателей. Заведено
задачами К-2 и К-3.
МОИ ОШИБКИ: запустил контейнер с занятым именем и погасил stderr — новый
контейнер не создался, а я не увидел; и не остановил старый контейнер,
державший порт 8083.
ДАЛЬШЕ: сервис каталога и статистики, загрузчик из Telegram (юзербот,
нужен вход по коду), интеграция с Dashy и наблюдением.
|
||
|
|
ff2837a763 |
Единый вход на ВСЕ домены: было 16, стало 25
Владелец: «а почему 16 сервисов? нужны абсолютно все».
ДОБАВЛЕНО ПОД ВХОД: adguard, backup (Duplicati), element (веб),
finance (Firefly), n8n, git (Gitea), meals (Mealie), openclaw,
status (Uptime Kuma), home. Псевдонимы ns1, chat, flow, recipes, www
теперь перенаправляют на основной домен — вход один.
КАК: через API Authentik созданы 9 провайдеров и приложений, для каждой
службы запущен oauth2-proxy на своём порту (9101-9110), домены на VPS и
дома переключены на них.
ОСТАЛИСЬ БЕЗ ВХОДА 4 — осознанно, не забыты:
* matrix — клиенты Element ходят в API напрямую, прокси сломает вход;
* sync — Syncthing синхронизирует устройства по тому же порту;
* immich — мобильное приложение работает через API;
* pve — доступ к гипервизору, риск потерять управление.
Плюс сам authentik/admin, headscale, turn, call — служебные.
Для immich и gitea правильный путь — OIDC внутри службы (задача 4.1.4).
МОИ ОШИБКИ:
1. список служб с пробелами разбился на части -> мусорные провайдеры
«(Duplicati)», «(Uptime», «страница» и т.п.; убрал через API;
2. забыл apparmor=unconfined -> Gitea и OpenClaw не стартовали;
3. n8n слушает 5680, а я и старый прокси указывали 5678 -> n8n
показывался «не отвечает», хотя был жив; исправил везде;
4. у n8n приложение в Authentik называется n8n-proxy, а не n8n.
ПРОВЕРЕНО: 25 доменов снаружи и дома редиректят на authentik; Element за
входом безопасен (._matrix он не проксирует); наблюдение 58 проверок без
провалов; метрики 36 служб — 0 проблем.
|
||
|
|
9bd439f794 |
Matrix: разобрано зависание при отправке контента; BBR и настройка TCP
Симптом: при отправке контента зависание, потом обрыв. ЧТО ВЫЯСНЕНО: 1. Дело НЕ в звонках: в журналах ОБОИХ LiveKit (VPS и домашнего) ни одной комнаты — звонки к медиасерверам не подключались. 2. Загрузка работает, но путь медленный: напрямую в дом 5 МБ за 0,001 с, через публичный адрес — за 5,6 с, с скачками до 31 с и зависаниями на 120 с. 3. ПРИЧИНА: канал VPS <-> дом. Задержка 236-312 мс (до Matrix-контейнера до 539), потери 5%. При такой задержке TCP не разгоняется, клиент решает, что соединение мертво, и обрывает. Интернет дома в порядке (11 МБ/с). 4. ВАЖНОЕ: у владельца старый клиент — Element Classic 1.6.66 (Samsung S25). В журнале Synapse его запрос закрыт кодом 499 (клиент сам оборвал, не дождавшись). Element X переживает медленный канал лучше. СДЕЛАНО: BBR на обоих концах; TCP настроен под потери (подбор MTU, отключён сброс окна после простоя, буферы 32 МБ); nginx на VPS не буферизует тело запроса для Matrix, таймауты 300 с; лимит загрузки в Synapse поднят с 50 до 200 МБ. МОЯ ОШИБКА: поднял MTU туннеля с 1280 до 1400 — все загрузки перестали проходить (5 из 5 по 90 с), Element перестал отвечать. Проверка показала 33% потерь. Вернул 1280, всё заработало. Урок: MTU менять только с проверкой проходимости и немедленным откатом. РЕКОМЕНДАЦИЯ ВЛАДЕЛЬЦУ: обновить клиент на Element X — это самая вероятная причина обрыва. Если не поможет, менять транспорт VPS<->дом на Hysteria2 (задача 3.5). |
||
|
|
0b6943834c |
Роль VPS определена: единый внешний вход, а не кэш и не резерв
Задача 2.6. По факту VPS делает пять вещей:
* ВНЕШНИЙ ВХОД: nginx принимает запросы из интернета и ведёт в дом
через туннель — 40 доменов;
* VPN: все четыре канала (TLS, Hysteria2, XHTTP, Reality);
* ЗВОНКИ: LiveKit и TURN;
* КООРДИНАЦИЯ: headscale (домашний убран как пустой);
* КЭШ статики страницы входа.
Дополнительно: MTG (Telegram-прокси), danted (SOCKS), fail2ban.
ГЛАВНЫЙ ВЫВОД: VPS — НЕ кэш и НЕ резерв, а ЕДИНАЯ ТОЧКА ОТКАЗА. Если он
недоступен: снаружи не открывается ни один домен, VPN не работает,
звонки не работают, новая техника не подключится. Внутри дома по
локальной сети всё продолжит работать.
СЛЕДСТВИЯ ДЛЯ ПЛАНОВ:
* VPN-4.6 (второй VPS) становится приоритетным: вся семья висит на
одной машине, автопереключение каналов не спасает — все четыре
канала на том же сервере;
* мониторинг VPS нужен отдельный: если он упадёт, домашнее наблюдение
об этом не узнает (оно за ним же и ходит);
* полный образ VPS стоит держать в копиях, а не только конфигурацию.
РЕСУРСЫ: 1 ядро, 1962 МБ (свободно 1294), диск 30 ГБ занят на 53%,
нагрузка 0.12. Запаса хватает, но второе ядро пригодилось бы.
|
||
|
|
35f313c636 |
Резервные копии проверены: работают лучше, чем казалось. Моя ошибка исправлена
ЧТО Я ПОДУМАЛ СНАЧАЛА: посмотрел каталог /root/db-backups в CT 151,
увидел три файла от 11 сентября и заключил «автоматического
резервирования PostgreSQL нет».
ЭТО БЫЛО НЕВЕРНО. Настоящее резервирование лежит в /mnt/backups и
работает ежедневно в 02:00: pg_dumpall всех баз (39-40), 33 МБ, ротация
14 дней, уведомление в Kuma при успехе и провале.
БОЛЕЕ ТОГО, КОПИИ ПРОВЕРЯЮТСЯ: ежедневно в 06:00 архив
ВОССТАНАВЛИВАЕТСЯ в отдельную базу и данные СВЕРЯЮТСЯ. Журнал за
сегодня: баз восстановилось 40; сверено — vaultwarden (2 пользователя,
12 паролей), matrix (21 пользователь, 45 комнат), authentik (10
пользователей), gitea (5 репозиториев), n8n (7 процессов). Всё ✅.
Это правильный уровень проверки: не «файл есть», а «данные внутри».
ТАКЖЕ КОПИИ КОНТЕЙНЕРОВ: ежедневно 104, 108, 110, 115, 140, 155;
раз в 2 дня 109, 131, 114; еженедельно 105, 113, 139, 201. 22 архива,
ротация настроена.
ЧТО СТОИТ УЛУЧШИТЬ: копии только на этом же сервере (/mnt/backups —
локальный диск). Нужна вторая точка — это задача 4.4.3, требует
облачного аккаунта. И сверка покрывает 7 баз из 40 — можно расширить.
УРОК: прежде чем говорить «не настроено», найти сам скрипт и его журнал,
а не первый попавшийся каталог.
|
||
|
|
e057242f78 |
Убраны две неиспользуемые службы: домашний headscale и NPM
HEADSCALE В ДОМЕ (CT 201): узлов НОЛЬ, только тянул DERP-карту. Реальная координация на VPS — там зарегистрированы vps, pve, s25-ultra, ct155. Служба остановлена, автозапуск отключён. Домен headscale.buryans.ru переведён с домашнего пустого сервера на рабочий на VPS (404 на корень — норма для 0.22.3, веб-интерфейса нет). NPM (CT 101): 5 прокси-хостов, все с тестовыми/локальными именами (test.yourdomain, npm-test.local, portal.local...), НОЛЬ запросов за сутки. Настоящие домены давно обслуживает nginx на самом хосте (41 домен). Контейнер остановлен, автозапуск отключён; в CT 101 остался только сборщик журналов. ЧТО ЭТО ДАЛО: меньше служб для обновления и охраны, ~150 МБ памяти свободнее, домен headscale ведёт на рабочий сервер. Данные и конфигурации не удалялись — откат одной командой. Проверено: 11 доменов отвечают, наблюдение без провалов. |
||
|
|
072591373b |
Общие базы: инвентаризация и перевод Paperless на общий PostgreSQL
Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL (authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud, vaultwarden, grafana, firefly, mealie, headscale). ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён копией, создана база paperless_main на общем сервере, приложение создало структуру (75 таблиц), работает. Было безопасно: документов ноль — переносить данные не требовалось. ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос требует работы с данными: * uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL; * navidrome — есть плейлисты и история прослушиваний; * linkding — закладки. Переносить их «на живую» без проверки опасно: можно потерять данные. Записано задачами 5.5 и 5.13 с планом. ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то том», единые права, возможность поднять службу на другом узле. |
||
|
|
145f251141 |
Централизованный вход: 15 доменов через Authentik, один аккаунт
По решению владельца: «вход нужен централизованный, чтобы всё работало с одного аккаунта из Authentik». ПОД ВХОДОМ ТЕПЕРЬ: sonarr, radarr, prowlarr, bazarr, ombi, plex, media (Jellyfin), vault (Vaultwarden), books (Calibre), news (FreshRSS), docs и files (Paperless), music (Navidrome), links, hub (Dashy). Снаружи все сначала ведут на вход Authentik, потом в службу. Дома так же. ЧТО БЫЛО НЕ ТАК: у каждого прокси были прописаны ВНУТРЕННИЕ адреса (REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL= http://192.168.1.114:9000/...). Снаружи браузер перенаправлялся на недоступный из интернета адрес, вход не мог завершиться. Поэтому службы пускали напрямую. ИЗМЕНЕНО В ТРЁХ МЕСТАХ на каждую службу: в Authentik разрешён внешний адрес возврата; у прокси переведены REDIRECT_URL и OIDC_ISSUER_URL на https, включён режим за обратным прокси, cookie secure; на VPS домен направлен на порт прокси. МОИ ОШИБКИ В ЗАДАЧЕ (записаны в документ): * взял адрес по номеру контейнера — книги и новости ушли на старый .111 (у CT 111 теперь .240) -> 502, поймал проверкой; * направил Paperless на экземпляр, который сам же отключил часом раньше -> перевёл на рабочий CT 105; * cookie-секрет взял из клиентского (128 байт вместо 32) -> прокси перезапускался, сгенерировал правильные; * забыл DNS у прокси в CT 102 -> не мог разрезолвить authentik. ПРОВЕРЕНО: все 15 доменов снаружи редиректят на https://authentik, authorize принимается (страница входа отдаётся без ошибок), дома тоже через вход, службы живы напрямую, наблюдение 59 проверок без провалов. Внутренние адреса возврата сохранены — прямой доступ по IP:порт внутри дома продолжит работать. Plex остался со своим аккаунтом (у него своя авторизация), но домен уже за входом. |
||
|
|
5efa9dbbb6 |
Аудит единого входа: снаружи его нет; базы медиаслужб в порядке, диски разгружены
4.1.1 АУДИТ «ОДНА ДВЕРЬ». Есть 13 прокси входа (oauth2-proxy): Plex, Paperless, Calibre, Dashy, Tautulli, Overseerr, Bazarr, Prowlarr, Radarr, Sonarr, Vaultwarden, FreshRSS, Jellyfin. Дома часть доменов через них ходит. НА VPS — НИ ОДИН: все домены снаружи идут напрямую в службу, минуя вход. ПРИЧИНА: у прокси прописаны ВНУТРЕННИЕ адреса (REDIRECT_URL=http://192.168.1.117:9989/..., OIDC_ISSUER_URL= http://192.168.1.114:9000/...). Снаружи браузер перенаправляется на внутренний адрес, недоступный из интернета, — вход не может завершиться. Похоже, обходной путь был такой: снаружи пустить напрямую. ВАЖНО: это НЕ дыра. У Sonarr/Radarr/Prowlarr свои пароли, у Plex свой аккаунт, у Vaultwarden свой мастер-пароль. Это отсутствие единого входа, риск умеренный, срочности нет. НЕ СДЕЛАНО СЕЙЧАС ОСОЗНАННО: изменение доступа сразу к 13 службам; ошибка означает, что вход перестанет работать у всех, а владелец сейчас не может проверить. Заведено задачей 4.1.3, начинать с одного домена. 5.6 ЗАПИСЬ В БАЗЫ МЕДИАСЛУЖБ: Sonarr 17 МБ, Radarr 12 МБ, Prowlarr 9 МБ, Bazarr 9 МБ — 0 ошибок записи в журналах, службы отвечают. ПОПУТНО: диски CT 117-119 были заполнены на 79-80% (меньше 1 ГБ свободно). Освобождено безопасно: неиспользуемые образы Docker (214+227+ 202 МБ). Стало 69-70%, свободно по 1,2 ГБ. Службы проверены — 200. Диски по 3,9 ГБ всё равно малы: предложено увеличить до 8 ГБ отдельной операцией. |
||
|
|
9fe6ec9cc0 |
Уборка после Paperless: убрана ложная тревога, реестр 50 -> 47
После отключения второго экземпляра наблюдение начало ругаться «Paperless (офис): не отвечает» — проверка смотрела на намеренно отключённую службу. Ложная тревога хуже отсутствия проверки: она приучает не верить тревогам. СДЕЛАНО: удалена проверка «Paperless (офис)»; из реестра обновлений убраны три службы отключённого экземпляра (paperless_web, paperless_worker, paperless_redis_office); метрики пересобраны. ПРОВЕРЕНО: наблюдение 59 проверок без провалов (было 60 с провалом), реестр 50 -> 47, метрики 37 служб — все отвечают. ПРАВИЛО: когда служба отключается намеренно, её надо убирать из наблюдения и реестра в том же действии — иначе через час приходит тревога, и никто не помнит, что так задумано. |
||
|
|
998f2b8991 |
Paperless: два экземпляра сведены к одному; оба оказались пустыми
Задача 5.3. Факты: домены docs и files ведут в CT 105 (SQLite). В CT 110 был параллельный экземпляр на PostgreSQL, домены туда не ведут. ГЛАВНОЕ ОТКРЫТИЕ: в ОБОИХ экземплярах 0 документов и по 16 КБ в папке файлов. То есть Paperless никто не использовал. Это меняет суть задачи: «два экземпляра» — не проблема выбора, а проблема того, что служба не прижилась. Данных для переноса нет вообще. СДЕЛАНО: оставлен CT 105 (туда ведут домены); второй остановлен, автозапуск отключён (restart: no), чтобы не поднялся после перезагрузки. ДАННЫЕ НЕ УДАЛЕНЫ: контейнеры остановлены, база на месте, снята копия /root/paperless_db_before_off.sql (2,8 МБ, 74 таблицы), compose сохранён. ПРОВЕРЕНО: рабочий экземпляр healthy, docs и files отвечают 302. ВОПРОС К ВЛАДЕЛЬЦУ: раз документов нет — нужен ли Paperless вообще, или его надо настроить под удобный сценарий (сканирование с телефона, почта, автозагрузка). |
||
|
|
077c5325ac |
Звонки: исправлены ICE-адреса, добавлен TURN — почему было «не с первого раза»
Владелец провёл вызов: контент не отправлялся, соединение не с первого раза. Нашёл три причины. 1. LIVeKIT ОБЪЯВЛЯЛ ПЯТЬ АДРЕСОВ вместо одного: публичный, IPv6, два docker-адреса и Tailscale. Так работает use_external_ip: true — он собирает ВСЕ адреса машины. Клиент пробует их по очереди, недоступные ждут таймаут, только потом доходит до рабочего. Отсюда задержка; отправка контента страдала по той же причине (данные идут отдельным каналом через тот же ICE). ИСПРАВЛЕНО: rtc.node_ip = 193.233.210.184, use_external_ip = false. Теперь в журнале «using explicit node IP for NAT1To1Ips» — один адрес. 2. НЕ БЫЛО TURN. Прямое UDP-соединение блокируется строгим NAT мобильных операторов, тогда соединение устанавливается со второй-третьей попытки. Добавлен TURN (UDP 3479, TLS 5350 — 3478 занят headscale), открыт диапазон ретрансляции 30000-40000. Проверено снаружи: STUN-запрос на UDP 3479 получает ответ 40 байт. 3. ЛОЖНАЯ ТРЕВОГА «unhealthy» у службы токенов: 287 провалов проверки подряд. Её healthcheck стучится на публичный адрес изнутри VPS — петля не работает, отсюда таймауты. Сама служба отвечает за 0,0003 с. Проверка отключена. ПОРТЫ ДЛЯ ЗВОНОК: 443 (сигнализация), 7881/tcp (медиа по TCP), 50000-50100/udp (медиа напрямую), 3479/udp и 5350/tcp (TURN), 30000-40000/udp (ретрансляция). ОСТАЛОСЬ: проверить звонком (задача 3.1.4). |
||
|
|
8873c081a2 |
Dashy: стартовая страница со всеми службами (34 в 9 разделах)
Задача 5.8. Было около 20 служб из 50 и неверные адреса: Nextcloud указан на .105 (он на .109), Syncthing на .110 (он на .139). СДЕЛАНО: страница собирается СКРИПТОМ из реестра служб (ops/dashy/build-dashy.py), а не руками — иначе снова разойдётся. 34 службы в 9 разделах: доступ, дом, медиа, файлы, связь, чтение и быт, автоматизация, наблюдение, инструменты. Адреса — домены https://<имя>.buryans.ru: дома открываются за 10 мс через AdGuard, снаружи работают через VPS. Одна ссылка годится везде. ЧТО ОКАЗАЛОСЬ НЕ ТАК: Dashy читает /app/user-data/conf.yml, и он ПЕРЕКРЫВАЕТ /app/public/conf.yml. Мой конфиг был смонтирован в public и игнорировался — страница отдавала дефолт «Welcome to your new dashboard!» (1735 байт). Теперь конфиг смонтирован в ОБА места, постоянно (переживёт пересоздание контейнера). ПРОВЕРЕНО: отдаётся мой конфиг (5661 байт вместо 1735), 34 службы, hub.buryans.ru отвечает 200, ссылки проверены. Заодно поймал две свои ошибки: неверное сравнение строки при правке монтирования (в compose путь был './config.yml', а я искал абсолютный) и лишний отступ в YAML (8 пробелов вместо 6) — из-за него compose молча игнорировал монтирование. |
||
|
|
9546110d97 |
VPN-4.7: автопереключение каналов на шлюзе проверено отказом
На телефонах это было проверено, на шлюзе — нет. Шлюз важнее: через него ходит вся семья. СДЕЛАНО: * включён API управления шлюзом (clash_api на 127.0.0.1:9090, только локально) — без него не видно, какой канал выбран; * замер: группа auto, ch-tls 274 мс (выбран), ch-hysteria2 348 мс, ch-reality 842 мс; * РЕАЛЬНЫЙ тест отказа: заблокирован порт выбранного канала (TCP 10443) на VPS, с автоматическим снятием блокировки в конце (ловушка). РЕЗУЛЬТАТ: переключился на ch-hysteria2 за ~60 секунд, вернулся на ch-tls за ~40 секунд после снятия блокировки. Прокси всё время отвечал 200. Интервал проверки 1 минута — реакция укладывается в минуту. ПОПУТНО: в CT 161 нет curl. Мои первые проверки давали пустой ответ, и я сначала решил, что прокси не работает. Прокси работал: проверять надо было снаружи или через python. Урок: пустой ответ — это не «сломалось», а возможно «команды нет». |
||
|
|
fcdf1b84ca |
Authentik 2026.8.4: обновление завершено, база переведена в UTF8
Доведено до последней версии: 2025.4 (апрель 2025) -> 2026.8.4.
18 месяцев обновлений.
ИТОГ: пользователей 10, приложений 23, провайдеров 24, групп 19,
миграций 556 -> 777, кодировка UTF8. Все 27 доменов отвечают,
наблюдение 60 проверок без провалов, перезапусков 0.
БЛОКЕРОМ БЫЛА КОДИРОВКА SQL_ASCII: 2026.8 требует UTF8 и висел на
«waiting to acquire database lock» — не падал, а замирал.
КАК ПЕРЕВОДИЛИ (безопасно, без риска для данных):
1. дамп с --encoding=UTF8 (конвертация на выгрузке);
2. ТЕСТОВАЯ база authentik_utf8_test с ENCODING UTF8 TEMPLATE template0;
3. заливка дампа в неё;
4. сравнение: 215 таблиц против 215, пользователи 10/10, группы 18/18,
приложения 23/23, провайдеры 24/24, миграции 718/718;
5. контрольная сумма данных пользователей (md5 склейки
username/name/email) — совпала полностью;
6. проверено наличие не-ASCII текста: 0 значений в ключевых колонках —
риск порчи текста нулевой;
7. только потом переключение: старая база -> authentik_db_ascii_backup,
тестовая -> рабочая. Это переименование, а не копирование:
мгновенно и обратимо.
После этого 2026.8.4 поднялся с первого запуска за 60 секунд.
ОСТАЛОСЬ НА ДИСКЕ: база ascii_backup, дампы до каждого шага, версия
закреплена по digest.
|
||
|
|
7d557de8e4 |
Element Call поднят на VPS: LiveKit + токены + объявление в Matrix
Владелец создал A-запись call.buryans.ru на Beget. Остальное сделано.
РАЗВЁРНУТО НА VPS:
* LiveKit (медиасервер) — порт 7880;
* lk-jwt-service — выдаёт токены пользователям Matrix (без него
Element Call не работает: LiveKit не понимает Matrix-токены);
* nginx: wss://call.buryans.ru -> LiveKit, /sfu/ -> служба токенов;
* сертификат Let's Encrypt (доверенный), до 16.01.2027;
* firewall: UDP 50000-50100 и TCP 7881 для медиа, с сохранением.
БЕЗОПАСНОСТЬ: сгенерирован НОВЫЙ случайный ключ LiveKit. В доме до сих
пор стоял демонстрационный devkey/secret123 — с ним любой мог
подключиться к серверу.
ОБЪЯВЛЕНО В MATRIX: в .well-known/matrix/client добавлен
org.matrix.msc4143.rtc_foci с адресом службы токенов. Ответ отдаёт nginx
на VPS и на домашнем хосте, чтобы в одном JSON были и домашний сервер, и
транспорт звонков. В Element Web включены флаги видеокомнат.
ПРОВЕРЕНО: https://call.buryans.ru/ -> 200 (LiveKit отвечает),
POST /sfu/get -> 400 «Missing room parameter» (служба жива и требует
параметры), .well-known содержит транспорт снаружи и дома.
ОСТАЛОСЬ: реальный звонок — нужны два устройства с входом в Matrix.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны в документ):
* сертификат сначала выпустился от staging (недоверенный) —
перевыпустил на продакшене;
* на VPS нет плагина docker compose — потратил шаг на выяснение,
запустил через docker run;
* разбор ключа из YAML через tr склеил ключ и секрет — перечитал
через Python;
* proxy_pass с завершающим слэшем срезал /sfu -> 404 — убрал слэш;
* забыл LIVEKIT_FULL_ACCESS_HOMESERVERS — служба токенов
перезапускалась.
|
||
|
|
6a9ac94e01 |
Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
|
||
|
|
7ec318616d |
Authentik: 2025.4 -> 2026.5.7 (13 месяцев обновлений), найден блокер 2026.8
Ступенчатый подход сработал: 2025.12.6 — прошло 2026.2.7 — прошло 2026.5.7 — прошло 2026.8.4 — зависает ИТОГО: апрель 2025 -> май 2026. Данные целы: 10 пользователей, 23 приложения, 24 OAuth2-провайдера, 718 миграций. Все 26 доменов отвечают, наблюдение 60 проверок без провалов, состояние стабильно. ПОЧЕМУ СТУПЕНИ ПОМОГЛИ: прямой прыжок 2025.12.6 -> 2026.8.4 виснет, а промежуточные версии встали с первого запуска. Значит проблема не в ресурсах и не в правах, а в конкретном переходе. ПРИЧИНА ЗАВИСАНИЯ 2026.8 — КОДИРОВКА БАЗЫ. Authentik предупреждает: «PostgreSQL Server encoding is not UTF8: SQL_ASCII». Проверено: рабочая база authentik_db — SQL_ASCII, а 25 других баз сервера — UTF8. Там же лежат базы *_pre_utf8_20261014_* — следы НЕЗАВЕРШЁННОГО перевода в UTF8, сделанного 14 октября. 2026.8 требует UTF8 и виснет на преобразовании. СЛЕДУЮЩИЙ ШАГ (задача 1.20): перевести authentik_db в UTF8 отдельной операцией — дамп с --encoding=UTF8, новая база с TEMPLATE template0, заливка, проверка кириллицы и счётчиков, переключение приложения. И только потом 2026.8.4. Не смешивал с обновлением версии: это уже миграция данных, а смешивать два риска в одной операции нельзя. НАДЁЖНОСТЬ: версия закреплена по digest; перед каждым шагом снимался дамп; порядок откката отработан и проверен (версия + база, с проверкой схемы); память CT 114 — 4096 МБ. |
||
|
|
baf6e183dc |
Element Call на VPS: оценка — всё готово, кроме DNS-записи
Владелец: «может, вынесем звонки на VPS? Порты проброшены, роутер открыт». ОТВЕТ: да, VPS — правильное место. Ресурсов хватает: 1 ядро, свободно 1286 МБ памяти (нужно ~300), 14 ГБ диска. Свободны порты 7880/7881 и UDP 50000-60000; 443 занят nginx, 8443 и 3478 — headscale, 10443 — hysteria. ЕДИНСТВЕННОЕ, ЧТО МЕШАЕТ: нет DNS-записи. Проверено — call.buryans.ru и livekit.buryans.ru не резолвятся, wildcard-записи тоже нет. Нужна A-запись call.buryans.ru -> 193.233.210.184 у регистратора. Это единственное действие, которое я сделать не могу. ПОСЛЕ ЭТОГО СДЕЛАЮ ЦЕЛИКОМ: сертификат (HTTP-01 через существующий nginx), LiveKit на VPS, lk-jwt-service (выдаёт токены для Matrix — без него Element Call не работает), новый ключ вместо демонстрационного devkey/secret123, открытие портов (политика INPUT — DROP, каждый порт явно), прописывание транспорта в .well-known, включение Element Call в Element Web, проверка выдачи токена и соединения. ДОМАШНИЙ LiveKit после этого можно выключить — освободит память в CT 155. Home coturn останется как резерв. |
||
|
|
f2e0c7ade7 |
Authentik обновлён: 2025.4 -> 2025.12.6 (18 месяцев обновлений)
Окно проведено по решению владельца. ИТОГ: обновление ВЫПОЛНЕНО.
БЫЛО: образ от 8 апреля 2025 (2025.4), 18 месяцев без обновлений —
:Docker-тег latest не существует, поэтому pull всегда падал, а скрипт
обновления молча объявлял успех.
СТАЛО: 2025.12.6, последняя версия 2025 года.
ДАННЫЕ ЦЕЛЫ: 10 пользователей, 23 приложения, 24 OAuth2-провайдера.
Все 28 доменов отвечают, наблюдение 60 проверок без провалов, состояние
стабильно через 2 и 4 минуты.
ТРИ ПРЕПЯТСТВИЯ, КОТОРЫЕ ПРИШЛОСЬ СНЯТЬ:
1. ПРАВА НА ТАБЛИЦЫ: таблицы базы принадлежат роли authentik, а
приложение ходит как authentik_user; миграции меняют структуру и
требовали прав владельца. Выдано членство роли.
2. ПОРЯДОК ВЕРСИЙ: Authentik запрещает прыгать через мажор
(«Major version skips are not allowed»). Обязательный порядок:
2025.4 -> 2025.12.6 -> 2026.8.4.
3. ПАМЯТЬ: при 2048 МБ миграция стояла на «waiting to acquire database
lock». После подъёма до 4096 МБ обновление прошло с первого запуска.
ОСТАЛОСЬ: 2026.8.4 снова зависает на блокировке даже при 4 ГБ. Откат на
2025.12.6 работает штатно. Нужно отдельное окно и разбор конкретной
миграции. Не срочно: 2025.12.6 — последняя версия 2025 года.
ЗАЩИТА: версия закреплена по digest (случайный pull не подсунет
нерабочую), дамп базы до окна сохранён, членство роли выдано.
МОИ ОШИБКИ В ОКНЕ (записаны в документ):
* откатил версию без отката базы -> схема новее приложения -> вход 502;
* не проверил результат восстановления (psql от postgres, файл только
для root) — приложение упало на схеме;
* снял свою же сессию восстановления, получив полусостояние.
Правило: откатывать версию и базу ВМЕСТЕ, после восстановления
проверять схему, перед завершением сессии смотреть, чей это запрос.
|
||
|
|
a04259fcc6 |
Authentik: окно проведено, три препятствия найдены, служба восстановлена
Владелец: «окно для Authentik делаем, это важно». Проведено.
ИТОГ: служба работает, обновление не выполнено — найдены три
конкретные препятствия, два сняты.
1. ПРАВА НА ТАБЛИЦЫ (снято). Миграции падали:
«must be owner of table authentik_brands_brand». Таблицы базы
authentik_db принадлежат роли authentik, а приложение ходит как
authentik_user. Старая версия структуру не меняла, поэтому проблема
была невидима годами. Выдано членство роли — обратимо.
2. ПОРЯДОК ВЕРСИЙ (учтено). «Major version skips are not allowed:
from 2025.12.6 to 2026.8.4». Прыгать через мажор нельзя, порядок
обязателен: 2025.4 -> 2025.12.6 -> 2026.8.4.
3. МИГРАЦИЯ ЗАВИСАЕТ (не снято). После исправления прав 2025.12.6
встала на «waiting to acquire database lock» на 20+ минут. Проверено
и исключено: подготовленных транзакций нет, блокировок нет, зависших
сессий нет, права выданы. Остаётся память: CT 114 имеет 2048 МБ, а у
Authentik 2025.12 требования выше. Следующий шаг — поднять до 4 ГБ.
МОИ ОШИБКИ ПРИ ОТКАТЕ (записаны в документ):
* откат версии приложения без отката базы оставил схему новее
приложения -> вход отдавал 502 (session_key vs session_id);
* восстановление из дампа не сработало молча: psql шёл от postgres, а
файл был доступен только root; я не проверил результат;
* завершая «зависшие» сессии, снял ту, которая была самим
восстановлением.
ВОССТАНОВЛЕНО: база пересоздана и залита из дампа, снятого до окна.
Проверено: 165 таблиц, 10 пользователей, 23 приложения, 556 миграций,
колонка session_key на месте, страница входа 200, все домены отвечают,
наблюдение 60 проверок без провалов.
Дампы сохранены: рабочий и «сломанный». Версия приложения закреплена по
digest, чтобы случайный pull не подсунет нерабочую.
|
||
|
|
9515ca5f9b |
openclaw: один экземпляр, версия закреплена, домен исправлен
Задача владельца: если экземпляров два — сделать один, самый свежий. БЫЛО: рабочий openclaw-old (44 ч) и падавший новый; в compose НЕ БЫЛО монтирования данных, поэтому любой новый контейнер стартовал без состояния и падал. СДЕЛАНО: добавлено монтирование /opt/openclaw -> /home/node/.openclaw, старый контейнер удалён, поднят ОДИН контейнер с именем openclaw. ПОЧЕМУ НЕ НА СВЕЖЕЙ ВЕРСИИ: свежий образ при запуске с существующим состоянием перезапускается по кругу — 21 перезапуск за 6 минут, код выхода 0. В журнале прямо указано, чего не хватает: «Fix: set commands.ownerAllowFrom to your channel user id» Новая версия изменила требования к конфигурации. Это не поломка, а необходимая миграция настроек, и делать её вслепую на живой службе нельзя. Поэтому: экземпляр один и работает, версия ЗАКРЕПЛЕНА по digest в compose (случайный pull не подсунет нерабочую версию), обновление вынесено в задачу 5.9. ПОПУТНО: домен openclaw.buryans.ru проксировал на порт 8080, а служба слушает 18789 — снаружи и дома был 404. Исправлено в двух местах (VPS и хост PVE), теперь 200. Наблюдение: 60 проверок без провалов. |
||
|
|
bdf9ff55a1 |
CT 111: адрес сменён на 192.168.1.240, интернет заработал
По решению владельца: политики на роутере нет, меняем адрес. БЫЛО: из CT 111 не было выхода в интернет — шлюз не отвечал, при этом все остальные хосты локальной сети были доступны. Перед этим исключил маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox (отключён), цепочки Tailscale и второй адрес на том же интерфейсе. СТАЛО: 192.168.1.111 -> 192.168.1.240 (в стороне от DHCP-диапазона: .112, .124, .128 оказались заняты устройствами). Шлюз доступен, example.com отвечает 200, службы поднялись. ВМЕСТЕ С АДРЕСОМ поправлены ссылки: настройки контейнера, внешний nginx на VPS (3), домашний nginx (3), наблюдение (3), реестр обновлений (3), карта доменов (3). ОТКРЫТИЕ: домашние домены проксирует nginx НА ХОСТЕ PVE (/etc/nginx/conf.d/buryans-all.conf, 41 домен), а не NPM в CT 101. Значит при любой смене адреса искать ссылки надо в двух местах — на VPS и на хосте. Записано в документ. Проверено: книги/новости/rss работают дома и снаружи (302), наблюдение 60 проверок без провалов. |
||
|
|
739d61869b |
Пул освобождён на 35 ГБ (TRIM), добавлено зеркало образов, найден CT 111
без интернета ГЛАВНОЕ ОТКРЫТИЕ: тонкий пул был заполнен на 80,5%, снимки не создавались, обновления стояли. Оказалось — место не «занято данными», а ЗАВИСЛО: LVM не знает об удалённых внутри контейнеров файлах, пока ей не передадут TRIM. После pct fstrim по всем контейнерам: пул 80,47% -> 70,29%, около 35 ГБ освободилось. Где висело больше всего: CT 113 — 93,3 ГБ, CT 155 — 43 ГБ, CT 105 — 13,7 ГБ, CT 115 — 11,7 ГБ (тот самый openclaw). Поставлен в расписание: еженедельно, /etc/cron.d/buryan-trim. Без этого пул снова забьётся невидимым мусором. ЗЕРКАЛО РЕЕСТРА: скачивание образов из дома нестабильно (Docker Hub то отвечает, то висит по таймауту). Во все 26 контейнеров добавлено зеркало mirror.gcr.io (официальное зеркало Docker Hub). Docker сначала пробует основной реестр, зеркало — только при недоступности. CT 108 заработал. ЦЕНА МОЕЙ ОШИБКИ В ДИАГНОСТИКЕ: я решил, что адреса 100.51.15.102 и 100.60.105.131 — это Tailscale. Проверил через 1.1.1.1 — те же адреса, это собственный CDN Docker Hub. Догадку отбросил, причину нашёл дальше. CT 111 БЕЗ ИНТЕРНЕТА. Из контейнера доступны все хосты локальной сети, кроме шлюза 192.168.1.1. Проверено и исключено: маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox (отключён), цепочки Tailscale (мостовой трафик минует iptables), второй адрес на том же интерфейсе (тоже нет связи) — значит дело не в адресе. Вывод: блокирует роутер, а роутер по решению владельца не трогаем. Документ с вариантами решения: docs/CT111-NO-INTERNET.md |
||
|
|
e4739b0e12 |
Карта хозяйства: собрана из живых данных (4.6.1)
Задача 4.6.1 «карта хозяйства». Обычно такую карту ведут руками, и она устаревает через неделю. Здесь она СОБИРАЕТСЯ из того, что реально работает, скриптом ops/inventory/build-map.py: * pct list — контейнеры Proxmox (30, запущено 29); * docker ps — контейнеры внутри (97); * services.yaml — реестр обновлений (50 служб, роли и критичность); * конфигурация VPS и AdGuard — домены (40). В документе: сводка, таблица контейнеров с памятью и ядрами, разбивка «что где работает» по каждому CT с образами, проектами compose и портами, список доменов, и честный раздел «что не покрыто» (promtail, oauth2-proxy, службы без compose). Пересобрать в любой момент: python3 ops/inventory/build-map.py |
||
|
|
7347cf476a |
Автоматика: профиль безопасности в одном месте, уборка по расписанию,
проверка входа (1.2, 1.7, 4.3.3) 1.2 ПРОФИЛЬ БЕЗОПАСНОСТИ. apparmor=unconfined — ослабление изоляции, нужное только там, где LXC мешает Docker. Такие места легко забыть: после обновления стека служба просто не поднимается. Сделан ops/security/apparmor-manage.sh — единственный источник правды: измеряет, кому обход нужен, показывает где прописан, правит только по флагу --apply. ИЗМЕРЕНО (26 контейнеров с Docker): обход нужен только CT 115 и CT 140, и в обоих уже прописан. Остальным 24 не нужен. МОЯ ОШИБКА: первая версия проверки запускала docker run hello-world. Если образа нет локально, Docker идёт в реестр и падает с TLS handshake timeout — это НЕ про AppArmor. Получил ложное срабатывание на CT 108. Исправлено: беру локальный образ, считаю «нужен обход» только если в ошибке есть apparmor. 1.7 УБОРКА ОСТАТКОВ. cleanup-leftovers.sh раз в неделю убирает контейнеры с -old- в имени, которые остановлены или крутятся в петле, плюс висячие образы. Работающие не трогает: в CT 115 openclaw-old — действующий экземпляр. Первый прогон освободил несколько ГБ. Расписание: /etc/cron.d/buryan-cleanup. 4.3.3 ПРОВЕРКА ВХОДА. Добавлена check_login(): служба может отвечать 302 на корень и не отдавать страницу входа — человек видит пустоту, а наблюдение молчит. Проверяет код 200 после переходов, непустое тело и признаки страницы Authentik. Наблюдение: 59 -> 60 проверок, все проходят. |
||
|
|
ea3e9f88e2 |
Домены: проверены все 40, исправлены news и rss (502 -> 302)
ЗАДАЧА 2.4. Проверил КАЖДЫЙ домен измерением, а не на глаз: * что отдаёт домашний DNS (должен быть 192.168.1.10); * отвечает ли домашний nginx; * отвечает ли VPS; * отвечает ли САМ адрес службы, на который указывает proxy_pass. Последняя проверка оказалась самой полезной — нашла опечатку, которую не видно ни из браузера, ни из логов. РЕЗУЛЬТАТ: доменов в DNS: 40, нет ни одного потерянного; дома открываются: 37 из 40; адресов служб на VPS проверено: 40, с ошибкой: 2. ЧТО БЫЛО СЛОМАНО: news и rss на VPS указывали на порт 8080, а freshrss слушает 8090. Следствие: снаружи оба домена отдавали 502. Дома работало, потому что домашний nginx настроен верно — то есть проблема была только у внешнего доступа и легко было её не заметить. Исправлено, проверено снаружи и дома: оба 302. ОСТАЛОСЬ: turn (не HTTP — так и надо), openclaw (служба снята, ждёт решения), headscale (404 на / — проверить отдельно). СКОРОСТЬ: дома 0,004-0,008 с против 0,6-0,8 с через VPS — в 100-150 раз быстрее, потому что запрос не выходит за пределы локальной сети. ЗАДАЧА 2.5 (один сертификат) ОТЛОЖЕНА ОСОЗНАННО: сейчас 40 отдельных сертификатов работают и обновляются. Wildcard требует DNS-01, доступа к API провайдера и настройки автообновления; ошибка в этом означает потерю HTTPS сразу для ВСЕХ доменов. Делать в спокойное окно, с проверкой на одном домене. |
||
|
|
771fac4b55 | Реестр: обновления 1.3-1.5, postgres не трогаем по решению владельца | ||
|
|
13a42f2235 |
Спринт: обновления проверены в деле, найдён ложный успех, наблюдение 34 -> 59
ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
freshrss — обновлён (проверка цепочки)
gitea — обновлён
paperless — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
authentik — НЕВОЗМОЖНО: тега :latest нет в реестре
ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).
НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
Image ghcr.io/goauthentik/server:latest Error ... not found
🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.
ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.
ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.
НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.
СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.
МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
* мерил несуществующий домен auth.buryans.ru (правильный
authentik.buryans.ru) — время уходило на таймаут DNS;
* перепутал файл compose у n8n (двойник вместо настоящего);
* проверка дала 6 ложных тревог, считая 401 сбоем.
ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
|
||
|
|
915de56603 |
Обновления из бота: реестр расширен с 28 до 50 служб
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.
НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
nextcloud, duplicati (копии), firefly, paperless в CT 110,
nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.
ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
Правило жёсткое: адрес добавляется только если реально отвечает.
Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
ответили 401, я сначала убрал у них проверку — это было неправильно,
401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
имени службы — то есть пересоздавал весь проект вместе с соседями.
Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
по container_name. Проверено на homeassistant.
ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
служб в реестре: 50, полностью обновляемы: 49.
ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
* openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
решения владельца;
* duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
скрипт скачает образ, но пересоздать контейнер не сможет и скажет
об этом прямо, а не изобразит успех;
* mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
* 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.
МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.
РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
|
||
|
|
1ffeadfbc3 |
Реестр: сводка по разделам, которая не устаревает
Владелец прислал таблицу остальных разделов — с цифрами, которые уже
были неверны (часть задач закрыта сегодня). Сделал так, чтобы это не
повторялось.
1. ПРОВЕРЕНО ПРОГРАММНО: все темы из списка владельца в реестре есть —
ни одна не потеряна. Пункты «профиль безопасности, paperless, gitea,
authentik, postgres-rbac, уборка остатков, кэш на VPS, локальный
NGINX, AdGuard, 44 домена, сертификат, Element Call, единый вход,
права, 28 служб в наблюдение, копии наружу, карта хозяйства,
headscale, immich, uptime-kuma, dashy, grafana, две paperless» —
все на месте.
2. ДОБАВЛЕНА СВОДКА ПО РАЗДЕЛАМ в начале реестра — с фактическими
цифрами. И главное: её считает скрипт ops/registry/summary.py из
самого файла, а не человек руками. Поэтому она не может отстать:
запустил скрипт — цифры верные.
ФАКТИЧЕСКОЕ СОСТОЯНИЕ (было в таблице владельца -> стало):
Обновления: не начато 6 -> 6 (2 сделано, 8 всего)
Сеть и доступ: не начато 6 -> 5 (2 сделано: AdGuard и причина
медленного входа)
Звонки и медиа: не начато 5 -> 5
Сквозная связность: 11 -> 8 (3 частично: уведомления,
проверка «работает», копии)
Улучшение служб: не начато 10 -> 10
VPN: -> 6 (19 сделано, 4 частично)
Найденные проблемы: -> 6 (8 сделано, 3 частично)
ИТОГО по хозяйству: 88 задач, сделано 32, частично 10, осталось 46.
Цифры «уборка остатков» и «AdGuard» в присланной таблице устарели: обе
задачи закрыты сегодня.
|
||
|
|
2ee565bb33 |
Реестр: пять приоритетов наверх, двойная нумерация устранена, добавлен второй VPS
ВЛАДЕЛЕЦ ВЫБРАЛ ПЯТЬ ЗАДАЧ и попросил завести их в список. Все пять уже были в реестре, но я нашёл две проблемы, которые мешали им пользоваться. 1. ДВОЙНАЯ НУМЕРАЦИЯ. Разделы 1-5 и VPN оба использовали номера вида «1.1», «2.1», «3.1», «4.1». Из-за этого «1.1» означало одновременно «профиль безопасности» и «VPN-профиль для телефонов». Владелец уже путался на этом. Все задачи VPN-раздела получили префикс VPN-, как в аудите. Проверено: номеров без префикса в разделе не осталось (0). 2. ВТОРОЙ ШЛЮЗ — ЭТО НЕ ВТОРОЙ VPS. В реестре была только задача VPN-4.1 «Второй шлюз» — резервный шлюз В ДОМЕ. Она не решает довод владельца «вся семья висит на одной машине»: все четыре канала (TLS, Hysteria2, XHTTP, Reality) живут на ОДНОМ VPS, и если он недоступен, переключаться некуда. Добавлена отдельная задача: VPN-4.6 — второй VPS у другого провайдера. Заодно добавлена VPN-4.7: проверить автопереключение каналов НА ШЛЮЗЕ отказом канала. На телефоне это проверено, на шлюзе — нет. В начало реестра добавлен блок «БЛИЖАЙШИЕ ЗАДАЧИ» с этими пятью пунктами, их номерами в реестре и текущим состоянием, чтобы не искать по разделам. |
||
|
|
7d7412d80a |
Раздел 1: двойник compose обезврежен, openclaw разгружен, остатки убраны
Задачи 1.10, 1.11, 1.12.
1.10 ДВОЙНИК COMPOSE У n8n. Рядом с настоящим compose лежал файл
/opt/n8n/docker-compose.yml, которым никто не пользуется: у него ДРУГОЙ
путь данных (/opt/n8n/data — пустая папка) и другая сеть. Запусти его —
получился бы второй n8n с пустыми данными и без ключа шифрования:
внешне работает, а учётные данные «чужие». Файл переименован в
.orphan-20261017. Настоящий compose (/opt/automation-lxc) в порядке.
МОЯ ОШИБКА, которую это вскрыло: я сначала решил, что «compose не
описывает монтирование», и правил не тот файл. Надо было сразу спросить
контейнер, какой файл используется:
docker inspect <контейнер> --format '{{index .Config.Labels "com.docker.compose.project.config_files"}}'
1.11 OPENCLAW. Падал в петле: база состояния нечитаема, ENOSPC. Причина —
диск в CT 115 был заполнен на 100%. Мусор был НЕ там, где показывал
Docker: /var/lib/docker занимал 1.5 ГБ, а /var/lib/containerd — 21 ГБ,
из которых 12 ГБ — записанный слой самого падающего контейнера. Docker
при этом показывал «возвратно 21.7 ГБ», что вводит в заблуждение: это
его собственный нужный образ.
Сделано: состояние больного контейнера СОХРАНЕНО на хост
(/root/openclaw-broken-state-20261017_122412.tar, 1.67 МБ, база внутри —
проверено), петля остановлена, контейнер удалён. МЕСТО: было 100%, стало
55%, освободилось 11 ГБ. Живой экземпляр openclaw-old не тронут.
Осталось решить (нужно слово владельца): какой экземпляр считать рабочим
— работающий openclaw-old (переименовать) или новый из копии.
1.12 ОСТАТКИ ОТ ОБНОВЛЕНИЙ. Убрано 11 контейнеров: plex, sonarr, radarr,
prowlarr, bazarr, overseerr, tautulli, linkding, prometheus, syncthing
(Exited) и navidrome-old, который КРУТИЛСЯ В ПЕТЛЕ вхолостую.
Оставлено 3 работающих: calibre-web-old, freshrss-old, openclaw-old.
Признак «old» в имени не значит «мусор» — это действующие экземпляры.
Правило записано: удалять только Exited/Created/Restarting.
ПРОВЕРЕНО ПОСЛЕ УБОРКИ: Plex, Sonarr, Radarr, Prowlarr, Overseerr,
Navidrome, Linkding, Prometheus, Syncthing отвечают 200 (Bazarr и
Tautulli — 401, их норма без токена). Наблюдение: 34 проверки, провалов
нет.
|
||
|
|
9ebcdcf5d3 |
Раздел 1: профиль AppArmor измерен (нужен 2 из 23), плюс три находки
ЗАДАЧА 1.1. Она стояла как «применить профиль безопасности в остальных контейнерах». Вместо «на всякий случай везде» я измерил. Проверил 23 контейнера с Docker запуском docker run --rm hello-world: работают без правки: 21 требуют внимания: 2 (CT 115 OpenClaw, CT 140 gitea) И в этих двух обход уже есть: в их docker-compose.yml прописано apparmor:unconfined. То есть задача 1.1 по существу ВЫПОЛНЕНА. ПОЧЕМУ ЭТО ВАЖНО: настройка lxc.apparmor.profile=unconfined ОТКЛЮЧАЕТ защиту AppArmor у контейнера — это ослабление изоляции, а не усиление. Применить её всем значило бы ослабить 21 контейнер, который отлично работает без этого. Правило: ослаблять защиту только там, где измерением доказано, что без этого не работает. НАЙДЕНО ПО ХОДУ (три проблемы, которых в списке не было): 1. В CT 108 БЫЛ СЛОМАН DNS. Из контейнера не резолвились внешние имена (1.1.1.1 и 8.8.8.8 — таймаут), а к AdGuard работало. Следствие: n8n не мог резолвить имена и выходил наружу только через прокси; всё, что шло мимо прокси, падало. Причина: в compose у n8n жёстко прописан dns: [8.8.8.8, 1.1.1.1], недоступный из этого контейнера. Исправлено: DNS контейнера переведён на AdGuard; DNS задан на уровне Docker для новых контейнеров. Контейнеры не пересоздавались, службы целы. Проверено: api.telegram.org резолвится, example.com — HTTP 200. 2. COMPOSE У n8n НЕ ОПИСЫВАЕТ МОНТИРОВАНИЕ ДАННЫХ — это риск. Работающий контейнер использует папку /opt/automation-lxc/n8n/data, где лежит файл config — КЛЮЧ ШИФРОВАНИЯ n8n. В compose этого монтирования нет. Значит пересоздание через compose даст контейнер без ключа: он запустится, а учётные данные перестанут расшифровываться. Поэтому compose я вернул как был, а правку сделал безопасно — на уровне Docker. Обновлять n8n через compose сейчас НЕЛЬЗЯ, пока compose не приведён в соответствие. Заведено задачей 1.10. 3. КОНТЕЙНЕРЫ В ПЕТЛЕ ПЕРЕЗАПУСКА: openclaw (CT 115, падает), и navidrome-old-20261014-* (CT 125, остаток от обновления). Плюс 10 контейнеров *-old-* в состоянии Exited. Заведено задачами 1.11 и 1.12. ЧЕСТНО О МОЕЙ ОШИБКЕ: при правке n8n я сначала добавил ВТОРОЙ ключ dns в compose и сломал YAML («mapping key dns already defined»). Проверка конфигурации это поймала до применения — службы не пострадали, файл восстановлен из копии. Урок: перед добавлением строки в чужой файл проверить, нет ли её уже. |
||
|
|
f9e46ab664 |
Ключ age: проверка годности, документация, файл для владельца
Задача №22 аудита. Суть не в «положить в Vaultwarden», а в том, что без ключа зашифрованные копии бесполезны: файл есть, прочитать нечем. ЧТО СДЕЛАНО: * добавлен ops/vpn/verify-age-key.sh — проверка «ключ ГОДЕН», а не «ключ есть». Ошибка в одном символе иначе обнаружится только в момент восстановления, когда уже поздно. Скрипт проверяет: ключ на месте и с правами 600; секретный ключ ровно один; публичный совпадает с тем, на который шифровали; копии ДЕЙСТВИТЕЛЬНО расшифровываются; ключа нет в файлах и в истории Git; копии есть на другом хосте; * docs/AGE-KEY-AND-RESTORE.md — что ключ открывает, где должен жить (сервер + Vaultwarden + флешка, ключ отдельно от данных), как восстановить; * файл с ключом и пошаговой инструкцией подготовлен и передан владельцу для скачивания. РЕЗУЛЬТАТ ПРОВЕРКИ: ключ годен. Расшифровываются обе копии — vpn-configs.json (40 ключей клиентов) и xray-config.json (30). Права 600. Публичный ключ совпадает с .sops.yaml. В Git ключа нет: ни в файлах, ни в истории коммитов. На VPS лежат 2 зашифрованные копии. ПОЧЕМУ КЛЮЧ НЕ ДОБАВЛЕН В VAULTWARDEN МНОЮ: Vaultwarden шифрует записи клиентским мастер-паролем. Мастер-пароля у меня нет — и это правильно. Добавить запись программно можно только с ним или с личным ключом API; просить их я не буду. Записать в Vaultwarden и на флешку — действие владельца. ГРАБЛИ (мои): проверка нашла саму себя. Скрипт искал строку AGE-SECRET-KEY-1, а она есть в нём же как образец для поиска — вышло ложное «ключ попал в репозиторий». Искать надо КОНКРЕТНОЕ значение ключа, а не его начало. Исправлено. Тот же класс ошибки уже был с URL приватной комнаты: проверка совпадала сама с собой. |
||
|
|
c6d006a509 |
DNS дома: убран дубль, единственный DNS — AdGuard
ВЛАДЕЛЕЦ СПРОСИЛ: зачем прокси, не проще ли завести домашнюю сеть в
AdGuard? Проверил — он прав.
AdGuard (192.168.1.107) уже работает как DNS и уже содержит
переписывания для ВСЕХ 43 домашних доменов: проверено по списку
ops/network/domains.yaml — правильно отвечает 43 из 43.
Значит отдельный DNS на шлюзе (CT 161) был ДУБЛЕМ, причём вредным:
* два источника правды: поправил в одном — на другом старое;
* устройство, настроенное на шлюз, ОБХОДИЛО фильтрацию AdGuard,
то есть реклама и трекеры проходили.
DNS на шлюзе выключен. Настраивать на устройствах: DNS 192.168.1.107.
Адрес 192.168.1.161 для DNS больше не использовать.
ПРО ПРОКСИ. Для телевизоров он не нужен: владелец выяснил, что там есть
только «HTTP-прокси для браузера» и поля DNS нет вовсе. Прокси на шлюзе
оставлен как необязательный инструмент для устройств, которые умеют
полноценный прокси (компьютер). Телефонам он не нужен — у них профили VPN.
НАБЛЮДЕНИЕ ПОПРАВЛЕНО: проверка «Шлюз DNS» смотрела на 192.168.1.161,
где DNS больше нет — она начала бы падать с ложной тревогой. Теперь это
«DNS дома (AdGuard)» и смотрит на 192.168.1.107.
ТУННЕЛЬ НА ШЛЮЗЕ ПОЧИНЕН. Он «висел по таймауту»: проверка канала
спрашивала www.gstatic.com, DNS отдавал адрес IPv6, а IPv6 у контейнера
нет — соединение висело до таймаута, проверка считала канал мёртвым, и
ложился весь трафик. В журнале было прямо: «outbound/urltest[auto]:
context deadline exceeded». Лечение: IPv6 в контейнере отключён, в
sing-box задано ipv4_only. Сейчас 3 из 3 попыток успешны.
Ещё две миграции sing-box 1.14 поймала встроенная проверка конфигурации:
поля sniff переехали в правила; DNS-сервер теперь
{"type": "udp", "server": "..."}, старый {"address": ...} отвергается.
УРОК: прежде чем строить новое, проверить, что уже есть. AdGuard работал
годами, а я построил рядом второй DNS.
|
||
|
|
9091242cb4 |
Шлюз в доме: туннель для устройств без VPN + наблюдение
Роутер по-прежнему НЕ тронут, как решено. Прежний шлюз умел только DNS. Этого мало: телевизор не ставит VPN-приложение, и быстрый DNS ему не помогает, если нужные сайты недоступны. Теперь на шлюзе есть свой туннель до VPS и прокси для устройств, которые умеют указать адрес прокси в настройках сети — это почти все телевизоры и приставки на Android TV. ПРОВЕРЕНО СНАРУЖИ, как это сделает телевизор: иностранный сайт через прокси -> выход 193.233.210.184 (наш VPS) git.buryans.ru -> HTTP 200 напрямую (домашнее идёт мимо туннеля) ya.ru -> HTTP 302 за 0,1 с напрямую (российское тоже мимо) youtube.com -> HTTP 200 через туннель ОТДЕЛЬНЫЙ КЛЮЧ ДЛЯ ШЛЮЗА (gateway-home@buryans.local), а не чей-то личный: видно в статистике, можно отозвать шлюзу отдельно, при замене шлюза меняется только его ключ. Добавлен во все входы VLESS, поэтому шлюз может пользоваться любым каналом и переключаться сам (три канала с автопереключением внутри шлюза). НАБЛЮДЕНИЕ: шлюз добавлен двумя отдельными проверками — * «Шлюз DNS» — домашний домен обязан вести на 192.168.1.10; * «Шлюз туннель» — иностранный адрес обязан выходить через VPS. Проверяется ВЫХОД, а не «порт открыт»: порт может слушать, а трафик не идти. Всего проверок стало 34 (было 32). Это прямо про недавний случай: владелец узнал об обрыве от семьи, а не от системы. ГРАБЛИ: 1. sing-box 1.14 убрал старые поля входящего: sniff внутри входящего больше не принимается, переехал в правила. Проверка конфигурации поймала это ДО запуска. 2. Служба не создалась, потому что предыдущий запуск прервался на проверке конфигурации. Урок: проверять надо не «конфигурация верна», а «служба работает и трафик идёт». Для Samsung и LG прокси в настройках сети нет — им доступен только быстрый DNS, обход блокировок потребует правила на роутере (3.3). |
||
|
|
6a1e3468cc |
Реестр приведён в соответствие с фактическим состоянием
Убраны устаревшие записи, которые вводили в заблуждение:
* «итого рабочих каналов: три» -> четыре (Reality доведён);
* «Reality не проходит рукопожатие, причина не найдена» -> причина
найдена: сайт-прикрытие www.microsoft.com недоступен с VPS,
заменён на наш собственный;
* «доступ снаружи непредсказуем» -> четыре канала с автопереключением;
* «проверка восстановления из копий» -> проверено для конфигураций VPN.
Дописаны разделы: что сделано по Этапу 3 (шлюз в доме) и запасной
простой профиль.
Итог по реестру: сделано 28, частично 7, не начато 46.
|
||
|
|
3004b633a2 |
VPN Этап 3: шлюз в доме — домашнее открывается напрямую, роутер не тронут
НАЙДЕНА ПРИЧИНА «дома всё тормозит»: домашние домены резолвились в адрес
VPS даже из дома — запрос уходил в интернет, на VPS, и возвращался
обратно. Замерено:
напрямую с домашнего nginx (192.168.1.10): 10 мс
как было, через VPS: 485 мс (в 50 раз!)
СДЕЛАНО: отдельный контейнер CT 161 (192.168.1.161) со своим DNS.
Для 43 домашних доменов из ops/network/domains.yaml отдаёт домашний
адрес 192.168.1.10 — трафик идёт по домашней сети. Для всех остальных —
обычный ответ через 1.1.1.1 и 8.8.8.8, с кэшем.
РОУТЕР НЕ ТРОНУТ, как вы и просили. Правило на Keenetic (3.3) остаётся
на потом, вместе с вами.
ПРОВЕРЕНО НА РЕАЛЬНОМ УСТРОЙСТВЕ (3.2): взял домашний CT 107, перевёл
его DNS на шлюз. Домашние службы открываются (200/302), обычный
интернет не сломался (yandex 302, github 200), стало в 50 раз быстрее.
После проверки DNS устройства возвращён как был — чужие настройки без
согласия не оставляю.
КАК ПОДКЛЮЧИТЬ УСТРОЙСТВО: указать в его настройках сети DNS
192.168.1.161. Для Android TV: настройки сети -> своя сеть ->
дополнительно -> DNS вручную.
ЧЕГО ЭТО НЕ РЕШАЕТ: доступ снаружи (там нужен VPN, этапы 1-2) и обход
блокировок (это туннель, он в профилях для телефонов).
ГРАБЛИ:
1. local-lvm заполнен на 80%, контейнер там не создаётся. Разрешил
хранилищу local держать диски контейнеров (копия storage.cfg снята).
Диск шлюза 2 ГБ, на local свободно 91 ГБ.
2. Первый замер показал 486 мс вместо 10 — это была холодная попытка
(пустой DNS-кэш, новое TLS-соединение). Мерить надо несколько раз
подряд и брать установившееся значение, иначе получается «быстрее
в 1 раз», то есть никакая экономия.
|
||
|
|
fcdd78d30c |
VPN Этап 2: Reality доведён — каналов теперь четыре
Задача 2.3 закрыта. Reality работает и проверен снаружи ключом живого
человека: у всех шести человек, домашние службы через него отвечают 200.
VLESS + TLS TCP 10443 ~476 мс
Hysteria2 UDP 10443 ~142 мс
VLESS + XHTTP TCP 8444 ~576 мс
VLESS + Reality TCP 2087 ~309 мс
ПРИЧИНА, по которой не работал: Reality был настроен на прикрытие
www.microsoft.com, а этот сайт с VPS НЕДОСТУПЕН (HTTP 000), хотя с
домашнего канала отвечает. Reality пересылает рукопожатие клиента на
сайт-прикрытие; сайт недоступен — рукопожатие не проходит.
Рабочее решение: прикрытием сделан НАШ ЖЕ сайт (dest 127.0.0.1:10443,
имя git.buryans.ru). Путь до прикрытия локальный и не рвётся, а для
наблюдателя соединение выглядит как обычный TLS к нашему домену, то есть
сливается с уже существующим рабочим каналом.
ПОПУТНО ИСПРАВЛЕНО: ключи на всех входах приведены к одному набору.
Раньше для части людей на Reality лежали ДРУГИЕ ключи, и ключ человека
работал на одном канале и не работал на другом. Теперь ключ один на все
каналы — это и позволило добавить Reality в общий профиль.
ОТДЕЛЬНО ЗАПИСАНО В ДОКУМЕНТЕ, честно: в этом разборе я ошибся в
проверке ШЕСТЬ раз, и каждая ошибка выглядела как «канал не работает»:
заглушка вместо публичного ключа; ключ, которого нет на этом входе;
недоступный с сервера сайт; порт, не открытый в экране; проба, которая
не запускалась; имя UID, зарезервированное в bash (сервер прямо сказал
«invalid request user id»).
Правило: если канал «не работает» — сначала проверь саму проверку.
Сервер в журнале обычно говорит причину прямо, надо только прочитать.
Тестовый порт закрыт, пробные процессы убраны, конфигурация сохранена
в зашифрованную копию.
|
||
|
|
3fac692f36 |
VPN Этап 2: три канала, автоматическое переключение, подписка
Цель этапа — чтобы доступ не зависел от того, не начал ли провайдер
мешать одному конкретному способу. Теперь каналов три, и клиент сам
держит живой:
VLESS + TLS TCP 10443 — основной
Hysteria2 UDP 10443 — QUIC: другой путь, устойчивее на потерях
VLESS + XHTTP TCP 8444 — выглядит как обычный сайт
ПЕРЕКЛЮЧЕНИЕ ДОКАЗАНО, А НЕ ТОЛЬКО НАСТРОЕНО. Тест: сломал основной
канал правилом в экране VPS (только для тестовой машины, чтобы не
задеть семью) — клиент переключился САМ через 60 секунд, домашний домен
продолжил открываться уже через новый канал, а после возврата основного
вернулся на него через 50 секунд.
ПОЧЕМУ ПЕРЕКЛЮЧАЕТ КЛИЕНТ, А НЕ СЕРВЕР. Проверял «единую точку входа на
сервере» — не годится: VLESS+TLS и XHTTP оба используют TLS с проверкой
сертификата, и посредник либо ломает проверку, либо должен
расшифровывать трафик. Второе уничтожает защиту. Поэтому переключает
клиент: у него есть все каналы.
ПОДПИСКА (задача 2.4): у каждого человека теперь есть ссылка, которую
он один раз вставляет в клиент — дальше профиль обновляется сам.
Добавлю новый канал, у всех появится без действий. Ссылки на прежней
странице, вход прежний.
ДВА ФОРМАТА, ОБА С АВТО-ПЕРЕКЛЮЧЕНИЕМ:
yaml — mihomo: группа fallback, три канала;
json — Xray: наблюдатель + leastPing по TLS и XHTTP.
В json НЕТ Hysteria2: Xray его не поддерживает, а если положить —
конфигурация не собирается и профиль не загружается. Проверено.
ПРОФИЛИ ПРОВЕРЯЮТСЯ ДО ВЫДАЧИ настоящими движками (mihomo и xray).
Не проходит проверку — не попадает на страницу. Лучше не выдать
ничего, чем выдать файл, который не откроется.
ГРАБЛИ ПО ХОДУ (все записаны в docs/VPN-STAGE2.md):
1. репозиторий Hysteria переехал: apernet/hysteria -> HyNetworks/hysteria;
со старого адреса версия читается как «location:...» и скачивание 404;
2. в экране VPS правило было только для TCP, для UDP — нет: при политике
DROP снаружи канал недоступен, хотя на сервере «слушает». Правило:
проверять канал СНАРУЖИ;
3. xray определяет формат по расширению: на «.json.tmp» отвечает
«Failed to get format» — временный файл должен иметь верное расширение;
4. папке нужен бит выполнения: я поставил 644 на папку sub/ и получил
403 от nginx. Папкам 755, файлам 644. Проверять не «файл на месте»,
а что он ОТКРЫВАЕТСЯ по адресу;
5. у Hysteria нет отдельной проверки конфигурации — проверяю пробным
запуском и тем, что порт слушает.
Проверка подписки: по её адресу отдаётся профиль с тремя каналами и
группой fallback — смотрю содержимое, а не только код ответа.
Осталось: Reality (2.3) — на портах есть, но рукопожатие не проходит.
|
||
|
|
d4ba9e8fe4 |
VPN Этап 2, шаг 2: VLESS + XHTTP добавлен и проверен снаружи
Задача 2.2 из реестра. XHTTP передаёт VLESS поверх обычных HTTPS-запросов:
трафик выглядит как обращения к сайту, а не как непрерывный поток. Для
провайдера, который разбирает характер соединения, это поведение иное,
чем у обычного VLESS+TLS, — потому и полезен как запасной.
Решение по устройству: XHTTP идёт на отдельном TCP-порту 8444 со своим
TLS и нашим сертификатом git.buryans.ru. Вариант «спрятать за nginx»
рассматривал, но он добавляет лишний слой и точку отказа без выигрыша.
Сделано:
* в конфигурацию xray добавлен входящий (порт 8444, сеть xhttp, TLS);
* клиенты перенесены с основного входа — человеку работает тот же ключ;
* путь /buryan-xhttp, маскировка под git.buryans.ru;
* порт открыт в экране VPS, правила сохранены;
* скрипты в ops/vpn/xhttp/.
ПРОВЕРЕНО СНАРУЖИ, с домашнего канала:
напрямую: 46.8.140.22
через XHTTP: 193.233.210.184 <- наш VPS
домашние службы и YouTube через него: 200, 200, 200
в журнале клиента всё ушло с пометкой [proxy]
Урок с Hysteria2 применён сразу: порт открыл в экране ДО проверки.
В прошлый раз канал работал на сервере, но был недоступен снаружи
из-за политики DROP — на эти грабли второй раз не наступил.
Итого рабочих каналов теперь три:
VLESS + TLS TCP 10443 — основной
Hysteria2 UDP 10443 — QUIC, для видео и на случай помех TCP
VLESS + XHTTP TCP 8444 — ведёт себя как обычный сайт
Резервная копия обновлена: оба канала и все 40 ключей зашифрованы в
ops/secrets-enc/vpn-configs.json, восстановление проверено сверкой.
Дальше по плану: собрать единый профиль с автоматическим переключением
между тремя каналами и доказать переключение отключением основного.
|
||
|
|
3c9c7df5d9 |
VPN Этап 2, шаг 1: Hysteria2 поднят и проверен снаружи
Задача 2.1 из реестра. Запасной канал, отличающийся от основного по
самой природе: основной — VLESS+TLS по TCP, этот — QUIC по UDP. Если
провайдер станет мешать TCP, этот пойдёт другим путём; на потерях QUIC
обычно устойчивее, что важно для видео.
Сделано:
* Hysteria2 v2.13.0 установлен на VPS, служба systemd с автозапуском;
* слушает UDP 10443 — тот же номер, что у основного TCP-канала
(UDP и TCP не мешают друг другу, людям один номер проще);
* TLS — тот же сертификат git.buryans.ru, маскировка на наш же сайт;
* пароль 22 знака в /root/.buryan-hy2-password (600);
* скрипты и обезличенная копия конфигурации — в ops/vpn/hysteria/.
ПРОВЕРЕНО СНАРУЖИ, с домашнего канала:
напрямую: 46.8.140.22
через Hysteria2: 193.233.210.184 <- наш VPS
домашние службы через него: 200, 200
YouTube и Telegram: 200, 200
скорость 2 МБ: ~1,9 МБ/с
ТРИ НАХОДКИ ПО ХОДУ, записаны в реестр:
1. Репозиторий Hysteria переехал: был apernet/hysteria, стал
HyNetworks/hysteria. Со старого адреса версия читается как
«location:https://...» и скачивание даёт 404 — то есть установка
по старым инструкциям ломается.
2. В ЭКРАНЕ VPS правило было только для TCP 10443, а для UDP — нет.
При политике INPUT DROP снаружи канал был бы НЕДОСТУПЕН, хотя на
сервере всё работало и порт «слушал». Отсюда правило: проверять
канал СНАРУЖИ, а не по факту «слушает». Правило добавлено, правила
сохранены (netfilter-persistent), копия до правки лежит рядом.
3. У Hysteria нет отдельной проверки конфигурации: проверяю пробным
запуском и тем, что порт действительно слушает.
Резервное копирование расширено: теперь копируются оба канала
(xray и Hysteria2) в один зашифрованный файл
ops/secrets-enc/vpn-configs.json, и восстановление ПРОВЕРЯЕТСЯ —
расшифровка сверяется с исходным (30 ключей xray + конфиг Hysteria).
Иначе новый канал повторил бы недавнюю дыру, когда конфигурация
существовала в одном экземпляре.
Пароля Hysteria в репозитории нет — проверено сравнением с настоящим
паролем с сервера, а не только по виду.
|
||
|
|
633f580803 |
VPN: сохранность ключей — зашифрованная копия и восстановление
НАЙДЕНО И ЭТО БЫЛО ОПАСНО: боевая конфигурация xray с ключами жила
ТОЛЬКО на VPS.
* в репозитории лежала копия от 23.09: 1 клиент вместо 10;
* в резервное копирование (restic) VPS не входит вовсе.
Значит при гибели VPS все ключи пропали бы, и пришлось бы перевыпускать
доступ всей семье заново, обходя каждого. Это дороже, чем сделать копию.
Что теперь есть:
* ops/secrets-enc/xray-config.json — копия для восстановления,
зашифрована SOPS + age (правило уже было настроено на этот путь);
* vps/xray/config.json — обезличенная копия: структура без ключей,
её можно читать кому угодно;
* /root/xray-config-encrypted.json на VPS — вторая копия, на другой
машине.
Копия проверена, а не просто создана: скрипт расшифровывает её обратно и
сверяет СОДЕРЖИМОЕ (входящие, клиентов, ключи, настройки). Сверка
побайтовая не годится: SOPS при расшифровке пересобирает JSON, и порядок
ключей может отличаться. Результат: содержимое совпадает полностью,
30 ключей в 3 входящих.
Восстановление: ops/vpn/vpn-restore-config.sh. Без ключа --apply ничего
не пишет — только расшифровывает и показывает. С --apply делает копию
текущего файла, пишет на VPS и проверяет, что канал после этого работает.
Отдельно записано в документе: локально проверить конфигурацию НЕЛЬЗЯ,
потому что в ней пути к файлам сертификатов, а они только на VPS. Попытка
проверить на домашнем узле даёт ложную ошибку "failed to parse
certificate", и это не признак порчи копии. Скрипт об этом предупреждает
вместо того, чтобы пугать зря.
Восстановление невозможно без ключа шифрования age
(/root/.buryan-age-key, он же в Vaultwarden и на флешке). Это и есть
правило из аудита: ключ и зашифрованные данные — в разных местах.
|