Commit Graph
208 Commits
Author SHA1 Message Date
root 21df3bf34d VPN: готовые профили доставлены, исправлена видимость комнат
Профили с раздельной маршрутизацией (.yaml для FlClash, .json для
Hiddify) и инструкция отправлены всем шестерым — и в личные комнаты
Matrix, и выложены на страницу раздачи. Адрес и пароль страницы
не менялись.

Проверено по факту, а не по отчёту бота: файл скачивался глазами
получателя и сверялся с исходным по SHA-256. Все 6 человек: по 2 файла,
оба целые, инструкция на месте. Плюс сквозная проверка, что после
добавления 204 правил домашний домен по-прежнему идёт в туннель
(git.buryans.ru -> [proxy]), а прочее напрямую.

НАЙДЕНА И ИСПРАВЛЕНА ТРЕТЬЯ ПОЛОМКА. Комнаты выдачи создавались
с видимостью истории "joined": человек видит только то, что отправлено
ПОСЛЕ его вступления. Пока он только приглашён, отправленные ему
профили ему НЕ видны — со стороны это выглядит как "мне ничего не
пришло", хотя на сервере всё лежит.

То есть Сергей, Елена и Полина физически не могли увидеть ни ключ,
ни профиль, пока не приняли бы приглашение. А приняли бы они его,
скорее всего, именно увидев сообщение — которого не видели. Замкнутый
круг, из-за которого раздача могла молча не дойти до трёх человек
из шести.

Исправлено: все шесть комнат переведены на "shared", приглашённые видят
присланное сразу. Проверено. Скрипт создания комнат тоже исправлен,
чтобы это не вернулось; отдельный скрипт fix-room-visibility.py
приводит уже созданные комнаты в порядок.

Урок общий и повторяющийся: проверять надо ГЛАЗАМИ ПОЛУЧАТЕЛЯ, а не
состоянием на сервере. Оба раза проблему нашла именно такая проверка —
сначала в личных комнатах бота, теперь в комнатах выдачи.
2026-10-16 21:20:31 +03:00
root d4122e822f VPN: полный список сервисов, не работающих с VPN — собран и раскатан
Задача от владельца: взять полный список из открытых источников и сразу
раскатать, дальше он будет дописывать штучно.

Причина, по которой это нужно: приложения ломаются не из-за туннеля, а
из-за адреса выхода. Банк, госуслуги и маркетплейс видят, что запрос
пришёл из-за рубежа, и закрывают доступ. Значит их трафик должен идти
МИМО туннеля — тогда всё работает и переключать ничего не нужно.

Что сделано:
* ops/vpn/home-and-ru-zones.json — ЕДИНСТВЕННОЕ место для правок.
  Три списка: домашние домены в туннель (27), российские зоны напрямую
  (174 + 3 глобальных). Дописал зону — пересобрал одной командой,
  и она появилась и в правилах клиента, и в профилях для телефона;
* ops/vpn/split_config.py — общий загрузчик: списки больше не дублируются
  в коде, иначе они разошлись бы;
* ops/vpn/build-split-profiles.py — готовые профили на каждого человека
  (.yaml для FlClash, .json для Hiddify);
* ops/vpn/push-profiles-to-vps.sh — раскладка профилей на страницу раздачи;
* ops/vpn/update-page-split.py, deliver-split-profiles.py — обновление
  страницы и доставка через Matrix.

Список из открытых публикаций апреля 2026 (со ссылками в документе):
Известия/dp.ru, Topvisor, Алтапресс, spbnews78. Покрыты банки, госуслуги,
маркетплейсы, продуктовые сети, аптеки, доставка, такси, самокаты,
навигаторы, операторы связи, кинотеатры, госсайты.

Раскатано на страницу раздачи рядом с QR-кодами: человек скачивает файл
прямо на телефоне и импортирует — второй экран больше не нужен.
Адрес и пароль страницы не менялись.

Проверено на живом клиенте: все 6 профилей проходят xray run -test
(Configuration OK); маршрутизация подтверждена журналом —
git.buryans.ru ушёл [proxy] и ответил 200, а sberbank.ru, gosuslugi.ru,
ozon.ru, wildberries.ru, ya.ru ушли [direct]. Внешний адрес недомашнего
трафика — 46.8.140.22, обычный путь.

Поймана и исправлена вторая настоящая поломка: первая версия профиля
опиралась на geosite:category-ru, и профиль НЕ загружался —
"failed to open file: geosite.dat". Для geosite нужен файл данных рядом
с клиентом, а его может не быть; на телефоне это выглядело бы как
"профиль не добавляется". Теперь geosite/geoip не используются вовсе,
правила строятся только из списка доменов и подсетей, а генератор
проверяет, что эта зависимость не вернулась.

Ключи в Git не попадают: папка ops/vpn/build/ внесена в .gitignore
(проверено git check-ignore), в репозитории только скрипты и списки.
2026-10-16 21:16:21 +03:00
root a97b00c1eb VPN: раздельная маршрутизация — туннель несёт только домашнее
Задача: часть приложений (банки, госуслуги, маркетплейсы) не работает,
когда весь трафик идёт через VPN. С апреля 2026 крупные российские
сервисы закрывают доступ тем, кто приходит с зарубежного адреса;
рекомендацию дало Минцифры на совещании с 20+ компаниями, срок
назывался до 15 апреля. Приложение Сбербанка, по сообщениям, вообще
не запускается при включённом VPN.

Причина не в туннеле, а в том, ЧТО через него идёт. Значит решение —
маршрутизация, а не ручные переключения.

Что сделано:

* ops/vpn/gen-split-routing.py — собирает файлы маршрутизации из ОДНОГО
  списка домашних доменов (27 адресов). Если вести списки порознь,
  они разойдутся, и придётся искать, почему одна служба не открывается;
* ops/vpn/split/ — собранное: home-domains.txt, rules-clash.yaml,
  client-routing.json (для Xray-клиентов);
* ops/vpn/split-profile-android.yaml — готовый профиль для Android:
  список приложений через туннель, домашние домены в туннель,
  всё остальное напрямую;
* docs/VPN-SPLIT-ROUTING.md — как настроить обоими способами;
* docs/VPN-APP-CONFLICTS.md — понятным языком, почему ломается и что
  именно перестало работать, со ссылками на открытые источники.

Проверено на живом клиенте (xray 25.3.6, тот же клиент, что в телефоне),
результат виден в журнале:

  accepted tcp:git.buryans.ru:443   [proxy]   <- домашнее, в туннель
  accepted tcp:ip-api.com:80        [direct]  <- прочее, напрямую
  accepted tcp:www.sberbank.ru:443  [direct]  <- российское, напрямую

Конфиг проходит xray run -test (Configuration OK), профиль YAML
разбирается, порядок правил проверен скриптом.

Две грабли, найденные по ходу и записанные в документ:

1. Порядок правил решает. Первая версия начиналась с правила «всё
   российское и весь buryans.ru — напрямую», а buryans.ru это и есть
   наши домашние службы: широкое правило перехватило бы их раньше
   узкого, и домашние домены ушли бы мимо туннеля. Домашнее правило
   обязано стоять выше.
2. Без sniffing правила по домену не работают: клиент видит только
   IP, имя уже разрешено. Поэтому включены sniffing с destOverride
   и domainStrategy IPIfNonMatch.

Граница, которую обозначил владельцу прямо: вывод приложения из туннеля
— это штатная настройка Android, её я делаю. Подмену проверки «есть ли
на телефоне VPN» я не делаю: это уже не маршрутизация, а обман
проверки, и такое приложение честнее вынести из туннеля или настроить
ему прокси в самом приложении.

Ключей в коммите нет: в профиле стоит подстановка <ВАШ-UUID>,
свой ключ человек берёт из своей комнаты в Matrix.
2026-10-16 21:09:00 +03:00
root de65cc088a VPN: выдача доступа новому человеку одной командой админа
Владельцу нужна была одна команда, чтобы выдать профиль новому
участнику без ручной сборки QR и без пересылки ключей в мессенджерах.

Добавлено:
  !vpn give @логин      — выдать свободный ключ
  !vpn give @логин 08   — выдать конкретный ключ
  !vpn list             — что выдано, что свободно

Доступно только владельцу (@akadmin, @comms_agent); обычному человеку
бот отвечает отказом и пишет попытку в журнал.

Профиль уходит ЛИЧНО получателю: бот заводит с ним личную комнату,
приглашает и отправляет QR и ссылку. Владельцу приходит подтверждение,
что и кому выдано, и это же пишется в состояние (given_by, key).

Два вывода, которые дала проверка на живом получателе:

1. Видимость истории. Первый прогон создал комнату с history_visibility
   "joined". Бот отчитался "отправлено", но получатель — а он в тот
   момент ещё только приглашён — не увидел НИЧЕГО: с этой видимостью
   видны только сообщения после вступления. Исправлено на "shared",
   проверено на новой комнате: приглашённый видит профиль сразу.
   Это выяснилось проверкой, а не из документации.

2. Права бота. Бот не серверный админ: заводить и деактивировать
   учётные записи в Matrix он не может (403). Поэтому !vpn give создаёт
   только комнату, а учётную запись человеку заводит владелец. Записано
   в документации, чтобы это не выглядело недоделкой.

Проверено по-настоящему: временный человек заводился в Matrix, получал
ключ Buryan-10, принимал приглашение и видел у себя картинку QR и
ссылку. Обычному человеку на "!vpn 04" приходит отказ.

Уборка после проверки: временные люди и их комнаты удалены из базы
(пользователей снова 21, событий временных комнат 0). Комнаты чистились
с обнулением зависимостей — event_edges держал события круговой ссылкой.
2026-10-16 20:59:11 +03:00
root cd2657b2f8 VPN: проверка «канал работает» в наблюдении + команда !vpn link
Задача 4.2 из реестра: проверка «VPN работает» в наблюдении. Сделано.

Почему отдельная проверка: порт 10443 может слушать, а трафик не
проходить — именно это мы уже видели, когда провайдер вмешивался
в поток. Открытый порт об этом не говорит.

Как проверяется (ops/vpn/vpn-check.sh): поднимается временный клиент
xray на самом VPS, идёт через него в интернет, сверяется внешний адрес.
Совпал — канал пропускает трафик. За собой убирает. Ключ берётся из
рабочей конфигурации xray, а не из файла со ссылками: тот файл лежит
на домашнем узле, а проверка идёт на VPS.

Встроено в /opt/buryan-hub/scripts/check-services.sh (функция check_vpn),
вызывается каждые 5 минут вместе с остальными проверками, провал
попадает в общую тревогу в Matrix.

Порт 2087 (Reality) намеренно не проверяется: он не работает и занесён
в план задачами VPN-2.3, иначе тревога была бы каждые 5 минут.

Проверено отдельным запуском только новой функции, без полного цикла
наблюдения (чтобы не поднять ложную тревогу): код 0, PASSED=1.

Отдельно: команда !vpn link для настройки на самом телефоне. QR с того
же экрана не считать, а ссылку из сообщения можно скопировать и вставить
в приложение. Проверены варианты !vpn link, !VPN LINK, !vpn ссылка,
а также отказ на чужой ключ и молчание на обычный текст.
2026-10-16 20:53:09 +03:00
root 0bcbcaaf2b VPN-бот: команда распознаётся в любом регистре + журнал входящих
Найдено живой проверкой: владелец написал в комнате "!VPN" заглавными,
а бот искал строго "!vpn" и молча пропустил команду. Человек при этом
ждал ответа и не понимал, почему тишина.

Исправлено:
* сравнение команды без учёта регистра, добавлен вариант "!впн";
* любое входящее текстовое сообщение теперь пишется в журнал
  ("получено от ..."). Если человек написал команду, а бот промолчал,
  это будет видно сразу, а не останется загадкой;
* токен бота можно подменить переменной BOT_TOKEN_FILE — нужно для
  живой проверки цикла отдельным участником.

Проверено самопроверкой: "!VPN", "!Vpn", "!vpN" дают профиль;
"!VPN 04" от обычного пользователя даёт отказ.

Живой цикл подтверждён по-настоящему: новый участник (@nikita) принял
приглашение и написал в свою комнату — бот поймал сообщение своим
циклом синхронизации, увидел, что это не команда, и промолчал. То есть
цепочка «человек -> комната -> цикл -> обработчик» работает на живом
пользователе, а не только в самопроверке.

Отдельно к сведению: ADM_TOKEN в /root/bots-tokens.env — это токен
Telegram, а не Matrix (Matrix отвечает M_UNKNOWN_TOKEN). Не путать.
2026-10-16 20:45:27 +03:00
root 022067e636 VPN: бот выдачи профилей по запросу + рассылка семье
Рассылка: профили отправлены всем шестерым, каждому в свою приватную
комнату. Проверено --verify: у всех вход только по приглашению, у всех
картинка QR скачивается целой (1759-1872 байта, сигнатура PNG верна).

Бот (ops/vpn/matrix-vpn-bot.py, служба matrix-vpn-bot):
  !vpn        -> свой профиль
  !vpn help   -> подсказка
  !vpn 08     -> владельцу: указанный ключ
  !vpn 04     -> не владельцу: ОТКАЗ

Ответ уходит ЛИЧНЫМ сообщением, а не в комнату. Это условие безопасности:
ключ - это доступ, и он не должен оказаться в комнате, куда потом
добавят третьего человека. Свой профиль выдаётся только по своему
Matrix-логину, чужой запросить нельзя.

Проверено самопроверкой: владелец получил запасной ключ, обычный
пользователь получил отказ (отказ записан в журнал), свой профиль
и подсказка работают.

Три случая, которые чуть не сломали работу:
1. Synapse ответил 429 на первую рассылку - она оборвалась на середине,
   двое получили комнату без инструкции, состояние не сохранилось.
   Исправлено: 429 пережидается по retry_after_ms, состояние пишется
   после каждого человека, признак delivered не даёт дублировать
   отправку. Комнаты, созданные до падения, восстановлены по псевдониму
   #vpn-<логин>, а не пересозданы.
2. При первом запуске /sync отдаёт последние события комнат - бот
   обработал бы старые команды заново после каждого перезапуска.
   Исправлено: первый запуск только берёт точку отсчёта.
3. Личные комнаты хранились в одном файле с точкой отсчёта и затирались
   на каждом круге. Вынесены в отдельный файл.

Бот не слушает "Семью" и тревоги, не отвечает профилем в комнату
и не отдаёт чужой профиль никому, кроме двух админов Matrix.
2026-10-16 20:44:05 +03:00
root 60ff4ac324 VPN: раздача профилей через Matrix — комната на каждого человека
По решению владельца профили выдаются не только страницей, но и в Matrix:
Matrix свой, ключи не уходят на чужие серверы, и человек получает профиль
там, где он и так общается с семьёй.

Добавлено:
* ops/vpn/matrix-distribute.py — заводит приватную комнату НА КАЖДОГО
  человека, приглашает его, отправляет картинку QR, ссылку текстом на
  случай несчитанного кода и инструкцию;
* режимы: план (по умолчанию), --send, --send --only <логин>, --verify.

Почему комната на каждого, а не общая "Семья": в общей комнате ключи
видны всем сразу, и тогда нельзя отозвать доступ одному, не задев
остальных. Ради отзыва по одному мы и заводили отдельные ключи.

Проверено на akadmin: комната "VPN - Роман" создана, получатель вошёл,
вход только по приглашению, картинка скачивается целой (1759 байт,
сигнатура PNG верна), текстов два. Режим --verify делает эту проверку
повторяемой.

Попутно выяснено и записано в документы:
* комната "Семья" содержит участников @telegram_<id> — там люди из
  Telegram-моста, поэтому профили туда не кладём;
* portal в базе моста пуст — комната, похоже, в Telegram не зеркалится;
* этот Synapse отдаёт медиа только по /_matrix/client/v1/media/download,
  старые media/v3 и media/r0 дают 404 (ложный признак потери файла);
* @akadmin — админ, но устройств не зарегистрировано;
* E2EE в этих комнатах не включён.

Ждёт решения владельца: класть ли профили в комнату, зеркалящуюся
в Telegram (тогда ключи попадут на серверы Telegram). До решения
раздача семье не запускается — её будет не откатить без смены ключей.
2026-10-16 20:36:40 +03:00
root 01d09d62f5 VPN этап 1: добавить в отчёт повторный замер устойчивости
Второй замер после основной работы: 15 подключений из 15 успешных,
отклик от 0,5 до 2,9 с (в среднем 1,3 с). Первый замер был 10 из 10.

Цифры нужны как опора: канал рабочий, и это подтверждено дважды,
а не одним удачным прогоном.
2026-10-16 20:31:42 +03:00
root 1eb6494f5d VPN этап 1: мобильный доступ — ключи, профили, инструкция для семьи
Задача: docs/TASKS.md -> раздел VPN, Этап 1 (приоритет 3 из
docs/AUDIT-2026-10-17.md, часть 6).

Сделано:
* ключей 5 -> 10 (buryan-06..10 во все три входящих: 10443, 2087, 2053);
  существующие user1..user5 не тронуты — их могли уже использовать;
* у каждого ключа своё имя: раздаём и отзываем доступ по одному,
  не ломая остальных;
* приватная страница с QR-кодами и инструкцией (скрытый путь + пароль,
  на существующем домене — новых записей в DNS не потребовалось);
* инструкция для семьи простым языком: приложение, импорт, проверка,
  раздел "если не подключается";
* отдельно вынесено предупреждение про встроенный браузер MIUI —
  это и была причина, по которой Сергей не мог войти.

Проверено (не на словах):
* xray run -test -> Configuration OK
* новый ключ реально выходит через VPS — и с самого сервера, и снаружи
* устойчивость: 10 подключений из 10
* QR-коды прочитаны независимым декодером (zxing), ссылки совпадают
* страница: 200 с паролем, 401 без пароля; Gitea не затронута (200)

Разбор ложной тревоги: записи "invalid request version" в журнале
оказались чужими проверками порта, а не нашей поломкой. Вывод в отчёт:
не считать канал сломанным по одной неудаче.

Осталось: VPN-1.3 — проверка на телефонах Сергея и AlexTest (нужны
устройства), затем VPN-1.4 — раздача остальным.

Отчёт: ops/vpn/VPN-STAGE1-IMPLEMENTATION.md
2026-10-16 20:30:42 +03:00
root a7d15a5a57 chore(audit): auto-snapshot and CHANGELOG update 2026-10-16
- LXC running: 28/29
- Alerts (24h): 14
- Disk PVE: 16%
2026-10-16 20:14:12 +03:00
root 2ca0d3c9dd ключ шифрования: два скрипта - в Vaultwarden и на флешку, с проверкой и инструкциями 2026-10-16 20:11:42 +03:00
root 5b378ee128 сеть: найдена причина проблемы Сергея - встроенный браузер MIUI; план по протоколам 2026-10-16 19:59:59 +03:00
root 4ed3edde9e AppArmor: найден обход через security-opt; сборщик журналов на всех 26 машинах 2026-10-16 17:17:31 +03:00
root fd360abd26 AppArmor: найденная ошибка в CT 115 и 140 исправлена профилем (как для Matrix) 2026-10-16 17:15:31 +03:00
root 73c4983fd9 сборщик журналов: 24-26 машин; найден полный диск CT 115 2026-10-16 17:12:10 +03:00
root 3a9d6073d5 сборщик журналов: добавлены оставшиеся машины; способ переноса образа без интернета 2026-10-16 17:10:58 +03:00
root ae5517e75a фотографии: ежедневная копия файлов (не только недельная копия машины); подготовлена вторая точка 2026-10-16 17:02:52 +03:00
root 376bd1cebb секреты: помощник с запасным путём; скрипты проверены после перевода 2026-10-16 16:59:49 +03:00
root bbebdb4c02 база: записано кто под кем ходит; восстановлен Authentik после моей ошибки с паролем 2026-10-16 16:55:17 +03:00
root 1068e86435 смена пароля: откат сработал; найдена причина — в поиске не было виртуальных машин 2026-10-16 16:45:43 +03:00
root 08ac83c025 секреты: файл пересоздан, значения заполнены, шифрование проверено 2026-10-16 16:43:07 +03:00
root 08483069d5 секреты: значения заполнены, шифрование подтверждено, помощник работает 2026-10-16 16:42:47 +03:00
root 9f594baf92 секреты: значения заполнены, создан помощник для скриптов 2026-10-16 16:42:27 +03:00
root 00bc2036ad секреты: файл зашифрован SOPS+age, расшифровка проверена, без ключа не читается 2026-10-16 16:41:23 +03:00
root 74720ea7a5 секреты: SOPS+age работает, файл зашифрован, ключ защищён 2026-10-16 16:41:07 +03:00
root 6312be09a0 секреты: внедрён SOPS+age, ключ шифрования создан, файл секретов зашифрован 2026-10-16 16:40:33 +03:00
root 9bf0a8eea5 секреты: инвентаризация (без значений), закрыто 8 файлов, ключ Matrix 777 в 600 2026-10-16 16:39:31 +03:00
root 2968d6376d заслоны единого входа подключены: 15 доменов через oauth2-proxy, без поломок 2026-10-16 16:34:23 +03:00
root 3f3cca13f0 исправлены ложные проверки: PostgreSQL не по HTTP, Element по конфигурации 2026-10-16 16:00:49 +03:00
root e227583689 проверки по смыслу: содержимое ответа, реальные запросы к базам, умная тревога без повторов 2026-10-16 16:00:16 +03:00
root 39aa31f5a5 тревоги: правила и Alertmanager запущены; исправлена поломка сбора метрик (29 целей возвращены) 2026-10-16 15:52:54 +03:00
root d636fbf8a0 сборщик журналов развёрнут на 22 машины из 26; Loki видит 53 источника вместо 3 2026-10-16 15:47:56 +03:00
root 5c32c1ba94 сбор журналов работает: Loki 200, Prometheus подключён к Grafana, все службы целы 2026-10-16 15:39:30 +03:00
root 8fd55e8ffb сбор журналов: Loki и Promtail запущены, журналы собираются; добавлены источники Loki и Prometheus в Grafana 2026-10-16 15:38:52 +03:00
root fd7043fb75 заслон единого входа: попытка, ошибка в устройстве Authentik, чистый откат; зафиксированы 22 готовых приложения 2026-10-16 14:29:38 +03:00
root cc11fc8bb8 единый вход: обнаружено что в Authentik уже 22 приложения и учётные записи семьи; не хватает только заслона в NGINX 2026-10-16 14:19:30 +03:00
root 1181eb2c38 Matrix восстановлен: выравнивание всех счётчиков + очистка позиций потоков; данные целы 2026-10-16 13:22:30 +03:00
root 123fd86454 проверка копий работает: разворот всей копии целиком в отдельный экземпляр, пароли сверены, в расписании 2026-10-16 12:33:34 +03:00
root 7c201158dc Immich починен: причина — смена пароля базы при переносе; доступ к машине через диск; правила паролей 2026-10-16 12:29:45 +03:00
root 135fa84909 Immich: фотографии защищены (копия 7,8 ГБ, расписание), найдено что служба не работает 2026-10-16 12:08:12 +03:00
root bde3bcaccc версия 1: проверка копий исправлена, аудит проведён, тонкий пул разобран (освобождено 278 ГБ), копирование возвращено 2026-10-16 11:41:04 +03:00
root ac264a6d65 аудит копий: дубли оказались ссылкой, найдена причина остановки, главная дыра — фотографии Immich 2026-10-16 11:26:55 +03:00
root 28babfe25d проверка копий: найден сломанный формат, ложная тревога убрана, данные целы 2026-10-16 11:22:39 +03:00
root f3a73efc01 все домены: 40 сертификатов, настройка на VPS и дома, ускорение до 170 раз 2026-10-16 09:07:06 +03:00
root a7312975ba chore(audit): auto-snapshot and CHANGELOG update 2026-10-16
- LXC running: 28/29
- Alerts (24h): 28
- Disk PVE: 16%
2026-10-16 09:00:05 +03:00
root 5efa80c1a2 домашний вход: NGINX на узле + AdGuard, 11 доменов, ускорение в 30 раз 2026-10-16 08:47:16 +03:00
root 7666ac75cd сеть: аудит, 80 доменов в обход, mtg починен, VPN VLESS+Reality построен 2026-10-16 00:03:28 +03:00
root 9d7ad160c2 chore(update): authentik -> ghcr.io/goauthentik/server:latest (CT 114) 2026-10-15 22:37:45 +03:00
root efa438236c chore(update): gitea -> gitea/gitea:latest (CT 140) 2026-10-15 22:36:15 +03:00