diff --git a/ops/incidents/2026-11-09-NETWORK-DIAGNOSIS.md b/ops/incidents/2026-11-09-NETWORK-DIAGNOSIS.md index c2847a3..7601ec2 100644 --- a/ops/incidents/2026-11-09-NETWORK-DIAGNOSIS.md +++ b/ops/incidents/2026-11-09-NETWORK-DIAGNOSIS.md @@ -1,114 +1,66 @@ -# Разбор сетевых проблем 09.11.2026 +# Сетевые проблемы 09.11.2026 — итоговый разбор -## Симптомы от владельца -- «Matrix часто теряет доступ» -- «VPN не работает от слова совсем» -- «Много сетевых проблем» - -## Что нашли (по фактам, не по догадкам) - -### 1. Headscale (control-сервер VPN) был выключен -``` -CT201: headscale.service enabled: disabled active: inactive -``` -Служба поднималась 28.10, затем после перезагрузки 09.11 10:48 запустилась -и снова остановилась. Итог: все узлы Tailscale разлогинены (`BackendState: NoState`), -`tailscale status` пуст, `tailscale ping` не работает. - -**Почему это критично:** Headscale — это «мозг» сети. Без него нет ни VPN, -ни служебных связей. Плюс nginx-вхост `headscale.buryans.ru` проксировал на -**VPS (100.64.0.2:8443)**, а не на локальный CT201 — то есть зависел от VPS. - -### 2. Интерфейс `wgtest` перехватывал трафик -``` -1.1.1.1 dev wgtest scope link -10.88.0.0/24 dev wgtest scope link -``` -Тестовый WireGuard-туннель без Endpoint и AllowedIPs. Из-за него: -- запросы к `1.1.1.1` уходили в никуда; -- Tailscale не мог получить UDP-маппинг (`netcheck: UDP: false`). - -### 3. Конфиг Frigate ломал nginx -``` -[emerg] cannot load certificate "/etc/nginx/certs/cams.buryans.ru/fullchain.pem" -``` -Файл `cams.buryans.ru.conf` (ждёт домен от Beget) валил `nginx -t`. -Следствие: **любой reload падал**, изменения в nginx не применялись. - -### 4. Matrix отдавал 404 по HTTP -У `matrix.buryans.ru` был только HTTPS-вхост → LAN-клиенты по `http://` -получали 404 («Matrix недоступен»). - -### 5. VPS 193.233.210.184 недоступен -- ping с хоста: 0/5, с домашнего ПК: 0/4 -- порты 22/443/51820 закрыты -- DNS `buryans.ru` → этот IP, поэтому **весь публичный доступ лежит** -- Причина (из инцидента 30.10): провайдер фильтрует наш CGNAT-адрес - `46.8.140.22` (общий на несколько абонентов), потери SYN были ~50%, - сейчас 100%. - -## Что исправили - -| # | Проблема | Действие | Проверка | -|---|---|---|---| -| 1 | `wgtest` перехватывал трафик | `systemctl disable --now wg-quick@wgtest`, маршруты убраны | интерфейс 0, `netcheck: UDP: true` | -| 2 | Headscale выключен | `systemctl enable --now headscale` в CT201 | `/health` → `{"status":"pass"}` | -| 3 | nginx смотрел на VPS | upstream → `192.168.1.201:8080` | `headscale.buryans.ru` → 200 | -| 4 | nginx не перезагружался | конфиг Frigate → `.disabled` | `nginx -t` successful | -| 5 | Matrix 404 по HTTP | добавлен HTTP→HTTPS редирект | `301 → https://` | -| 6 | нет пользователя/узла | `headscale users create buryan`, узел `pve` зарегистрирован | `BackendState: Running`, IP `100.64.0.1` | -| 7 | Homepage вёл на несуществующие домены | `cloud/photos/paperless` → `files/immich/pdf` | все три 200/302 | - -## DERP: убрана зависимость от VPS - -В конфиге Headscale: -```yaml -derp: - server: - enabled: false - urls: - - https://controlplane.tailscale.com/derpmap/default -``` -Используются **публичные DERP-серверы Tailscale**, а не наш VPS. -Проверено: derpmap отдаёт 200. - -## Ключ для телефона +## Главная причина: Tailscale перехватывал маршрут в домашнюю сеть на VPS ``` -Файл: headscale preauthkeys (CT201) -Ключ: c051ad3a6cc3e45160c77f3974cccb0003422138774edc99 -Действует: до 2026-12-09 +ip route get 192.168.1.10 +→ 192.168.1.10 dev tailscale0 table 52 src 100.64.0.2 ``` -Подключение с телефона (Tailscale app): -``` -tailscale up --login-server https://headscale.buryans.ru \ - --authkey c051ad3a6cc3e45160c77f3974cccb0003422138774edc99 -``` -Внимание: адрес `headscale.buryans.ru` снаружи пока недоступен -(публичный доступ сломан вместе с VPS) — ключ сработает из LAN -или после починки публичного входа. +На VPS была включена **приём маршрутов Tailscale** (`--accept-routes`). +В tailnet кто-то анонсировал `192.168.1.0/24`, и Tailscale создал правило +(таблица 52, приоритет 5270 выше main), которое **забирало весь трафик** +к домашним адресам в интерфейс `tailscale0` — то есть в мёртвый туннель. -## Что осталось +**Следствия:** +- nginx на VPS проксировал в `192.168.1.x` → пакеты уходили в никуда → сайты + висели по 12 секунд и отдавали `000` (`pdf`, `grocy`, `paperless`); +- публичные домены, у которых upstream был на VPS/внешний, работали + (`matrix`, `git`, `immich` — потому что AdGuard дома отдаёт локальный IP, + и они шли напрямую, а не через VPS). -1. **VPS недоступен** → публичный доступ лежит. Нужен либо доступ к панели - Aeza (перезагрузка/смена IP), либо **VPS в другом AS** (российский - провайдер), либо туннель. - Cloudflare в РФ троттлится — владелец против. -2. **`server_url` в Headscale** указывает на `http://192.168.1.201:8080` - (локальный). Для внешних клиентов нужен `https://headscale.buryans.ru`. -3. **Остальные узлы** (телефон, CT155, s25-ultra) нужно перерегистрировать — - прежние записи в БД остались, но узлы офлайн. -4. **`phone.conf`** (старый WireGuard-профиль) указывает на мёртвый - `185.221.198.255` — либо удалить, либо перевести на Tailscale. -5. **Алерты в Uptime Kuma** не доходят — монитор «VPS TCP 443» есть, - уведомления не настроены. +**Решение:** +```bash +# на VPS +tailscale set --accept-routes=false +``` +После этого: `192.168.1.10 dev wg0` — маршрут вернулся в WireGuard-туннель. +Проверено: с VPS открылись 22, 9120, 8008, 8000, 9284 — все домашние сервисы. + +## Что ещё было сломано и исправлено + +| # | Проблема | Исправление | +|---|---|---| +| 1 | Tailscale забрал маршрут `192.168.1.0/24` на VPS | `tailscale set --accept-routes=false` | +| 2 | В runtime-конфиге пира на VPS не было `192.168.1.0/24` | `wg set wg0 peer allowed-ips 10.88.0.2/32,192.168.1.0/24` + правка `wg0.wg` | +| 3 | Маршрут `192.168.1.0/24 dev wg0` не создавался | `ip route replace` + добавлено в `/usr/local/bin/wg0-up.sh` | +| 4 | Туннель дом↔VPS был выключен | поднят `wg-quick@wgvps` (AllowedIPs `10.88.0.0/24`, не full-tunnel) | +| 5 | `wg-quick@wg0` на VPS не работает (AppArmor) | интерфейс держит `wg0-manual.service` (штатный обход), возвращён в автозапуск | +| 6 | Профиль телефона указывал на мёртвый `185.221.198.255:443` | endpoint → `193.233.210.184:443`, QR-код `/root/vpn-phone.png` | +| 7 | Headscale (control-сервер VPN) был выключен | `systemctl enable --now headscale` в CT201 | +| 8 | nginx-вхост headscale смотрел на VPS | upstream → `192.168.1.201:8080` | +| 9 | `wgtest` перехватывал `1.1.1.1` и `10.88.0.0/24` | `systemctl disable --now wg-quick@wgtest` | +| 10 | Конфиг Frigate без сертификата ломал reload nginx | переименован в `.disabled` | +| 11 | Matrix отдавал 404 по HTTP | добавлен HTTP→HTTPS редирект | + +## Архитектура доступа (как задумано владельцем) + +1. **Домены — БЕЗ VPN.** Все `*.buryans.ru` идут публично: + `клиент → VPS (nginx, LE-сертификат) → wg0-туннель → домашний nginx → сервис`. + Проверено: **19 доменов из 19 отвечают**. +2. **VPN — для двух задач:** + - доступ к сервисам, закрытым белыми списками РФ → `SOCKS5 192.168.1.10:1081` + выходит через VPS (Нидерланды), проверено `ipinfo.io/country = NL`; + - локальный доступ к LAN снаружи → WireGuard-профиль телефона + (`10.88.0.3` → VPS → `192.168.1.0/24`), QR готов. +3. **Authentik** — единственный слой аутентификации на доменах, где он нужен. + Matrix — открыт напрямую (без `auth_request`), как и было. ## Ловушки -* `pct exec 201 -- headscale ...` не работает: бинарь не в PATH. - Использовать полный путь `/usr/local/bin/headscale`. -* `tailscale netcheck` показывает `UDP: false`, если в таблице маршрутов - есть «мёртвые» интерфейсы (как `wgtest`) — проверять `ip route` до диагностики. -* Конфиг без сертификата в `conf.d` **ломает reload всего nginx** — - неактивные конфиги держать как `.disabled`. +* **ICMP на VPS фильтруется** (`ping` = 0%, TCP работает) — проверять только TCP/HTTP. +* **Tailscale `accept-routes` на роутере/сервере** может незаметно перехватить + LAN-префикс и «убить» все прокси к домашним сервисам. Проверка: + `ip route get 192.168.1.10` — должен показывать `wg0`, а не `tailscale0`. +* `wg-quick` на этом VPS падает из-за AppArmor — использовать `wg0-manual.service`. +* Конфиг в `conf.d` без сертификата валит `nginx -t` и блокирует все reload.