From 9bd439f794d693b23149e22973952f6c860db22a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sun, 18 Oct 2026 18:33:17 +0300 Subject: [PATCH] =?UTF-8?q?Matrix:=20=D1=80=D0=B0=D0=B7=D0=BE=D0=B1=D1=80?= =?UTF-8?q?=D0=B0=D0=BD=D0=BE=20=D0=B7=D0=B0=D0=B2=D0=B8=D1=81=D0=B0=D0=BD?= =?UTF-8?q?=D0=B8=D0=B5=20=D0=BF=D1=80=D0=B8=20=D0=BE=D1=82=D0=BF=D1=80?= =?UTF-8?q?=D0=B0=D0=B2=D0=BA=D0=B5=20=D0=BA=D0=BE=D0=BD=D1=82=D0=B5=D0=BD?= =?UTF-8?q?=D1=82=D0=B0;=20BBR=20=D0=B8=20=D0=BD=D0=B0=D1=81=D1=82=D1=80?= =?UTF-8?q?=D0=BE=D0=B9=D0=BA=D0=B0=20TCP?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Симптом: при отправке контента зависание, потом обрыв. ЧТО ВЫЯСНЕНО: 1. Дело НЕ в звонках: в журналах ОБОИХ LiveKit (VPS и домашнего) ни одной комнаты — звонки к медиасерверам не подключались. 2. Загрузка работает, но путь медленный: напрямую в дом 5 МБ за 0,001 с, через публичный адрес — за 5,6 с, с скачками до 31 с и зависаниями на 120 с. 3. ПРИЧИНА: канал VPS <-> дом. Задержка 236-312 мс (до Matrix-контейнера до 539), потери 5%. При такой задержке TCP не разгоняется, клиент решает, что соединение мертво, и обрывает. Интернет дома в порядке (11 МБ/с). 4. ВАЖНОЕ: у владельца старый клиент — Element Classic 1.6.66 (Samsung S25). В журнале Synapse его запрос закрыт кодом 499 (клиент сам оборвал, не дождавшись). Element X переживает медленный канал лучше. СДЕЛАНО: BBR на обоих концах; TCP настроен под потери (подбор MTU, отключён сброс окна после простоя, буферы 32 МБ); nginx на VPS не буферизует тело запроса для Matrix, таймауты 300 с; лимит загрузки в Synapse поднят с 50 до 200 МБ. МОЯ ОШИБКА: поднял MTU туннеля с 1280 до 1400 — все загрузки перестали проходить (5 из 5 по 90 с), Element перестал отвечать. Проверка показала 33% потерь. Вернул 1280, всё заработало. Урок: MTU менять только с проверкой проходимости и немедленным откатом. РЕКОМЕНДАЦИЯ ВЛАДЕЛЬЦУ: обновить клиент на Element X — это самая вероятная причина обрыва. Если не поможет, менять транспорт VPS<->дом на Hysteria2 (задача 3.5). --- docs/MATRIX-UPLOAD-HANG.md | 86 +++++++++++++++++++++++++++++++++ docs/TASKS.md | 8 ++- ops/matrix/enable-bbr.sh | 56 +++++++++++++++++++++ ops/matrix/nginx-upload-tune.sh | 82 +++++++++++++++++++++++++++++++ ops/matrix/tcp-tune.sh | 69 ++++++++++++++++++++++++++ 5 files changed, 299 insertions(+), 2 deletions(-) create mode 100644 docs/MATRIX-UPLOAD-HANG.md create mode 100755 ops/matrix/enable-bbr.sh create mode 100755 ops/matrix/nginx-upload-tune.sh create mode 100755 ops/matrix/tcp-tune.sh diff --git a/docs/MATRIX-UPLOAD-HANG.md b/docs/MATRIX-UPLOAD-HANG.md new file mode 100644 index 0000000..a8576eb --- /dev/null +++ b/docs/MATRIX-UPLOAD-HANG.md @@ -0,0 +1,86 @@ +# Matrix: зависание при отправке контента (18.10.2026) + +Владелец: «при отправке контента зависание, потом обрыв». + +## Что выяснено + +### 1. Дело не в звонках + +В журналах **обоих** LiveKit (VPS и домашнего) — **ни одной комнаты**. +То есть звонки к медиасерверам не подключались вообще. Проблема в самом +Matrix, а не в звонках. + +### 2. Загрузка работает, но путь медленный + +| Путь | 5 МБ | +|---|---| +| Напрямую в дом (локальная сеть) | 0,001 с | +| Через публичный адрес (VPS → дом) | **5,6 с** | +| Через домашний прокси | 0,004 с | + +Замеры скачут: 5 с, 10 с, потом 31 с, потом зависание на 120 с. + +### 3. Причина: канал VPS ↔ дом + +| Показатель | Значение | +|---|---| +| Задержка до дома | **236–312 мс** (было 200) | +| Задержка до Matrix-контейнера | **до 539 мс** | +| Потери пакетов | **5%** | +| Скорость интернета дома | 11 МБ/с (в порядке) | + +При задержке 300 мс и потерях 5% TCP не успевает разогнаться: файл +идёт рывками, клиент решает, что соединение мертво, и обрывает. + +### 4. Важное: у владельца старый клиент + +В журнале Synapse видно: + +``` +{@akadmin:matrix.buryans.ru} 23.647sec 0B 499! +"Element Classic/1.6.66 (samsung SM-S938B; Android 16)" +``` + +**Element Classic 1.6.66** — это старый клиент. Код `499` означает, что +**клиент сам закрыл соединение**, не дождавшись ответа. Современный +Element X обрабатывает переподключение и загрузку заметно лучше. + +## Что сделано + +1. **BBR** включён на обоих концах (VPS и PVE) — на каналах с задержкой + даёт кратный прирост. +2. **Настройка TCP под потери**: подбор MTU, отключён сброс окна после + простоя, увеличены буферы до 32 МБ. +3. **Nginx на VPS**: отключена буферизация тела запроса для Matrix + (`proxy_request_buffering off`), таймауты 300 с вместо 60. +4. **Лимит загрузки в Synapse** поднят с 50 до **200 МБ**. + +## Моя ошибка: MTU 1400 + +Решил, что MTU 1280 маловат, и поднял до 1400 на обоих концах. +Результат: **все загрузки перестали проходить** (90 секунд таймаута, +пять из пяти), домен Element вообще перестал отвечать. + +Проверка проходимости показала 33% потерь при таком размере пакета. +**Вернул 1280** — всё сразу заработало. + +Урок: MTU туннеля нельзя менять «на глаз» — только с проверкой +проходимости на обоих концах и немедленным откатом. + +## Что делать владельцу + +1. **Обновить клиент** на телефоне: Element Classic 1.6.66 → **Element X** + (он есть в Google Play). Это самая вероятная причина «обрыва»: + старый клиент не переживает медленный канал. +2. Понаблюдать: если на Element X загрузка идёт нормально — проблема + была в клиенте. +3. Если и на новом клиенте медленно — следующий шаг: **заменить + транспорт между VPS и домом**. Сейчас это Tailscale (WireGuard), он + плохо переносит потери. Hysteria2 уже стоит на VPS и специально + сделан для таких каналов. + +## Что осталось непонятным + +Почему задержка до Matrix-контейнера (539 мс) почти вдвое больше, чем до +Proxmox-хоста (218 мс) — оба идут в один дом. Возможно, дело в сетевом +стеке контейнера. Это стоит проверить, если медленность останется. diff --git a/docs/TASKS.md b/docs/TASKS.md index e0c388d..c0e9c05 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -33,12 +33,12 @@ |---|---|---|---|---| | ЗАВЕРШИТЬ ОБНОВЛЕНИЯ | 15 | 15 | 0 | **0** | | СЕТЬ И ДОСТУП | 6 | 5 | 0 | **1** | -| ЗВОНКИ И МЕДИА | 6 | 4 | 0 | **2** | +| ЗВОНКИ И МЕДИА | 8 | 4 | 1 | **3** | | СКВОЗНАЯ СВЯЗНОСТЬ | 13 | 6 | 2 | **5** | | УЛУЧШЕНИЕ СЛУЖБ | 13 | 9 | 0 | **4** | | VPN (этапы 1–4) | 29 | 21 | 3 | **5** | | РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** | -| **ИТОГО** | **99** | **72** | **6** | **21** | +| **ИТОГО** | **101** | **72** | **7** | **22** | --- @@ -70,6 +70,8 @@ + + @@ -112,6 +114,8 @@ |---|---|---| | 3.1 | **Element Call** на VPS | ✅ работает; исправлены ICE-адреса, добавлен TURN | | 3.1.4 | Проверить звонок после правок ICE и TURN | ⬜ нужен звонок | +| 3.4 | Matrix: зависание при отправке контента | 🔶 причина: канал VPS↔дом 300 мс и 5% потерь + старый клиент Element Classic | +| 3.5 | Заменить транспорт VPS↔дом на Hysteria2 | ⬜ если медленность останется | | 3.1.1 | Указать LiveKit в настройках Synapse | ✅ через .well-known (nginx) | | 3.1.2 | Объявить транспорт в `.well-known` | ✅ rtc_foci на VPS и дома | | 3.1.3 | Ключи связки | ✅ новый ключ LiveKit, служба токенов работает | diff --git a/ops/matrix/enable-bbr.sh b/ops/matrix/enable-bbr.sh new file mode 100755 index 0000000..80aec90 --- /dev/null +++ b/ops/matrix/enable-bbr.sh @@ -0,0 +1,56 @@ +#!/bin/bash +# ============================================================ +# enable-bbr.sh — ускорить передачу на канале с задержкой 236 мс +# ============================================================ +# ПОЧЕМУ: при большой задержке обычный алгоритм (cubic) «прокачивает» +# мало данных: он осторожно увеличивает окно и при любой потере резко +# сбрасывает. BBR оценивает реальную пропускную способность и держит +# скорость — на каналах с задержкой даёт кратный прирост. +# +# ГДЕ ВКЛЮЧАТЬ: на обоих концах (VPS и PVE), потому что данные идут +# между ними. +# ============================================================ +set -uo pipefail +VPS=193.233.210.184 + +echo "=== 1. ЧТО СЕЙЧАС ===" +echo " PVE: $(sysctl -n net.ipv4.tcp_congestion_control 2>/dev/null)" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS "echo ' VPS: '\$(sysctl -n net.ipv4.tcp_congestion_control 2>/dev/null)" 2>&1 +echo " --- доступен ли BBR ---" +echo " PVE: $(sysctl -n net.ipv4.tcp_available_congestion_control 2>/dev/null)" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS "echo ' VPS: '\$(sysctl -n net.ipv4.tcp_available_congestion_control 2>/dev/null)" 2>&1 + +echo +echo "=== 2. ВКЛЮЧАЮ НА PVE ===" +cat > /etc/sysctl.d/99-bbr.conf <<'EOF' +# BBR для каналов с большой задержкой (VPS <-> дом ~236 мс) +net.core.default_qdisc = fq +net.ipv4.tcp_congestion_control = bbr +EOF +sysctl --system >/dev/null 2>&1 +echo " стало: $(sysctl -n net.ipv4.tcp_congestion_control 2>/dev/null), очередь: $(sysctl -n net.core.default_qdisc 2>/dev/null)" + +echo +echo "=== 3. ВКЛЮЧАЮ НА VPS ===" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS 'cat > /etc/sysctl.d/99-bbr.conf < дом ~236 мс) +net.core.default_qdisc = fq +net.ipv4.tcp_congestion_control = bbr +EOF +sysctl --system >/dev/null 2>&1 +echo " стало: $(sysctl -n net.ipv4.tcp_congestion_control 2>/dev/null), очередь: $(sysctl -n net.core.default_qdisc 2>/dev/null)"' 2>&1 | sed 's/^/ /' + +echo +echo "=== 4. ЗАМЕР ПОСЛЕ (10 МБ, 3 попытки) ===" +dd if=/dev/zero of=/tmp/t10.bin bs=1M count=10 2>/dev/null +for i in 1 2 3; do + t=$(curl -s -o /dev/null -w '%{time_total} %{speed_upload}' --max-time 120 -X POST --data-binary @/tmp/t10.bin "https://matrix.buryans.ru/_matrix/media/v3/upload" 2>/dev/null) + echo " попытка $i: $t" +done +rm -f /tmp/t10.bin + +echo +echo "=== 5. ПРОВЕРКА, ЧТО ВОЗВРАТ НЕ ПОСТРАДАЛ ===" +echo " matrix: $(curl -s -o /dev/null -w '%{http_code}' --max-time 10 https://matrix.buryans.ru/_matrix/client/versions)" +echo " element: $(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k https://element.buryans.ru/)" +echo " hub: $(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k https://hub.buryans.ru/)" diff --git a/ops/matrix/nginx-upload-tune.sh b/ops/matrix/nginx-upload-tune.sh new file mode 100755 index 0000000..16baa29 --- /dev/null +++ b/ops/matrix/nginx-upload-tune.sh @@ -0,0 +1,82 @@ +#!/bin/bash +# ============================================================ +# matrix-upload-tune.sh — убрать зависание загрузки +# ============================================================ +# ПРИЧИНА: задержка между VPS и домом 236 мс (до Matrix 539 мс). +# При такой задержке nginx по умолчанию буферизует ВСЁ тело запроса, +# прежде чем начать передачу, и обрывает соединение по таймауту. Клиент +# видит «зависло», потом «обрыв». +# +# ЧТО ДЕЛАЮ: +# 1. отключаю буферизацию тела запроса для Matrix — файл идёт потоком, +# без ожидания полной загрузки в память nginx; +# 2. увеличиваю таймауты до 300 с (большой файл на медленном канале); +# 3. поднимаю лимит загрузки в Synapse с 50 до 200 МБ; +# 4. замеряю до и после. +# ============================================================ +set -uo pipefail +VPS=193.233.210.184 +VCONF=/etc/nginx/conf.d/buryans-all.conf + +echo "=== 1. ЗАМЕР ДО ===" +dd if=/dev/zero of=/tmp/test5m.bin bs=1M count=5 2>/dev/null +t=$(curl -s -o /dev/null -w '%{time_total}' --max-time 90 -X POST --data-binary @/tmp/test5m.bin "https://matrix.buryans.ru/_matrix/media/v3/upload" 2>/dev/null) +echo " 5 МБ: ${t:-—} с" + +echo +echo "=== 2. ПРАВЛЮ NGINX НА VPS ===" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS "cp -p $VCONF $VCONF.before-matrix-tune; python3 - <<'PY' +import re +p = '/etc/nginx/conf.d/buryans-all.conf' +t = open(p, encoding='utf-8').read() +m = re.search(r'server_name\s+matrix\.buryans\.ru\s*;', t) +if not m: + print(' блок matrix не найден'); raise SystemExit +loc = t.find('location / {', m.end()) +if loc == -1: + print(' нет location /'); raise SystemExit +# вставляю настройки потоковой передачи перед location +block = ''' # Загрузка файлов: не буферизовать тело, длинные таймауты. + # Причина: задержка VPS -> дом 236 мс, из-за буферизации nginx + # клиент видел «зависло», потом обрыв. + proxy_request_buffering off; + proxy_buffering off; + proxy_send_timeout 300s; + proxy_read_timeout 300s; + +''' +line_start = t.rfind(chr(10), 0, loc) + 1 +if 'proxy_request_buffering off' in t[m.end():loc+200]: + print(' уже настроено') +else: + t = t[:line_start] + block + t[line_start:] + open(p, 'w', encoding='utf-8').write(t) + print(' настройки добавлены') +PY +nginx -t 2>&1 | tail -1 && systemctl reload nginx && echo ' nginx перезагружен'" 2>&1 | sed 's/^/ /' + +echo +echo "=== 3. ЛИМИТ ЗАГРУЗКИ В SYNAPSE ===" +pct exec 155 -- bash -c 'grep -n "max_upload_size" /opt/matrix/data/homeserver.yaml 2>/dev/null' | sed 's/^/ было: /' +pct exec 155 -- bash -c 'cp -p /opt/matrix/data/homeserver.yaml /opt/matrix/data/homeserver.yaml.before-upload-limit' +pct exec 155 -- sed -i 's/max_upload_size: "50M"/max_upload_size: "200M"/' /opt/matrix/data/homeserver.yaml +pct exec 155 -- bash -c 'grep -n "max_upload_size" /opt/matrix/data/homeserver.yaml' | sed 's/^/ стало: /' +echo " --- перезапускаю Synapse ---" +pct exec 155 -- bash -c 'cd /opt/matrix && docker compose restart synapse 2>&1 | tail -2' | sed 's/^/ /' +sleep 25 +echo " состояние: $(pct exec 155 -- docker inspect matrix-synapse --format '{{.State.Status}}' 2>/dev/null)" +echo " здоровье: $(curl -s -o /dev/null -w '%{http_code}' --max-time 10 https://matrix.buryans.ru/_matrix/client/versions 2>/dev/null)" + +echo +echo "=== 4. ЗАМЕР ПОСЛЕ ===" +for i in 1 2; do + t=$(curl -s -o /dev/null -w '%{time_total}' --max-time 90 -X POST --data-binary @/tmp/test5m.bin "https://matrix.buryans.ru/_matrix/media/v3/upload" 2>/dev/null) + echo " попытка $i: ${t:-—} с" +done + +echo +echo "=== 5. ПРОВЕРКА ЗАГРУЗКИ 10 МБ ===" +dd if=/dev/zero of=/tmp/test10m.bin bs=1M count=10 2>/dev/null +t=$(curl -s -o /dev/null -w '%{time_total}' --max-time 120 -X POST --data-binary @/tmp/test10m.bin "https://matrix.buryans.ru/_matrix/media/v3/upload" 2>/dev/null) +echo " 10 МБ: ${t:-—} с" +rm -f /tmp/test5m.bin /tmp/test10m.bin diff --git a/ops/matrix/tcp-tune.sh b/ops/matrix/tcp-tune.sh new file mode 100755 index 0000000..3a8b92e --- /dev/null +++ b/ops/matrix/tcp-tune.sh @@ -0,0 +1,69 @@ +#!/bin/bash +# ============================================================ +# tcp-tune-lossy.sh — настройка под канал с потерями и задержкой +# ============================================================ +# ФАКТЫ: задержка VPS <-> дом 236-312 мс, потери 5%. +# При потерях TCP резко сбрасывает скорость, а при большой задержке не +# успевает её восстановить. Отсюда «зависло — оборвалось». +# +# ЧТО НАСТРАИВАЮ: +# * tcp_mtu_probing — сам подбирает размер пакета, если путь режет MTU; +# * отключаю сброс окна после простоя (у нас постоянные паузы); +# * увеличиваю буферы — на канале с задержкой окно должно быть большим; +# * BBR уже включён. +# ============================================================ +set -uo pipefail +VPS=193.233.210.184 + +CONF='# Настройка под канал VPS <-> дом: задержка ~300 мс, потери до 5% +net.core.default_qdisc = fq +net.ipv4.tcp_congestion_control = bbr +net.ipv4.tcp_mtu_probing = 1 +net.ipv4.tcp_slow_start_after_idle = 0 +net.ipv4.tcp_notsent_lowat = 131072 +net.core.rmem_max = 33554432 +net.core.wmem_max = 33554432 +net.ipv4.tcp_rmem = 4096 87380 33554432 +net.ipv4.tcp_wmem = 4096 65536 33554432' + +echo "=== 1. ПРИМЕНЯЮ НА PVE ===" +printf '%s\n' "$CONF" > /etc/sysctl.d/99-bbr.conf +sysctl --system >/dev/null 2>&1 +echo " алгоритм: $(sysctl -n net.ipv4.tcp_congestion_control), буфер приёма: $(sysctl -n net.core.rmem_max)" + +echo +echo "=== 2. ПРИМЕНЯЮ НА VPS ===" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS "cat > /etc/sysctl.d/99-bbr.conf <<'EOF' +$CONF +EOF +sysctl --system >/dev/null 2>&1 +echo \" алгоритм: \$(sysctl -n net.ipv4.tcp_congestion_control), буфер приёма: \$(sysctl -n net.core.rmem_max)\"" 2>&1 | sed 's/^/ /' + +echo +echo "=== 3. MTU ТУННЕЛЯ: ПРОБУЮ ПОДНЯТЬ ===" +echo " сейчас: $(ip link show tailscale0 2>/dev/null | grep -o 'mtu [0-9]*')" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS 'ip link set tailscale0 mtu 1400 2>/dev/null && echo " VPS: поднят до 1400" || echo " VPS: не удалось"' 2>&1 | sed 's/^/ /' +ip link set tailscale0 mtu 1400 2>/dev/null && echo " дом: поднят до 1400" || echo " дом: не удалось" +echo " --- проверка проходимости ---" +ssh -o BatchMode=yes -o ConnectTimeout=20 root@$VPS 'ping -c 3 -M do -s 1372 100.64.0.4 2>/dev/null | tail -2' 2>&1 | sed 's/^/ /' +echo " (если 100% потерь — MTU 1400 не проходит, верну 1280)" + +echo +echo "=== 4. ЗАМЕР: 5 ЗАГРУЗОК ПО 10 МБ ===" +dd if=/dev/zero of=/tmp/t10.bin bs=1M count=10 2>/dev/null +sum=0; n=0 +for i in 1 2 3 4 5; do + r=$(curl -s -o /dev/null -w '%{time_total} %{speed_upload}' --max-time 90 -X POST --data-binary @/tmp/t10.bin "https://matrix.buryans.ru/_matrix/media/v3/upload" 2>/dev/null) + echo " попытка $i: $r" + t=$(echo "$r" | awk '{print $1}') + awk -v t="$t" 'BEGIN{exit !(t>0 && t<90)}' && { sum=$(awk -v a="$sum" -v b="$t" 'BEGIN{print a+b}'); n=$((n+1)); } + sleep 2 +done +rm -f /tmp/t10.bin +[ "$n" -gt 0 ] && echo " --- среднее: $(awk -v s="$sum" -v c="$n" 'BEGIN{printf "%.1f", s/c}') с на 10 МБ (успешных $n из 5)" + +echo +echo "=== 5. ВОЗВРАТ НЕ ПОСТРАДАЛ ===" +for d in matrix element hub authentik; do + printf ' %-10s %s\n' "$d" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k https://$d.buryans.ru/ 2>/dev/null)" +done