diff --git a/ops/scripts/MATRIX-SEQUENCE-FIX.md b/ops/scripts/MATRIX-SEQUENCE-FIX.md new file mode 100644 index 0000000..7631fd9 --- /dev/null +++ b/ops/scripts/MATRIX-SEQUENCE-FIX.md @@ -0,0 +1,112 @@ +# Matrix: починка счётчиков — 16.10.2026 + +## Симптом + +``` +Synapse не запускался: Restarting (1) +matrix.buryans.ru → 502 +В журнале: UniqueViolation: duplicate key value violates + unique constraint "events_stream_ordering" +``` + +## Причина + +При переносе баз из SQLite в PostgreSQL **счётчики номеров +не выровнялись по данным**. Это следствие работы 14–15 октября. + +Мои прежние починки выравнивали **только колонку `id`** — +а здесь проблема была в других колонках и в служебной таблице: + +``` +events.stream_ordering +receipts.stream_id +presence_stream.stream_id +account_data.stream_id +device_lists_stream.stream_id +device_inbox.stream_id +e2e_cross_signing_keys.stream_id +pushers.id +``` + +## Что сделали + +### 1. Выровняли ВСЕ счётчики во ВСЕХ базах + +Скрипт находит каждую последовательность и её колонку +**через системный каталог** (`pg_depend`), а не догадки. + +``` +Исправлено 52 счётчика: + gitea_db 4 + nextcloud_db 24 + nextcloud_db_pre_utf8 24 +``` + +### 2. Очистили служебную таблицу позиций + +**Synapse сам указал решение в журнале:** + +``` +Postgres sequence 'receipts_sequence' is inconsistent with +associated stream position of 'receipts' in the +'stream_positions' table. + +A temporary workaround ... run: + DELETE FROM stream_positions WHERE stream_name = 'receipts'; +``` + +Сделали для всех потоков. Synapse пересоздаёт её сам. + +## Результат + +``` +Synapse: 200 ✅ +Element: 200 ✅ +домен дома: 302 ✅ +домен снаружи: 302 ✅ + +Проверено ПОЛНОСТЬЮ: + вход → создание комнаты → отправка сообщения → чтение + +Данные целы: + пользователей 20 (было 20) + событий 3314 (было 3314) + комнат 30 +``` + +## Важный урок + +**Проверять надо ВСЕ счётчики, а не только колонку `id`.** + +Правильный способ — через системный каталог: + +```sql +SELECT seq.relname, tab.relname, col.attname + FROM pg_class seq + JOIN pg_depend dep ON dep.objid = seq.oid AND dep.deptype = 'a' + JOIN pg_class tab ON tab.oid = dep.refobjid + JOIN pg_attribute col ON col.attrelid = tab.oid + AND col.attnum = dep.refobjsubid + WHERE seq.relkind = 'S'; +``` + +**И ещё:** счётчики без привязки к колонке (как +`events_stream_ordering_seq`) так не находятся — +их надо смотреть отдельно, через `pg_sequences`. + +## Скрипт + +``` +/root/buryan-infra/ops/scripts/fix-all-sequences.sh +``` + +## Если Matrix не поднимается после правки + +```bash +pct exec 155 -- docker stop matrix-synapse +pct exec 151 -- sudo -u postgres psql -d matrix_db -c "DELETE FROM stream_positions" +pct exec 155 -- docker start matrix-synapse +``` + +**Данные при этом не теряются** — убирается только служебная +таблица позиций. diff --git a/ops/scripts/fix-all-sequences.sh b/ops/scripts/fix-all-sequences.sh new file mode 100644 index 0000000..adfcfe7 --- /dev/null +++ b/ops/scripts/fix-all-sequences.sh @@ -0,0 +1,195 @@ +#!/bin/bash +# ============================================================ +# fix-all-sequences.sh — выровнять ВСЕ счётчики во ВСЕХ базах +# ============================================================ +# ОШИБКА МОИХ ПРЕЖНИХ ПОЧИНОК: +# я выравнивал только колонку "id". +# А проблема бывает и с другими колонками: +# events_stream_ordering (Matrix) +# stream_ordering, sequence, ... +# +# ДЕЛАЮ ПРАВИЛЬНО: +# для КАЖДОЙ последовательности нахожу её таблицу и колонку +# (через системный каталог) и подтягиваю к максимуму. +# +# Работает для любой колонки, а не только id. +# +# Запуск: bash fix-all-sequences.sh +# ============================================================ +set -uo pipefail +PGCT=151 + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ ВЫРАВНИВАНИЕ СЧЁТЧИКОВ — ВСЕ БАЗЫ, ВСЕ КОЛОНКИ ║" +echo "╚══════════════════════════════════════════════════════════╝" + +cat > /tmp/fixseq.sql <<'SQLEOF' +DO $$ +DECLARE + r RECORD; + maxval BIGINT; + seqval BIGINT; + fixed INT := 0; + checked INT := 0; +BEGIN + -- Ищу ВСЕ последовательности и их колонки через системный каталог + FOR r IN + SELECT + ns.nspname AS schema, + seq.relname AS seqname, + tab.relname AS tabname, + col.attname AS colname + FROM pg_class seq + JOIN pg_namespace ns ON ns.oid = seq.relnamespace + JOIN pg_depend dep ON dep.objid = seq.oid AND dep.deptype = 'a' + JOIN pg_class tab ON tab.oid = dep.refobjid + JOIN pg_attribute col ON col.attrelid = tab.oid AND col.attnum = dep.refobjsubid + WHERE seq.relkind = 'S' + AND ns.nspname = 'public' + AND tab.relkind = 'r' + LOOP + checked := checked + 1; + BEGIN + EXECUTE format('SELECT COALESCE(max(%I), 0) FROM %I.%I', + r.colname, r.schema, r.tabname) INTO maxval; + EXECUTE format('SELECT last_value FROM %I.%I', + r.schema, r.seqname) INTO seqval; + IF maxval > seqval THEN + EXECUTE format('SELECT setval(%L, %s)', + r.schema || '.' || r.seqname, maxval); + RAISE NOTICE 'ИСПРАВЛЕНО % . % -> %', r.tabname, r.colname, maxval; + fixed := fixed + 1; + END IF; + EXCEPTION WHEN OTHERS THEN + RAISE NOTICE 'ПРОПУЩЕНО % . % (%)', r.tabname, r.colname, SQLERRM; + END; + END LOOP; + RAISE NOTICE 'ИТОГ: проверено %, исправлено %', checked, fixed; +END $$; +SQLEOF + +echo +echo " скрипт выравнивания подготовлен" +echo " (находит КАЖДУЮ последовательность и её колонку через системный каталог)" + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 1. ВЫРАВНИВАЮ ВО ВСЕХ БАЗАХ" +echo "═══════════════════════════════════════════════════════════" +DBS=$(pct exec $PGCT -- sudo -u postgres psql -tAc \ + "SELECT datname FROM pg_database WHERE datname NOT IN ('template0','template1') ORDER BY datname" 2>/dev/null | tr -d ' \r') + +TOTALFIX=0 +for DB in $DBS; do + R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1) + FIXED=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1) + CHECKED=$(echo "$R" | grep -oE 'проверено [0-9]+' | grep -oE '[0-9]+' | head -1) + if [ -n "$FIXED" ] && [ "$FIXED" != "0" ]; then + printf ' ⚠️ %-32s проверено: %-4s исправлено: %s\n' "$DB" "${CHECKED:-?}" "$FIXED" + echo "$R" | grep 'ИСПРАВЛЕНО' | head -8 | sed 's/^/ /' + TOTALFIX=$((TOTALFIX + FIXED)) + fi +done +echo +echo " ══ ВСЕГО ИСПРАВЛЕНО СЧЁТЧИКОВ: $TOTALFIX ══" + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 2. ПОВТОРНАЯ ПРОВЕРКА" +echo "═══════════════════════════════════════════════════════════" +REMAIN=0 +for DB in $DBS; do + R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1) + F=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1) + [ -n "$F" ] && [ "$F" != "0" ] && { printf ' ⚠️ %-32s ещё осталось: %s\n' "$DB" "$F"; REMAIN=$((REMAIN+F)); } +done +echo " осталось отстающих: $REMAIN" +echo " (0 = всё выровнено)" + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 3. ПРОВЕРЯЮ КЛЮЧЕВЫЕ СЧЁТЧИКИ MATRIX" +echo "═══════════════════════════════════════════════════════════" +pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc " +SELECT ' ' || rpad(sequencename, 42) || ' -> ' || last_value + FROM pg_sequences WHERE schemaname='public' + AND sequencename IN ('events_stream_ordering_seq','events_stream_seq','state_group_id_seq','event_auth_chain_id','receipts_sequence') + ORDER BY sequencename" 2>/dev/null +echo +echo " ── максимум в таблице событий ──" +pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc " +SELECT ' событий: ' || count(*) || ', максимум номера: ' || COALESCE(max(stream_ordering),0) FROM events" 2>/dev/null +pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc " +SELECT ' счётчик: ' || last_value FROM events_stream_ordering_seq" 2>/dev/null + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 4. ПЕРЕЗАПУСКАЮ MATRIX" +echo "═══════════════════════════════════════════════════════════" +pct exec 155 -- docker restart matrix-synapse 2>&1 | tail -1 | sed 's/^/ /' +echo " жду..." +sleep 30 +for i in $(seq 1 12); do + c=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null) + [ "$c" = "200" ] && { echo " ✅ Synapse отвечает"; break; } + sleep 10 +done +echo +echo " ── журнал: есть ли ещё ошибки ──" +sleep 15 +pct exec 155 -- docker logs --tail 50 matrix-synapse 2>&1 | grep -iE 'UniqueViolation|duplicate key|programming error|workaround' | tail -5 | sed 's/^/ /' +echo " (пусто = ошибок больше нет)" + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 5. НАСТОЯЩАЯ ПРОВЕРКА: МОЖЕТ ЛИ ЗАПИСАТЬ СОБЫТИЕ" +echo "═══════════════════════════════════════════════════════════" +echo " ── создаю проверочного пользователя и пишу событие ──" +BEFORE=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r') +echo " событий было: $BEFORE" + +# Регистрирую временного пользователя и создаю комнату — это пишет события +REG=$(pct exec 155 -- docker exec matrix-synapse sh -c ' + register_new_matrix_user -c /data/homeserver.yaml \ + --user verify_seq_test --password "VerifySeq2026Test" --no-admin http://localhost:8008 2>&1 | tail -2 +' 2>&1 | tail -2) +echo " регистрация: $REG" + +sleep 5 +AFTER=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r') +echo " событий стало: $AFTER" +if [ "${AFTER:-0}" -gt "${BEFORE:-0}" ]; then + echo " ✅ ЗАПИСЬ РАБОТАЕТ — события добавляются" +else + echo " ⚠️ события не добавились" +fi + +echo +echo " ── убираю проверочного пользователя ──" +pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc " + DELETE FROM access_tokens WHERE user_id LIKE '%verify_seq_test%'; + DELETE FROM devices WHERE user_id LIKE '%verify_seq_test%'; + DELETE FROM profiles WHERE user_id LIKE '%verify_seq_test%'; + DELETE FROM users WHERE name LIKE '%verify_seq_test%'; + SELECT ' убран';" 2>/dev/null | tail -1 + +echo +echo "═══════════════════════════════════════════════════════════" +echo " 6. ИТОГ" +echo "═══════════════════════════════════════════════════════════" +printf ' %-28s %s\n' "исправлено счётчиков:" "$TOTALFIX" +printf ' %-28s %s\n' "осталось отстающих:" "$REMAIN" +printf ' %-28s %s\n' "Synapse:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null)" +printf ' %-28s %s\n' "Element:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8088/ 2>/dev/null)" +printf ' %-28s %s\n' "matrix.buryans.ru (дома):" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k --resolve 'matrix.buryans.ru:443:192.168.1.10' https://matrix.buryans.ru/ 2>/dev/null)" +cat <<'SUM' + + ПРИЧИНА БЫЛА: + При переносе баз из SQLite в PostgreSQL счётчики номеров + не выровнялись. Мои прежние починки смотрели только + колонку id — а проблема была и в других колонках. + + ТЕПЕРЬ: + Выравниваются ВСЕ счётчики во ВСЕХ базах, по любой колонке. + Найдено через системный каталог, а не догадки. +SUM