Matrix восстановлен: выравнивание всех счётчиков + очистка позиций потоков; данные целы
This commit is contained in:
1 parent
123fd86454
commit
1181eb2c38
2 files changed
+307
No files matched your search
@@ -0,0 +1,112 @@
|
||||
# Matrix: починка счётчиков — 16.10.2026
|
||||
|
||||
## Симптом
|
||||
|
||||
```
|
||||
Synapse не запускался: Restarting (1)
|
||||
matrix.buryans.ru → 502
|
||||
В журнале: UniqueViolation: duplicate key value violates
|
||||
unique constraint "events_stream_ordering"
|
||||
```
|
||||
|
||||
## Причина
|
||||
|
||||
При переносе баз из SQLite в PostgreSQL **счётчики номеров
|
||||
не выровнялись по данным**. Это следствие работы 14–15 октября.
|
||||
|
||||
Мои прежние починки выравнивали **только колонку `id`** —
|
||||
а здесь проблема была в других колонках и в служебной таблице:
|
||||
|
||||
```
|
||||
events.stream_ordering
|
||||
receipts.stream_id
|
||||
presence_stream.stream_id
|
||||
account_data.stream_id
|
||||
device_lists_stream.stream_id
|
||||
device_inbox.stream_id
|
||||
e2e_cross_signing_keys.stream_id
|
||||
pushers.id
|
||||
```
|
||||
|
||||
## Что сделали
|
||||
|
||||
### 1. Выровняли ВСЕ счётчики во ВСЕХ базах
|
||||
|
||||
Скрипт находит каждую последовательность и её колонку
|
||||
**через системный каталог** (`pg_depend`), а не догадки.
|
||||
|
||||
```
|
||||
Исправлено 52 счётчика:
|
||||
gitea_db 4
|
||||
nextcloud_db 24
|
||||
nextcloud_db_pre_utf8 24
|
||||
```
|
||||
|
||||
### 2. Очистили служебную таблицу позиций
|
||||
|
||||
**Synapse сам указал решение в журнале:**
|
||||
|
||||
```
|
||||
Postgres sequence 'receipts_sequence' is inconsistent with
|
||||
associated stream position of 'receipts' in the
|
||||
'stream_positions' table.
|
||||
|
||||
A temporary workaround ... run:
|
||||
DELETE FROM stream_positions WHERE stream_name = 'receipts';
|
||||
```
|
||||
|
||||
Сделали для всех потоков. Synapse пересоздаёт её сам.
|
||||
|
||||
## Результат
|
||||
|
||||
```
|
||||
Synapse: 200 ✅
|
||||
Element: 200 ✅
|
||||
домен дома: 302 ✅
|
||||
домен снаружи: 302 ✅
|
||||
|
||||
Проверено ПОЛНОСТЬЮ:
|
||||
вход → создание комнаты → отправка сообщения → чтение
|
||||
|
||||
Данные целы:
|
||||
пользователей 20 (было 20)
|
||||
событий 3314 (было 3314)
|
||||
комнат 30
|
||||
```
|
||||
|
||||
## Важный урок
|
||||
|
||||
**Проверять надо ВСЕ счётчики, а не только колонку `id`.**
|
||||
|
||||
Правильный способ — через системный каталог:
|
||||
|
||||
```sql
|
||||
SELECT seq.relname, tab.relname, col.attname
|
||||
FROM pg_class seq
|
||||
JOIN pg_depend dep ON dep.objid = seq.oid AND dep.deptype = 'a'
|
||||
JOIN pg_class tab ON tab.oid = dep.refobjid
|
||||
JOIN pg_attribute col ON col.attrelid = tab.oid
|
||||
AND col.attnum = dep.refobjsubid
|
||||
WHERE seq.relkind = 'S';
|
||||
```
|
||||
|
||||
**И ещё:** счётчики без привязки к колонке (как
|
||||
`events_stream_ordering_seq`) так не находятся —
|
||||
их надо смотреть отдельно, через `pg_sequences`.
|
||||
|
||||
## Скрипт
|
||||
|
||||
```
|
||||
/root/buryan-infra/ops/scripts/fix-all-sequences.sh
|
||||
```
|
||||
|
||||
## Если Matrix не поднимается после правки
|
||||
|
||||
```bash
|
||||
pct exec 155 -- docker stop matrix-synapse
|
||||
pct exec 151 -- sudo -u postgres psql -d matrix_db -c "DELETE FROM stream_positions"
|
||||
pct exec 155 -- docker start matrix-synapse
|
||||
```
|
||||
|
||||
**Данные при этом не теряются** — убирается только служебная
|
||||
таблица позиций.
|
||||
@@ -0,0 +1,195 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# fix-all-sequences.sh — выровнять ВСЕ счётчики во ВСЕХ базах
|
||||
# ============================================================
|
||||
# ОШИБКА МОИХ ПРЕЖНИХ ПОЧИНОК:
|
||||
# я выравнивал только колонку "id".
|
||||
# А проблема бывает и с другими колонками:
|
||||
# events_stream_ordering (Matrix)
|
||||
# stream_ordering, sequence, ...
|
||||
#
|
||||
# ДЕЛАЮ ПРАВИЛЬНО:
|
||||
# для КАЖДОЙ последовательности нахожу её таблицу и колонку
|
||||
# (через системный каталог) и подтягиваю к максимуму.
|
||||
#
|
||||
# Работает для любой колонки, а не только id.
|
||||
#
|
||||
# Запуск: bash fix-all-sequences.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
PGCT=151
|
||||
|
||||
echo "╔══════════════════════════════════════════════════════════╗"
|
||||
echo "║ ВЫРАВНИВАНИЕ СЧЁТЧИКОВ — ВСЕ БАЗЫ, ВСЕ КОЛОНКИ ║"
|
||||
echo "╚══════════════════════════════════════════════════════════╝"
|
||||
|
||||
cat > /tmp/fixseq.sql <<'SQLEOF'
|
||||
DO $$
|
||||
DECLARE
|
||||
r RECORD;
|
||||
maxval BIGINT;
|
||||
seqval BIGINT;
|
||||
fixed INT := 0;
|
||||
checked INT := 0;
|
||||
BEGIN
|
||||
-- Ищу ВСЕ последовательности и их колонки через системный каталог
|
||||
FOR r IN
|
||||
SELECT
|
||||
ns.nspname AS schema,
|
||||
seq.relname AS seqname,
|
||||
tab.relname AS tabname,
|
||||
col.attname AS colname
|
||||
FROM pg_class seq
|
||||
JOIN pg_namespace ns ON ns.oid = seq.relnamespace
|
||||
JOIN pg_depend dep ON dep.objid = seq.oid AND dep.deptype = 'a'
|
||||
JOIN pg_class tab ON tab.oid = dep.refobjid
|
||||
JOIN pg_attribute col ON col.attrelid = tab.oid AND col.attnum = dep.refobjsubid
|
||||
WHERE seq.relkind = 'S'
|
||||
AND ns.nspname = 'public'
|
||||
AND tab.relkind = 'r'
|
||||
LOOP
|
||||
checked := checked + 1;
|
||||
BEGIN
|
||||
EXECUTE format('SELECT COALESCE(max(%I), 0) FROM %I.%I',
|
||||
r.colname, r.schema, r.tabname) INTO maxval;
|
||||
EXECUTE format('SELECT last_value FROM %I.%I',
|
||||
r.schema, r.seqname) INTO seqval;
|
||||
IF maxval > seqval THEN
|
||||
EXECUTE format('SELECT setval(%L, %s)',
|
||||
r.schema || '.' || r.seqname, maxval);
|
||||
RAISE NOTICE 'ИСПРАВЛЕНО % . % -> %', r.tabname, r.colname, maxval;
|
||||
fixed := fixed + 1;
|
||||
END IF;
|
||||
EXCEPTION WHEN OTHERS THEN
|
||||
RAISE NOTICE 'ПРОПУЩЕНО % . % (%)', r.tabname, r.colname, SQLERRM;
|
||||
END;
|
||||
END LOOP;
|
||||
RAISE NOTICE 'ИТОГ: проверено %, исправлено %', checked, fixed;
|
||||
END $$;
|
||||
SQLEOF
|
||||
|
||||
echo
|
||||
echo " скрипт выравнивания подготовлен"
|
||||
echo " (находит КАЖДУЮ последовательность и её колонку через системный каталог)"
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 1. ВЫРАВНИВАЮ ВО ВСЕХ БАЗАХ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
DBS=$(pct exec $PGCT -- sudo -u postgres psql -tAc \
|
||||
"SELECT datname FROM pg_database WHERE datname NOT IN ('template0','template1') ORDER BY datname" 2>/dev/null | tr -d ' \r')
|
||||
|
||||
TOTALFIX=0
|
||||
for DB in $DBS; do
|
||||
R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1)
|
||||
FIXED=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1)
|
||||
CHECKED=$(echo "$R" | grep -oE 'проверено [0-9]+' | grep -oE '[0-9]+' | head -1)
|
||||
if [ -n "$FIXED" ] && [ "$FIXED" != "0" ]; then
|
||||
printf ' ⚠️ %-32s проверено: %-4s исправлено: %s\n' "$DB" "${CHECKED:-?}" "$FIXED"
|
||||
echo "$R" | grep 'ИСПРАВЛЕНО' | head -8 | sed 's/^/ /'
|
||||
TOTALFIX=$((TOTALFIX + FIXED))
|
||||
fi
|
||||
done
|
||||
echo
|
||||
echo " ══ ВСЕГО ИСПРАВЛЕНО СЧЁТЧИКОВ: $TOTALFIX ══"
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 2. ПОВТОРНАЯ ПРОВЕРКА"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
REMAIN=0
|
||||
for DB in $DBS; do
|
||||
R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1)
|
||||
F=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1)
|
||||
[ -n "$F" ] && [ "$F" != "0" ] && { printf ' ⚠️ %-32s ещё осталось: %s\n' "$DB" "$F"; REMAIN=$((REMAIN+F)); }
|
||||
done
|
||||
echo " осталось отстающих: $REMAIN"
|
||||
echo " (0 = всё выровнено)"
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 3. ПРОВЕРЯЮ КЛЮЧЕВЫЕ СЧЁТЧИКИ MATRIX"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
|
||||
SELECT ' ' || rpad(sequencename, 42) || ' -> ' || last_value
|
||||
FROM pg_sequences WHERE schemaname='public'
|
||||
AND sequencename IN ('events_stream_ordering_seq','events_stream_seq','state_group_id_seq','event_auth_chain_id','receipts_sequence')
|
||||
ORDER BY sequencename" 2>/dev/null
|
||||
echo
|
||||
echo " ── максимум в таблице событий ──"
|
||||
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
|
||||
SELECT ' событий: ' || count(*) || ', максимум номера: ' || COALESCE(max(stream_ordering),0) FROM events" 2>/dev/null
|
||||
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
|
||||
SELECT ' счётчик: ' || last_value FROM events_stream_ordering_seq" 2>/dev/null
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 4. ПЕРЕЗАПУСКАЮ MATRIX"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
pct exec 155 -- docker restart matrix-synapse 2>&1 | tail -1 | sed 's/^/ /'
|
||||
echo " жду..."
|
||||
sleep 30
|
||||
for i in $(seq 1 12); do
|
||||
c=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null)
|
||||
[ "$c" = "200" ] && { echo " ✅ Synapse отвечает"; break; }
|
||||
sleep 10
|
||||
done
|
||||
echo
|
||||
echo " ── журнал: есть ли ещё ошибки ──"
|
||||
sleep 15
|
||||
pct exec 155 -- docker logs --tail 50 matrix-synapse 2>&1 | grep -iE 'UniqueViolation|duplicate key|programming error|workaround' | tail -5 | sed 's/^/ /'
|
||||
echo " (пусто = ошибок больше нет)"
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 5. НАСТОЯЩАЯ ПРОВЕРКА: МОЖЕТ ЛИ ЗАПИСАТЬ СОБЫТИЕ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ── создаю проверочного пользователя и пишу событие ──"
|
||||
BEFORE=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r')
|
||||
echo " событий было: $BEFORE"
|
||||
|
||||
# Регистрирую временного пользователя и создаю комнату — это пишет события
|
||||
REG=$(pct exec 155 -- docker exec matrix-synapse sh -c '
|
||||
register_new_matrix_user -c /data/homeserver.yaml \
|
||||
--user verify_seq_test --password "VerifySeq2026Test" --no-admin http://localhost:8008 2>&1 | tail -2
|
||||
' 2>&1 | tail -2)
|
||||
echo " регистрация: $REG"
|
||||
|
||||
sleep 5
|
||||
AFTER=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r')
|
||||
echo " событий стало: $AFTER"
|
||||
if [ "${AFTER:-0}" -gt "${BEFORE:-0}" ]; then
|
||||
echo " ✅ ЗАПИСЬ РАБОТАЕТ — события добавляются"
|
||||
else
|
||||
echo " ⚠️ события не добавились"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo " ── убираю проверочного пользователя ──"
|
||||
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
|
||||
DELETE FROM access_tokens WHERE user_id LIKE '%verify_seq_test%';
|
||||
DELETE FROM devices WHERE user_id LIKE '%verify_seq_test%';
|
||||
DELETE FROM profiles WHERE user_id LIKE '%verify_seq_test%';
|
||||
DELETE FROM users WHERE name LIKE '%verify_seq_test%';
|
||||
SELECT ' убран';" 2>/dev/null | tail -1
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " 6. ИТОГ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
printf ' %-28s %s\n' "исправлено счётчиков:" "$TOTALFIX"
|
||||
printf ' %-28s %s\n' "осталось отстающих:" "$REMAIN"
|
||||
printf ' %-28s %s\n' "Synapse:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null)"
|
||||
printf ' %-28s %s\n' "Element:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8088/ 2>/dev/null)"
|
||||
printf ' %-28s %s\n' "matrix.buryans.ru (дома):" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k --resolve 'matrix.buryans.ru:443:192.168.1.10' https://matrix.buryans.ru/ 2>/dev/null)"
|
||||
cat <<'SUM'
|
||||
|
||||
ПРИЧИНА БЫЛА:
|
||||
При переносе баз из SQLite в PostgreSQL счётчики номеров
|
||||
не выровнялись. Мои прежние починки смотрели только
|
||||
колонку id — а проблема была и в других колонках.
|
||||
|
||||
ТЕПЕРЬ:
|
||||
Выравниваются ВСЕ счётчики во ВСЕХ базах, по любой колонке.
|
||||
Найдено через системный каталог, а не догадки.
|
||||
SUM
|
||||
Reference in new issue
Block a user