Files
buryan-infra/ops/scripts/fix-all-sequences.sh
T

196 lines
11 KiB
Bash

#!/bin/bash
# ============================================================
# fix-all-sequences.sh — выровнять ВСЕ счётчики во ВСЕХ базах
# ============================================================
# ОШИБКА МОИХ ПРЕЖНИХ ПОЧИНОК:
# я выравнивал только колонку "id".
# А проблема бывает и с другими колонками:
# events_stream_ordering (Matrix)
# stream_ordering, sequence, ...
#
# ДЕЛАЮ ПРАВИЛЬНО:
# для КАЖДОЙ последовательности нахожу её таблицу и колонку
# (через системный каталог) и подтягиваю к максимуму.
#
# Работает для любой колонки, а не только id.
#
# Запуск: bash fix-all-sequences.sh
# ============================================================
set -uo pipefail
PGCT=151
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ВЫРАВНИВАНИЕ СЧЁТЧИКОВ — ВСЕ БАЗЫ, ВСЕ КОЛОНКИ ║"
echo "╚══════════════════════════════════════════════════════════╝"
cat > /tmp/fixseq.sql <<'SQLEOF'
DO $$
DECLARE
r RECORD;
maxval BIGINT;
seqval BIGINT;
fixed INT := 0;
checked INT := 0;
BEGIN
-- Ищу ВСЕ последовательности и их колонки через системный каталог
FOR r IN
SELECT
ns.nspname AS schema,
seq.relname AS seqname,
tab.relname AS tabname,
col.attname AS colname
FROM pg_class seq
JOIN pg_namespace ns ON ns.oid = seq.relnamespace
JOIN pg_depend dep ON dep.objid = seq.oid AND dep.deptype = 'a'
JOIN pg_class tab ON tab.oid = dep.refobjid
JOIN pg_attribute col ON col.attrelid = tab.oid AND col.attnum = dep.refobjsubid
WHERE seq.relkind = 'S'
AND ns.nspname = 'public'
AND tab.relkind = 'r'
LOOP
checked := checked + 1;
BEGIN
EXECUTE format('SELECT COALESCE(max(%I), 0) FROM %I.%I',
r.colname, r.schema, r.tabname) INTO maxval;
EXECUTE format('SELECT last_value FROM %I.%I',
r.schema, r.seqname) INTO seqval;
IF maxval > seqval THEN
EXECUTE format('SELECT setval(%L, %s)',
r.schema || '.' || r.seqname, maxval);
RAISE NOTICE 'ИСПРАВЛЕНО % . % -> %', r.tabname, r.colname, maxval;
fixed := fixed + 1;
END IF;
EXCEPTION WHEN OTHERS THEN
RAISE NOTICE 'ПРОПУЩЕНО % . % (%)', r.tabname, r.colname, SQLERRM;
END;
END LOOP;
RAISE NOTICE 'ИТОГ: проверено %, исправлено %', checked, fixed;
END $$;
SQLEOF
echo
echo " скрипт выравнивания подготовлен"
echo " (находит КАЖДУЮ последовательность и её колонку через системный каталог)"
echo
echo "═══════════════════════════════════════════════════════════"
echo " 1. ВЫРАВНИВАЮ ВО ВСЕХ БАЗАХ"
echo "═══════════════════════════════════════════════════════════"
DBS=$(pct exec $PGCT -- sudo -u postgres psql -tAc \
"SELECT datname FROM pg_database WHERE datname NOT IN ('template0','template1') ORDER BY datname" 2>/dev/null | tr -d ' \r')
TOTALFIX=0
for DB in $DBS; do
R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1)
FIXED=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1)
CHECKED=$(echo "$R" | grep -oE 'проверено [0-9]+' | grep -oE '[0-9]+' | head -1)
if [ -n "$FIXED" ] && [ "$FIXED" != "0" ]; then
printf ' ⚠️ %-32s проверено: %-4s исправлено: %s\n' "$DB" "${CHECKED:-?}" "$FIXED"
echo "$R" | grep 'ИСПРАВЛЕНО' | head -8 | sed 's/^/ /'
TOTALFIX=$((TOTALFIX + FIXED))
fi
done
echo
echo " ══ ВСЕГО ИСПРАВЛЕНО СЧЁТЧИКОВ: $TOTALFIX ══"
echo
echo "═══════════════════════════════════════════════════════════"
echo " 2. ПОВТОРНАЯ ПРОВЕРКА"
echo "═══════════════════════════════════════════════════════════"
REMAIN=0
for DB in $DBS; do
R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "$(cat /tmp/fixseq.sql)" 2>&1)
F=$(echo "$R" | grep -oE 'исправлено [0-9]+' | grep -oE '[0-9]+' | head -1)
[ -n "$F" ] && [ "$F" != "0" ] && { printf ' ⚠️ %-32s ещё осталось: %s\n' "$DB" "$F"; REMAIN=$((REMAIN+F)); }
done
echo " осталось отстающих: $REMAIN"
echo " (0 = всё выровнено)"
echo
echo "═══════════════════════════════════════════════════════════"
echo " 3. ПРОВЕРЯЮ КЛЮЧЕВЫЕ СЧЁТЧИКИ MATRIX"
echo "═══════════════════════════════════════════════════════════"
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
SELECT ' ' || rpad(sequencename, 42) || ' -> ' || last_value
FROM pg_sequences WHERE schemaname='public'
AND sequencename IN ('events_stream_ordering_seq','events_stream_seq','state_group_id_seq','event_auth_chain_id','receipts_sequence')
ORDER BY sequencename" 2>/dev/null
echo
echo " ── максимум в таблице событий ──"
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
SELECT ' событий: ' || count(*) || ', максимум номера: ' || COALESCE(max(stream_ordering),0) FROM events" 2>/dev/null
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
SELECT ' счётчик: ' || last_value FROM events_stream_ordering_seq" 2>/dev/null
echo
echo "═══════════════════════════════════════════════════════════"
echo " 4. ПЕРЕЗАПУСКАЮ MATRIX"
echo "═══════════════════════════════════════════════════════════"
pct exec 155 -- docker restart matrix-synapse 2>&1 | tail -1 | sed 's/^/ /'
echo " жду..."
sleep 30
for i in $(seq 1 12); do
c=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null)
[ "$c" = "200" ] && { echo " ✅ Synapse отвечает"; break; }
sleep 10
done
echo
echo " ── журнал: есть ли ещё ошибки ──"
sleep 15
pct exec 155 -- docker logs --tail 50 matrix-synapse 2>&1 | grep -iE 'UniqueViolation|duplicate key|programming error|workaround' | tail -5 | sed 's/^/ /'
echo " (пусто = ошибок больше нет)"
echo
echo "═══════════════════════════════════════════════════════════"
echo " 5. НАСТОЯЩАЯ ПРОВЕРКА: МОЖЕТ ЛИ ЗАПИСАТЬ СОБЫТИЕ"
echo "═══════════════════════════════════════════════════════════"
echo " ── создаю проверочного пользователя и пишу событие ──"
BEFORE=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r')
echo " событий было: $BEFORE"
# Регистрирую временного пользователя и создаю комнату — это пишет события
REG=$(pct exec 155 -- docker exec matrix-synapse sh -c '
register_new_matrix_user -c /data/homeserver.yaml \
--user verify_seq_test --password "VerifySeq2026Test" --no-admin http://localhost:8008 2>&1 | tail -2
' 2>&1 | tail -2)
echo " регистрация: $REG"
sleep 5
AFTER=$(pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "SELECT count(*) FROM events" 2>/dev/null | tr -d ' \r')
echo " событий стало: $AFTER"
if [ "${AFTER:-0}" -gt "${BEFORE:-0}" ]; then
echo " ✅ ЗАПИСЬ РАБОТАЕТ — события добавляются"
else
echo " ⚠️ события не добавились"
fi
echo
echo " ── убираю проверочного пользователя ──"
pct exec $PGCT -- sudo -u postgres psql -d matrix_db -tAc "
DELETE FROM access_tokens WHERE user_id LIKE '%verify_seq_test%';
DELETE FROM devices WHERE user_id LIKE '%verify_seq_test%';
DELETE FROM profiles WHERE user_id LIKE '%verify_seq_test%';
DELETE FROM users WHERE name LIKE '%verify_seq_test%';
SELECT ' убран';" 2>/dev/null | tail -1
echo
echo "═══════════════════════════════════════════════════════════"
echo " 6. ИТОГ"
echo "═══════════════════════════════════════════════════════════"
printf ' %-28s %s\n' "исправлено счётчиков:" "$TOTALFIX"
printf ' %-28s %s\n' "осталось отстающих:" "$REMAIN"
printf ' %-28s %s\n' "Synapse:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8008/_matrix/client/versions 2>/dev/null)"
printf ' %-28s %s\n' "Element:" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.155:8088/ 2>/dev/null)"
printf ' %-28s %s\n' "matrix.buryans.ru (дома):" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 10 -k --resolve 'matrix.buryans.ru:443:192.168.1.10' https://matrix.buryans.ru/ 2>/dev/null)"
cat <<'SUM'
ПРИЧИНА БЫЛА:
При переносе баз из SQLite в PostgreSQL счётчики номеров
не выровнялись. Мои прежние починки смотрели только
колонку id — а проблема была и в других колонках.
ТЕПЕРЬ:
Выравниваются ВСЕ счётчики во ВСЕХ базах, по любой колонке.
Найдено через системный каталог, а не догадки.
SUM