Files
buryan-infra/ops/scripts/migrate-sqlite-to-pg.sh
T

266 lines
15 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# migrate-sqlite-to-pg.sh — перенос файловой базы в PostgreSQL
# ============================================================
# Универсальный инструмент. Метод:
# 1. точка отката: снимок контейнера, копия базы с контрольной суммой,
# копия конфигурации;
# 2. чтение таблиц и числа строк из файловой базы;
# 3. создание базы и роли в PostgreSQL;
# 4. переключение службы на PostgreSQL — схему создаёт САМА служба,
# поэтому ручная конвертация типов не нужна;
# 5. загрузка данных по таблицам;
# 6. ПРОВЕРКА: число строк по каждой таблице и контрольная сумма
# содержимого;
# 7. проверка службы.
#
# При любом сбое — возврат: конфигурация восстанавливается, служба
# запускается со старой базой, база из PostgreSQL удаляется.
#
# ПРЕДОХРАНИТЕЛИ (выучены на своих ошибках):
# * пустой список таблиц — это ПРОВАЛ, а не успех;
# * таблицы считаются по ВСЕМ схемам, а не только public;
# * отсутствие инструмента чтения файловой базы — остановка до начала.
#
# Использование:
# migrate-sqlite-to-pg.sh <служба> <CT> <контейнер> <путь-к-базе> \
# <база-PG> <роль-PG> <пароль> <каталог-compose> [адрес-проверки]
# ============================================================
set -uo pipefail
SVC="${1:?служба}"
CT="${2:?CT}"
CONT="${3:?контейнер}"
SQLITE="${4:?путь к файловой базе}"
PGDB="${5:?база PostgreSQL}"
PGROLE="${6:?роль}"
PGPASS="${7:?пароль}"
CDIR="${8:?каталог compose}"
HEALTH="${9:-}"
STAMP=$(date +%Y%m%d_%H%M%S)
QUAR="/mnt/backups/retired/${STAMP}-${SVC}-pg"
WORK="/tmp/migrate-${SVC}-${STAMP}"
mkdir -p "$QUAR" "$WORK"
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
say() { echo "[$(date '+%T')] $*"; }
API_VER=$(pct exec "$CT" -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null)
rollback() {
say "⟲ ВОЗВРАТ"
pct exec "$CT" -- bash -c "cd '$CDIR' && if [ -f docker-compose.yml.migr-backup ]; then cp docker-compose.yml.migr-backup docker-compose.yml; fi" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
sleep 25
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
say " служба: $st"
if [ -n "$HEALTH" ]; then
say " ответ: $(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)"
fi
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
say " база и роль в PostgreSQL удалены"
}
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ ПЕРЕНОС: $SVC"
echo "╚══════════════════════════════════════════════════════════╝"
# ── 0. Предварительные проверки ──────────────────────────────
say "0. предварительные проверки"
pct exec "$CT" -- test -f "$SQLITE" || { say "❌ файловой базы нет: $SQLITE"; exit 1; }
if ! pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null; then
say " ставлю sqlite3 (без него проверка слепа)"
pct exec "$CT" -- bash -c 'export DEBIAN_FRONTEND=noninteractive; apt-get install -y -qq sqlite3 >/dev/null 2>&1' 2>/dev/null
fi
pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null \
|| { say "❌ sqlite3 недоступен — переносить нельзя"; exit 1; }
echo " sqlite3: есть"
echo " база: $(pct exec "$CT" -- du -h "$SQLITE" 2>/dev/null | cut -f1)"
# ── 1. Точка отката ──────────────────────────────────────────
say "1. точка отката"
SNAP="pre-${SVC}-pg-$STAMP"
pct snapshot "$CT" "$SNAP" --description "перед переносом $SVC на PostgreSQL" >/dev/null 2>&1
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался — стоп"; exit 1; }
echo " снимок: $SNAP"
pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz"
gunzip -t "$QUAR/base.tar.gz" 2>/dev/null || { say "❌ копия повреждена — стоп"; exit 1; }
SUM_BEFORE=$(md5sum "$QUAR/base.tar.gz" | cut -d' ' -f1)
SIZE_BEFORE=$(pct exec "$CT" -- stat -c %s "$SQLITE" 2>/dev/null)
echo " копия: $(du -h "$QUAR/base.tar.gz" | cut -f1), контрольная сумма $SUM_BEFORE"
if pct exec "$CT" -- test -f "$CDIR/docker-compose.yml" 2>/dev/null; then
pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null
echo " конфигурация сохранена"
fi
pct exec "$CT" -- docker inspect "$CONT" --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null > "$QUAR/env-before.txt"
# ── 2. Чтение файловой базы ──────────────────────────────────
say "2. читаю таблицы файловой базы"
pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
NT=$(grep -c . "$WORK/tables.txt" 2>/dev/null || echo 0)
# ПРЕДОХРАНИТЕЛЬ: пустой список — провал
if [ "$NT" -eq 0 ]; then
say "❌ ТАБЛИЦ НЕ ПРОЧИТАНО — это провал, а не успех"
say " проверьте: sqlite3 есть, путь верный, база не повреждена"
rm -rf "$WORK"; exit 1
fi
echo " таблиц: $NT"
: > "$WORK/counts-before.txt"
while read -r t; do
[ -n "$t" ] || continue
n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts-before.txt"
done < "$WORK/tables.txt"
TOTAL_BEFORE=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts-before.txt")
echo " строк всего: $TOTAL_BEFORE"
echo " крупнейшие:"
sort -t'|' -k2 -rn "$WORK/counts-before.txt" | head -4 | awk -F'|' '{printf " %-30s %s\n", $1, $2}'
# ── 3. База и роль в PostgreSQL ──────────────────────────────
say "3. создаю базу и роль"
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
echo " база $PGDB, владелец $(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null)"
# ── 4. Переключение службы, создание схемы ───────────────────
say "4. переключаю службу на PostgreSQL"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
pct exec "$CT" -- bash -c "
cd '$CDIR'
python3 - <<'PYEOF'
p = '$CDIR/docker-compose.yml'
s = open(p).read()
add = ''' - GF_DATABASE_TYPE=postgres
- GF_DATABASE_HOST=192.168.1.151:5432
- GF_DATABASE_NAME=$PGDB
- GF_DATABASE_USER=$PGROLE
- GF_DATABASE_PASSWORD=$PGPASS
- GF_DATABASE_SSL_MODE=disable
'''
if 'GF_DATABASE_TYPE' not in s:
s = s.replace(' environment:\n', ' environment:\n' + add, 1)
open(p, 'w').write(s)
PYEOF
" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
say " ожидаю создание схемы (50 секунд)"
sleep 50
# Таблицы считаем по ВСЕМ схемам, а не только public
SCHEMA_INFO=$(p -d "$PGDB" -tAc "
SELECT coalesce(string_agg(s || ':' || c, ', '), 'нет')
FROM (SELECT table_schema s, count(*) c FROM information_schema.tables
WHERE table_schema NOT IN ('pg_catalog','information_schema')
GROUP BY table_schema ORDER BY 2 DESC) t" 2>/dev/null)
TABLES_PG=$(p -d "$PGDB" -tAc "
SELECT count(*) FROM information_schema.tables
WHERE table_schema NOT IN ('pg_catalog','information_schema')" 2>/dev/null)
echo " таблиц в PostgreSQL: ${TABLES_PG:-0} ($SCHEMA_INFO)"
if [ "${TABLES_PG:-0}" -eq 0 ]; then
say "❌ СЛУЖБА НЕ СОЗДАЛА СХЕМУ — возврат"
pct exec "$CT" -- docker logs --tail 8 "$CONT" 2>&1 | tail -8 | sed 's/^/ /'
rollback
rm -rf "$WORK"; exit 1
fi
# ── 5. Загрузка данных ───────────────────────────────────────
say "5. загружаю данные"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
sleep 3
# Служба при первом запуске создаёт не только схему, но и НАЧАЛЬНЫЕ ЗАПИСИ
# (роли, организацию, пользователя). Они конфликтуют с переносимыми данными
# по уникальным ключам. Поэтому таблицы очищаются перед загрузкой —
# схема остаётся, данные службы убираются.
say " очищаю таблицы, созданные службой"
TRUNC_ERR=$(p -d "$PGDB" -tAc "
DO \$\$ DECLARE r record; BEGIN
FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
END LOOP;
END \$\$;" 2>&1 | grep -ci error || echo 0)
echo " ошибок при очистке: $TRUNC_ERR"
loaded=0; skipped=0; failed=0
: > "$WORK/failed.txt"
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
# есть ли такая таблица в PostgreSQL
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t"
failed=$((failed + 1)); continue
fi
# Файл создаётся на хосте, а psql выполняется ВНУТРИ контейнера 151 —
# он файлов хоста не видит. Поэтому данные сначала копируются в контейнер.
pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
loaded=$((loaded + 1))
else
failed=$((failed + 1))
printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)"
printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" >> "$WORK/failed.txt"
fi
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
done < "$WORK/counts-before.txt"
echo " загружено: $loaded, пропущено пустых: $skipped, с ошибками: $failed"
# ── 6. Проверка ──────────────────────────────────────────────
say "6. ПРОВЕРКА ПОЛНОТЫ"
printf ' %-30s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ
printf ' %s\n' '------------------------------------------------------'
same=0; differ=0; miss=0
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && continue
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; miss=$((miss + 1)); continue
fi
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
if [ "$before" = "$after" ]; then
same=$((same + 1))
else
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "${after:-?}"
differ=$((differ + 1))
fi
done < "$WORK/counts-before.txt"
echo
printf ' таблиц совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$miss"
# ── 7. Запуск и проверка службы ──────────────────────────────
say "7. запускаю службу"
pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1
sleep 40
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
CODE=""
[ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null)
echo " состояние: $ST, ответ: ${CODE:-не проверялся}"
# ── 8. Итог ──────────────────────────────────────────────────
echo
if [ "$differ" -eq 0 ] && [ "$miss" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ]; then
echo " ✅ $SVC ПЕРЕНЕСЁН: все $same таблиц с данными совпали по числу строк"
echo " точка отката: снимок $SNAP"
echo " копия базы: $QUAR/base.tar.gz (сумма $SUM_BEFORE)"
echo "STA:$SVC:ok:$same" > "$WORK/result"
else
echo " ⚠️ $SVC: перенос неполный (совпало $same, расхождений $differ, отсутствует $miss, ошибок $failed)"
echo "STA:$SVC:partial:$same/$differ/$miss" > "$WORK/result"
fi
echo " рабочий каталог: $WORK"