#!/bin/bash # ============================================================ # migrate-sqlite-to-pg.sh — перенос файловой базы в PostgreSQL # ============================================================ # Универсальный инструмент. Метод: # 1. точка отката: снимок контейнера, копия базы с контрольной суммой, # копия конфигурации; # 2. чтение таблиц и числа строк из файловой базы; # 3. создание базы и роли в PostgreSQL; # 4. переключение службы на PostgreSQL — схему создаёт САМА служба, # поэтому ручная конвертация типов не нужна; # 5. загрузка данных по таблицам; # 6. ПРОВЕРКА: число строк по каждой таблице и контрольная сумма # содержимого; # 7. проверка службы. # # При любом сбое — возврат: конфигурация восстанавливается, служба # запускается со старой базой, база из PostgreSQL удаляется. # # ПРЕДОХРАНИТЕЛИ (выучены на своих ошибках): # * пустой список таблиц — это ПРОВАЛ, а не успех; # * таблицы считаются по ВСЕМ схемам, а не только public; # * отсутствие инструмента чтения файловой базы — остановка до начала. # # Использование: # migrate-sqlite-to-pg.sh <служба> <контейнер> <путь-к-базе> \ # <база-PG> <роль-PG> <пароль> <каталог-compose> [адрес-проверки] # ============================================================ set -uo pipefail SVC="${1:?служба}" CT="${2:?CT}" CONT="${3:?контейнер}" SQLITE="${4:?путь к файловой базе}" PGDB="${5:?база PostgreSQL}" PGROLE="${6:?роль}" PGPASS="${7:?пароль}" CDIR="${8:?каталог compose}" HEALTH="${9:-}" STAMP=$(date +%Y%m%d_%H%M%S) QUAR="/mnt/backups/retired/${STAMP}-${SVC}-pg" WORK="/tmp/migrate-${SVC}-${STAMP}" mkdir -p "$QUAR" "$WORK" p() { pct exec 151 -- sudo -u postgres psql "$@"; } say() { echo "[$(date '+%T')] $*"; } API_VER=$(pct exec "$CT" -- docker version --format '{{.Server.APIVersion}}' 2>/dev/null) rollback() { say "⟲ ВОЗВРАТ" pct exec "$CT" -- bash -c "cd '$CDIR' && if [ -f docker-compose.yml.migr-backup ]; then cp docker-compose.yml.migr-backup docker-compose.yml; fi" >/dev/null 2>&1 pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 sleep 25 st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) say " служба: $st" if [ -n "$HEALTH" ]; then say " ответ: $(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)" fi p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 say " база и роль в PostgreSQL удалены" } echo "╔══════════════════════════════════════════════════════════╗" echo "║ ПЕРЕНОС: $SVC" echo "╚══════════════════════════════════════════════════════════╝" # ── 0. Предварительные проверки ────────────────────────────── say "0. предварительные проверки" pct exec "$CT" -- test -f "$SQLITE" || { say "❌ файловой базы нет: $SQLITE"; exit 1; } if ! pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null; then say " ставлю sqlite3 (без него проверка слепа)" pct exec "$CT" -- bash -c 'export DEBIAN_FRONTEND=noninteractive; apt-get install -y -qq sqlite3 >/dev/null 2>&1' 2>/dev/null fi pct exec "$CT" -- bash -c 'command -v sqlite3 >/dev/null' 2>/dev/null \ || { say "❌ sqlite3 недоступен — переносить нельзя"; exit 1; } echo " sqlite3: есть" echo " база: $(pct exec "$CT" -- du -h "$SQLITE" 2>/dev/null | cut -f1)" # ── 1. Точка отката ────────────────────────────────────────── say "1. точка отката" SNAP="pre-${SVC}-pg-$STAMP" pct snapshot "$CT" "$SNAP" --description "перед переносом $SVC на PostgreSQL" >/dev/null 2>&1 pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался — стоп"; exit 1; } echo " снимок: $SNAP" pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz" gunzip -t "$QUAR/base.tar.gz" 2>/dev/null || { say "❌ копия повреждена — стоп"; exit 1; } SUM_BEFORE=$(md5sum "$QUAR/base.tar.gz" | cut -d' ' -f1) SIZE_BEFORE=$(pct exec "$CT" -- stat -c %s "$SQLITE" 2>/dev/null) echo " копия: $(du -h "$QUAR/base.tar.gz" | cut -f1), контрольная сумма $SUM_BEFORE" if pct exec "$CT" -- test -f "$CDIR/docker-compose.yml" 2>/dev/null; then pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null echo " конфигурация сохранена" fi pct exec "$CT" -- docker inspect "$CONT" --format '{{range .Config.Env}}{{println .}}{{end}}' 2>/dev/null > "$QUAR/env-before.txt" # ── 2. Чтение файловой базы ────────────────────────────────── say "2. читаю таблицы файловой базы" pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" NT=$(grep -c . "$WORK/tables.txt" 2>/dev/null || echo 0) # ПРЕДОХРАНИТЕЛЬ: пустой список — провал if [ "$NT" -eq 0 ]; then say "❌ ТАБЛИЦ НЕ ПРОЧИТАНО — это провал, а не успех" say " проверьте: sqlite3 есть, путь верный, база не повреждена" rm -rf "$WORK"; exit 1 fi echo " таблиц: $NT" : > "$WORK/counts-before.txt" while read -r t; do [ -n "$t" ] || continue n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null) printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts-before.txt" done < "$WORK/tables.txt" TOTAL_BEFORE=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts-before.txt") echo " строк всего: $TOTAL_BEFORE" echo " крупнейшие:" sort -t'|' -k2 -rn "$WORK/counts-before.txt" | head -4 | awk -F'|' '{printf " %-30s %s\n", $1, $2}' # ── 3. База и роль в PostgreSQL ────────────────────────────── say "3. создаю базу и роль" p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 echo " база $PGDB, владелец $(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null)" # ── 4. Переключение службы, создание схемы ─────────────────── say "4. переключаю службу на PostgreSQL" pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 pct exec "$CT" -- bash -c " cd '$CDIR' python3 - <<'PYEOF' p = '$CDIR/docker-compose.yml' s = open(p).read() add = ''' - GF_DATABASE_TYPE=postgres - GF_DATABASE_HOST=192.168.1.151:5432 - GF_DATABASE_NAME=$PGDB - GF_DATABASE_USER=$PGROLE - GF_DATABASE_PASSWORD=$PGPASS - GF_DATABASE_SSL_MODE=disable ''' if 'GF_DATABASE_TYPE' not in s: s = s.replace(' environment:\n', ' environment:\n' + add, 1) open(p, 'w').write(s) PYEOF " >/dev/null 2>&1 pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 say " ожидаю создание схемы (50 секунд)" sleep 50 # Таблицы считаем по ВСЕМ схемам, а не только public SCHEMA_INFO=$(p -d "$PGDB" -tAc " SELECT coalesce(string_agg(s || ':' || c, ', '), 'нет') FROM (SELECT table_schema s, count(*) c FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog','information_schema') GROUP BY table_schema ORDER BY 2 DESC) t" 2>/dev/null) TABLES_PG=$(p -d "$PGDB" -tAc " SELECT count(*) FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog','information_schema')" 2>/dev/null) echo " таблиц в PostgreSQL: ${TABLES_PG:-0} ($SCHEMA_INFO)" if [ "${TABLES_PG:-0}" -eq 0 ]; then say "❌ СЛУЖБА НЕ СОЗДАЛА СХЕМУ — возврат" pct exec "$CT" -- docker logs --tail 8 "$CONT" 2>&1 | tail -8 | sed 's/^/ /' rollback rm -rf "$WORK"; exit 1 fi # ── 5. Загрузка данных ─────────────────────────────────────── say "5. загружаю данные" pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 sleep 3 # Служба при первом запуске создаёт не только схему, но и НАЧАЛЬНЫЕ ЗАПИСИ # (роли, организацию, пользователя). Они конфликтуют с переносимыми данными # по уникальным ключам. Поэтому таблицы очищаются перед загрузкой — # схема остаётся, данные службы убираются. say " очищаю таблицы, созданные службой" TRUNC_ERR=$(p -d "$PGDB" -tAc " DO \$\$ DECLARE r record; BEGIN FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; END LOOP; END \$\$;" 2>&1 | grep -ci error || echo 0) echo " ошибок при очистке: $TRUNC_ERR" loaded=0; skipped=0; failed=0 : > "$WORK/failed.txt" while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } # есть ли такая таблица в PostgreSQL has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null) if [ "${has:-0}" = "0" ]; then printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t" failed=$((failed + 1)); continue fi # Файл создаётся на хосте, а psql выполняется ВНУТРИ контейнера 151 — # он файлов хоста не видит. Поэтому данные сначала копируются в контейнер. pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then loaded=$((loaded + 1)) else failed=$((failed + 1)) printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-60)" >> "$WORK/failed.txt" fi pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 done < "$WORK/counts-before.txt" echo " загружено: $loaded, пропущено пустых: $skipped, с ошибками: $failed" # ── 6. Проверка ────────────────────────────────────────────── say "6. ПРОВЕРКА ПОЛНОТЫ" printf ' %-30s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ printf ' %s\n' '------------------------------------------------------' same=0; differ=0; miss=0 while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && continue has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t'" 2>/dev/null) if [ "${has:-0}" = "0" ]; then printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; miss=$((miss + 1)); continue fi after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) if [ "$before" = "$after" ]; then same=$((same + 1)) else printf ' %-30s %8s %8s ❌\n' "$t" "$before" "${after:-?}" differ=$((differ + 1)) fi done < "$WORK/counts-before.txt" echo printf ' таблиц совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$miss" # ── 7. Запуск и проверка службы ────────────────────────────── say "7. запускаю службу" pct exec "$CT" -- bash -c "cd '$CDIR' && DOCKER_API_VERSION=$API_VER docker compose up -d $CONT" >/dev/null 2>&1 sleep 40 ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) CODE="" [ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null) echo " состояние: $ST, ответ: ${CODE:-не проверялся}" # ── 8. Итог ────────────────────────────────────────────────── echo if [ "$differ" -eq 0 ] && [ "$miss" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ]; then echo " ✅ $SVC ПЕРЕНЕСЁН: все $same таблиц с данными совпали по числу строк" echo " точка отката: снимок $SNAP" echo " копия базы: $QUAR/base.tar.gz (сумма $SUM_BEFORE)" echo "STA:$SVC:ok:$same" > "$WORK/result" else echo " ⚠️ $SVC: перенос неполный (совпало $same, расхождений $differ, отсутствует $miss, ошибок $failed)" echo "STA:$SVC:partial:$same/$differ/$miss" > "$WORK/result" fi echo " рабочий каталог: $WORK"