#!/bin/bash # ============================================================ # migrate-arr.sh — перенос медиа-сервисов на PostgreSQL # ============================================================ # Метод, проверенный на Grafana: # 1. точка отката: снимок контейнера, копия баз, копия конфигурации; # 2. разведка: таблицы, строки, двоичные поля; # 3. база и роль в PostgreSQL; # 4. в конфигурацию добавляется раздел PostgreSQL, служба создаёт схему; # 5. контейнер УДАЛЯЕТСЯ (проверка «остановлен» недостаточна — служба # поднимается снова и перезаписывает перенос начальными данными); # 6. таблицы очищаются, данные загружаются; # 7. проверка: число строк по каждой таблице, содержимое двоичных полей. # # У медиа-сервисов ДВЕ базы: основная и журнальная. Таблицы не пересекаются, # поэтому обе переносятся в одну базу PostgreSQL. # # Использование: migrate-arr.sh <имя> <контейнер> <папка-config> <база-PG> # ============================================================ set -uo pipefail NAME="${1:?имя}" CT="${2:?CT}" CONT="${3:?контейнер}" CFGDIR="${4:?папка config}" PGDB="${5:?база PostgreSQL}" PGROLE="${NAME}_user" PGPASS="${NAME}_local_2026" MAIN="$CFGDIR/${NAME}.db" LOGS="$CFGDIR/logs.db" STAMP=$(date +%Y%m%d_%H%M%S) QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg" WORK="/tmp/migrate-${NAME}-${STAMP}" mkdir -p "$QUAR" "$WORK" p() { pct exec 151 -- sudo -u postgres psql "$@"; } say() { echo "[$(date '+%T')] $*"; } # Порт и ключ для проверки через API PORT=$(pct exec "$CT" -- bash -c "grep -oP '(?<=)[0-9]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null) APIKEY=$(pct exec "$CT" -- bash -c "grep -oP '(?<=)[^<]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null) echo " порт $PORT, ключ API ${APIKEY:0:8}..." rollback() { say "⟲ ВОЗВРАТ" pct exec "$CT" -- bash -c "cp $CFGDIR/config.xml.migr-backup $CFGDIR/config.xml 2>/dev/null" >/dev/null 2>&1 pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1 sleep 25 printf ' состояние: %s\n' "$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)" p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 say " база и роль удалены, конфигурация возвращена" } echo "╔══════════════════════════════════════════════════════════╗" echo "║ $NAME → POSTGRESQL" echo "╚══════════════════════════════════════════════════════════╝" # ── 1. Точка отката ────────────────────────────────────────── say "1. точка отката" SNAP="pre-${NAME}-pg-$STAMP" pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1 pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } echo " снимок: $SNAP" for f in "$MAIN" "$LOGS"; do pct exec "$CT" -- test -f "$f" 2>/dev/null || continue bn=$(basename "$f") pct exec "$CT" -- tar -c -C / "${f#/}" 2>/dev/null | gzip > "$QUAR/$bn.tar.gz" gunzip -t "$QUAR/$bn.tar.gz" 2>/dev/null && echo " копия $bn: $(du -h "$QUAR/$bn.tar.gz" | cut -f1)" done pct exec "$CT" -- cp "$CFGDIR/config.xml" "$CFGDIR/config.xml.migr-backup" 2>/dev/null echo " конфигурация сохранена" # ── 2. Разведка ────────────────────────────────────────────── say "2. читаю файловые базы" : > "$WORK/counts.txt" : > "$WORK/blobtables.txt" : > "$WORK/sources.txt" for f in "$MAIN" "$LOGS"; do pct exec "$CT" -- test -f "$f" 2>/dev/null || { echo " $f — нет"; continue; } bn=$(basename "$f") echo " $bn:" pct exec "$CT" -- sqlite3 "$f" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tbl-$bn.txt" NT=$(grep -c . "$WORK/tbl-$bn.txt") [ "$NT" -eq 0 ] && { say " ❌ в $bn таблиц не прочитано — стоп"; exit 1; } echo " таблиц: $NT" while read -r t; do [ -n "$t" ] || continue n=$(pct exec "$CT" -- sqlite3 "$f" "SELECT count(*) FROM \"$t\"" 2>/dev/null) printf '%s|%s|%s\n' "$t" "${n:-0}" "$f" >> "$WORK/counts.txt" echo "$t|$f" >> "$WORK/sources.txt" bl=$(pct exec "$CT" -- sqlite3 "$f" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null) [ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt" done < "$WORK/tbl-$bn.txt" done WITH=$(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l) TOTAL=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt") echo " таблиц с данными: $WITH, строк всего: $TOTAL" [ "${TOTAL:-0}" -gt 0 ] || { say "❌ данных не найдено — стоп"; exit 1; } # ── 3. База и роль ─────────────────────────────────────────── say "3. создаю базу и роль" p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 echo " база $PGDB" # ── 4. Схема создаётся службой ─────────────────────────────── say "4. включаю PostgreSQL в конфигурации" pct exec "$CT" -- bash -c " python3 - <<'PYEOF' p = '$CFGDIR/config.xml' s = open(p).read() if '' not in s: add = ''' 192.168.1.151 5432 $PGROLE $PGPASS $PGDB ${PGDB}_logs ''' s = s.replace('', add + '') open(p, 'w').write(s) print(' раздел PostgreSQL добавлен') else: print(' раздел PostgreSQL уже есть') PYEOF " 2>&1 | sed 's/^/ /' # журнальная база тоже нужна p -tAc "SELECT count(*) FROM pg_database WHERE datname='${PGDB}_logs'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE DATABASE ${PGDB}_logs WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 say " перезапускаю службу для создания схемы" pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 created=0 for i in $(seq 1 30); do sleep 5 created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) [ "${created:-0}" -ge 10 ] && break done echo " таблиц создано в $PGDB: ${created:-0}" # Порог: схема медиа-сервисов содержит не меньше 10 таблиц. Проверка # «больше 20» была ошибкой на единицу — при ровно 20 таблицах перенос # напрасно откатывался. [ "${created:-0}" -ge 10 ] || { say "❌ схема не создана"; rollback; exit 1; } # ── 5. Удаление контейнера ─────────────────────────────────── say "5. убираю контейнер на время загрузки" pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 sleep 3 removed=no for i in 1 2 3 4 5; do pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 sleep 2 pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } done echo " контейнер удалён: $removed" [ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } say "6. очищаю таблицы (кроме служебных таблиц миграций)" # ВАЖНО: таблицы версий миграций (VersionInfo, __EFMigrationsHistory) # очищать НЕЛЬЗЯ. Служба по ним понимает, какие миграции уже применены. # Если их очистить, служба попытается применить миграции заново и упадёт, # потому что таблицы уже существуют: # FluentMigrator ... MigrationController.Migrate — Non-recoverable failure. # Служба сама создала эти таблицы в PostgreSQL правильно — их оставляем. for db in "$PGDB" "${PGDB}_logs"; do p -d "$db" -tAc " DO \$\$ DECLARE r record; BEGIN FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' AND tablename NOT IN ('VersionInfo','__EFMigrationsHistory') LOOP EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; END LOOP; END \$\$;" >/dev/null 2>&1 done left=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"VersionInfo\"" 2>/dev/null) echo " очищено; записей о миграциях сохранено: ${left:-?}" # ── 6. Загрузка ────────────────────────────────────────────── say "7. загружаю данные" loaded=0; failed=0; skipped=0 : > "$WORK/failed.txt" # Служебные таблицы, которые ведёт САМА служба — их нельзя переносить: # VersionInfo — версии миграций схемы (FluentMigrator); # __EFMigrationsHistory — то же для Entity Framework; # cache_data, server_lock, Log — кэш, блокировки, журнал. # При копировании VersionInfo возникает конфликт по уникальному ключу, # потому что служба уже проставила свои версии при создании схемы. is_skip() { case "$1" in VersionInfo|__EFMigrationsHistory|cache_data|server_lock|Log|Logs|logs) return 0 ;; esac return 1 } while IFS='|' read -r t before src; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } is_skip "$t" && { printf ' · %-28s пропущена (служебная)\n' "$t"; skipped=$((skipped + 1)); continue; } # ищу таблицу в основной или журнальной базе tgt="" for db in "$PGDB" "${PGDB}_logs"; do h=$(p -d "$db" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) [ "${h:-0}" = "1" ] && { tgt="$db"; break; } done if [ -z "$tgt" ]; then printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t" failed=$((failed + 1)); printf '%s|нет в PostgreSQL\n' "$t" >> "$WORK/failed.txt"; continue fi blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt") if [ -n "$blobs" ]; then if bash /root/load-blob-table.sh "$t" "$src" "$CT" "$tgt" 2>&1 | grep -q '✅'; then loaded=$((loaded + 1)) else failed=$((failed + 1)); printf '%s|двоичная: ошибка\n' "$t" >> "$WORK/failed.txt" printf ' ⚠️ %-28s двоичная не загружена\n' "$t" fi else pct exec "$CT" -- sqlite3 "$src" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 if pct exec 151 -- sudo -u postgres psql -q -d "$tgt" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then loaded=$((loaded + 1)) else failed=$((failed + 1)) printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" >> "$WORK/failed.txt" fi pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 fi done < "$WORK/counts.txt" echo " загружено: $loaded, пустых: $skipped, ошибок: $failed" # ── 7. Проверка ────────────────────────────────────────────── say "8. ПРОВЕРКА ПОЛНОТЫ" same=0; differ=0; missing=0 while IFS='|' read -r t before src; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && continue # Служебные таблицы пропущены намеренно — их ведёт сама служба. # Считать их расхождением нельзя: после очистки они пусты по замыслу. if is_skip "$t"; then printf ' %-30s %8s %8s · ведёт служба\n' "$t" "$before" "—" continue fi after="" for db in "$PGDB" "${PGDB}_logs"; do a=$(p -d "$db" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) [ -n "$a" ] && { after="$a"; break; } done if [ -z "$after" ]; then printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) elif [ "$before" = "$after" ]; then same=$((same + 1)) else printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) fi done < "$WORK/counts.txt" printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" # ── 8. Запуск и проверка службы ────────────────────────────── say "9. запускаю службу" pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1 # Ждём именно рабочего состояния: после создания контейнер какое-то время # находится в состоянии created, и проверка «через 40 секунд» его не заставала. ST="" for i in $(seq 1 24); do sleep 5 ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) [ "$ST" = "running" ] && break done API="" [ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v3/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null) [ -z "$API" ] && [ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v1/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null) printf ' состояние: %s, версия через API: %s\n' "$ST" "${API:-нет ответа}" echo if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" echo " точка отката: $SNAP" else echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)" rollback fi echo " карантин: $QUAR"