294 lines
16 KiB
Bash
Executable File
294 lines
16 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# migrate-arr.sh — перенос медиа-сервисов на PostgreSQL
|
|
# ============================================================
|
|
# Метод, проверенный на Grafana:
|
|
# 1. точка отката: снимок контейнера, копия баз, копия конфигурации;
|
|
# 2. разведка: таблицы, строки, двоичные поля;
|
|
# 3. база и роль в PostgreSQL;
|
|
# 4. в конфигурацию добавляется раздел PostgreSQL, служба создаёт схему;
|
|
# 5. контейнер УДАЛЯЕТСЯ (проверка «остановлен» недостаточна — служба
|
|
# поднимается снова и перезаписывает перенос начальными данными);
|
|
# 6. таблицы очищаются, данные загружаются;
|
|
# 7. проверка: число строк по каждой таблице, содержимое двоичных полей.
|
|
#
|
|
# У медиа-сервисов ДВЕ базы: основная и журнальная. Таблицы не пересекаются,
|
|
# поэтому обе переносятся в одну базу PostgreSQL.
|
|
#
|
|
# Использование: migrate-arr.sh <имя> <CT> <контейнер> <папка-config> <база-PG>
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
NAME="${1:?имя}"
|
|
CT="${2:?CT}"
|
|
CONT="${3:?контейнер}"
|
|
CFGDIR="${4:?папка config}"
|
|
PGDB="${5:?база PostgreSQL}"
|
|
PGROLE="${NAME}_user"
|
|
PGPASS="${NAME}_local_2026"
|
|
|
|
MAIN="$CFGDIR/${NAME}.db"
|
|
LOGS="$CFGDIR/logs.db"
|
|
STAMP=$(date +%Y%m%d_%H%M%S)
|
|
QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg"
|
|
WORK="/tmp/migrate-${NAME}-${STAMP}"
|
|
mkdir -p "$QUAR" "$WORK"
|
|
|
|
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
|
say() { echo "[$(date '+%T')] $*"; }
|
|
|
|
# Порт и ключ для проверки через API
|
|
PORT=$(pct exec "$CT" -- bash -c "grep -oP '(?<=<Port>)[0-9]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null)
|
|
APIKEY=$(pct exec "$CT" -- bash -c "grep -oP '(?<=<ApiKey>)[^<]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null)
|
|
echo " порт $PORT, ключ API ${APIKEY:0:8}..."
|
|
|
|
rollback() {
|
|
say "⟲ ВОЗВРАТ"
|
|
pct exec "$CT" -- bash -c "cp $CFGDIR/config.xml.migr-backup $CFGDIR/config.xml 2>/dev/null" >/dev/null 2>&1
|
|
pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1
|
|
sleep 25
|
|
printf ' состояние: %s\n' "$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)"
|
|
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
|
|
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
|
|
say " база и роль удалены, конфигурация возвращена"
|
|
}
|
|
|
|
echo "╔══════════════════════════════════════════════════════════╗"
|
|
echo "║ $NAME → POSTGRESQL"
|
|
echo "╚══════════════════════════════════════════════════════════╝"
|
|
|
|
# ── 1. Точка отката ──────────────────────────────────────────
|
|
say "1. точка отката"
|
|
SNAP="pre-${NAME}-pg-$STAMP"
|
|
pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1
|
|
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; }
|
|
echo " снимок: $SNAP"
|
|
|
|
for f in "$MAIN" "$LOGS"; do
|
|
pct exec "$CT" -- test -f "$f" 2>/dev/null || continue
|
|
bn=$(basename "$f")
|
|
pct exec "$CT" -- tar -c -C / "${f#/}" 2>/dev/null | gzip > "$QUAR/$bn.tar.gz"
|
|
gunzip -t "$QUAR/$bn.tar.gz" 2>/dev/null && echo " копия $bn: $(du -h "$QUAR/$bn.tar.gz" | cut -f1)"
|
|
done
|
|
pct exec "$CT" -- cp "$CFGDIR/config.xml" "$CFGDIR/config.xml.migr-backup" 2>/dev/null
|
|
echo " конфигурация сохранена"
|
|
|
|
# ── 2. Разведка ──────────────────────────────────────────────
|
|
say "2. читаю файловые базы"
|
|
: > "$WORK/counts.txt"
|
|
: > "$WORK/blobtables.txt"
|
|
: > "$WORK/sources.txt"
|
|
|
|
for f in "$MAIN" "$LOGS"; do
|
|
pct exec "$CT" -- test -f "$f" 2>/dev/null || { echo " $f — нет"; continue; }
|
|
bn=$(basename "$f")
|
|
echo " $bn:"
|
|
pct exec "$CT" -- sqlite3 "$f" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tbl-$bn.txt"
|
|
NT=$(grep -c . "$WORK/tbl-$bn.txt")
|
|
[ "$NT" -eq 0 ] && { say " ❌ в $bn таблиц не прочитано — стоп"; exit 1; }
|
|
echo " таблиц: $NT"
|
|
while read -r t; do
|
|
[ -n "$t" ] || continue
|
|
n=$(pct exec "$CT" -- sqlite3 "$f" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
|
printf '%s|%s|%s\n' "$t" "${n:-0}" "$f" >> "$WORK/counts.txt"
|
|
echo "$t|$f" >> "$WORK/sources.txt"
|
|
bl=$(pct exec "$CT" -- sqlite3 "$f" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null)
|
|
[ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt"
|
|
done < "$WORK/tbl-$bn.txt"
|
|
done
|
|
WITH=$(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)
|
|
TOTAL=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")
|
|
echo " таблиц с данными: $WITH, строк всего: $TOTAL"
|
|
[ "${TOTAL:-0}" -gt 0 ] || { say "❌ данных не найдено — стоп"; exit 1; }
|
|
|
|
# ── 3. База и роль ───────────────────────────────────────────
|
|
say "3. создаю базу и роль"
|
|
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
|
|
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
|
|
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
|
|
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
|
|
echo " база $PGDB"
|
|
|
|
# ── 4. Схема создаётся службой ───────────────────────────────
|
|
say "4. включаю PostgreSQL в конфигурации"
|
|
pct exec "$CT" -- bash -c "
|
|
python3 - <<'PYEOF'
|
|
p = '$CFGDIR/config.xml'
|
|
s = open(p).read()
|
|
if '<PostgresHost>' not in s:
|
|
add = ''' <PostgresHost>192.168.1.151</PostgresHost>
|
|
<PostgresPort>5432</PostgresPort>
|
|
<PostgresUser>$PGROLE</PostgresUser>
|
|
<PostgresPassword>$PGPASS</PostgresPassword>
|
|
<PostgresMainDb>$PGDB</PostgresMainDb>
|
|
<PostgresLogDb>${PGDB}_logs</PostgresLogDb>
|
|
'''
|
|
s = s.replace('</Config>', add + '</Config>')
|
|
open(p, 'w').write(s)
|
|
print(' раздел PostgreSQL добавлен')
|
|
else:
|
|
print(' раздел PostgreSQL уже есть')
|
|
PYEOF
|
|
" 2>&1 | sed 's/^/ /'
|
|
|
|
# журнальная база тоже нужна
|
|
p -tAc "SELECT count(*) FROM pg_database WHERE datname='${PGDB}_logs'" 2>/dev/null | grep -q '^1$' || \
|
|
p -tAc "CREATE DATABASE ${PGDB}_logs WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
|
|
|
|
say " перезапускаю службу для создания схемы"
|
|
pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
|
|
created=0
|
|
for i in $(seq 1 30); do
|
|
sleep 5
|
|
created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
|
|
[ "${created:-0}" -ge 10 ] && break
|
|
done
|
|
echo " таблиц создано в $PGDB: ${created:-0}"
|
|
# Порог: схема медиа-сервисов содержит не меньше 10 таблиц. Проверка
|
|
# «больше 20» была ошибкой на единицу — при ровно 20 таблицах перенос
|
|
# напрасно откатывался.
|
|
[ "${created:-0}" -ge 10 ] || { say "❌ схема не создана"; rollback; exit 1; }
|
|
|
|
# ── 5. Удаление контейнера ───────────────────────────────────
|
|
say "5. убираю контейнер на время загрузки"
|
|
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
|
|
sleep 3
|
|
removed=no
|
|
for i in 1 2 3 4 5; do
|
|
pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1
|
|
sleep 2
|
|
pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; }
|
|
done
|
|
echo " контейнер удалён: $removed"
|
|
[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; }
|
|
|
|
say "6. очищаю таблицы (кроме служебных таблиц миграций)"
|
|
# ВАЖНО: таблицы версий миграций (VersionInfo, __EFMigrationsHistory)
|
|
# очищать НЕЛЬЗЯ. Служба по ним понимает, какие миграции уже применены.
|
|
# Если их очистить, служба попытается применить миграции заново и упадёт,
|
|
# потому что таблицы уже существуют:
|
|
# FluentMigrator ... MigrationController.Migrate — Non-recoverable failure.
|
|
# Служба сама создала эти таблицы в PostgreSQL правильно — их оставляем.
|
|
for db in "$PGDB" "${PGDB}_logs"; do
|
|
p -d "$db" -tAc "
|
|
DO \$\$ DECLARE r record; BEGIN
|
|
FOR r IN SELECT tablename FROM pg_tables
|
|
WHERE schemaname='public'
|
|
AND tablename NOT IN ('VersionInfo','__EFMigrationsHistory')
|
|
LOOP
|
|
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
|
|
END LOOP;
|
|
END \$\$;" >/dev/null 2>&1
|
|
done
|
|
left=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"VersionInfo\"" 2>/dev/null)
|
|
echo " очищено; записей о миграциях сохранено: ${left:-?}"
|
|
|
|
# ── 6. Загрузка ──────────────────────────────────────────────
|
|
say "7. загружаю данные"
|
|
loaded=0; failed=0; skipped=0
|
|
: > "$WORK/failed.txt"
|
|
# Служебные таблицы, которые ведёт САМА служба — их нельзя переносить:
|
|
# VersionInfo — версии миграций схемы (FluentMigrator);
|
|
# __EFMigrationsHistory — то же для Entity Framework;
|
|
# cache_data, server_lock, Log — кэш, блокировки, журнал.
|
|
# При копировании VersionInfo возникает конфликт по уникальному ключу,
|
|
# потому что служба уже проставила свои версии при создании схемы.
|
|
is_skip() {
|
|
case "$1" in
|
|
VersionInfo|__EFMigrationsHistory|cache_data|server_lock|Log|Logs|logs) return 0 ;;
|
|
esac
|
|
return 1
|
|
}
|
|
|
|
while IFS='|' read -r t before src; do
|
|
[ -n "$t" ] || continue
|
|
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
|
|
is_skip "$t" && { printf ' · %-28s пропущена (служебная)\n' "$t"; skipped=$((skipped + 1)); continue; }
|
|
|
|
# ищу таблицу в основной или журнальной базе
|
|
tgt=""
|
|
for db in "$PGDB" "${PGDB}_logs"; do
|
|
h=$(p -d "$db" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null)
|
|
[ "${h:-0}" = "1" ] && { tgt="$db"; break; }
|
|
done
|
|
if [ -z "$tgt" ]; then
|
|
printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t"
|
|
failed=$((failed + 1)); printf '%s|нет в PostgreSQL\n' "$t" >> "$WORK/failed.txt"; continue
|
|
fi
|
|
|
|
blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt")
|
|
if [ -n "$blobs" ]; then
|
|
if bash /root/load-blob-table.sh "$t" "$src" "$CT" "$tgt" 2>&1 | grep -q '✅'; then
|
|
loaded=$((loaded + 1))
|
|
else
|
|
failed=$((failed + 1)); printf '%s|двоичная: ошибка\n' "$t" >> "$WORK/failed.txt"
|
|
printf ' ⚠️ %-28s двоичная не загружена\n' "$t"
|
|
fi
|
|
else
|
|
pct exec "$CT" -- sqlite3 "$src" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
|
|
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
|
|
if pct exec 151 -- sudo -u postgres psql -q -d "$tgt" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
|
|
loaded=$((loaded + 1))
|
|
else
|
|
failed=$((failed + 1))
|
|
printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)"
|
|
printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" >> "$WORK/failed.txt"
|
|
fi
|
|
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
|
|
fi
|
|
done < "$WORK/counts.txt"
|
|
echo " загружено: $loaded, пустых: $skipped, ошибок: $failed"
|
|
|
|
# ── 7. Проверка ──────────────────────────────────────────────
|
|
say "8. ПРОВЕРКА ПОЛНОТЫ"
|
|
same=0; differ=0; missing=0
|
|
while IFS='|' read -r t before src; do
|
|
[ -n "$t" ] || continue
|
|
[ "${before:-0}" -eq 0 ] && continue
|
|
# Служебные таблицы пропущены намеренно — их ведёт сама служба.
|
|
# Считать их расхождением нельзя: после очистки они пусты по замыслу.
|
|
if is_skip "$t"; then
|
|
printf ' %-30s %8s %8s · ведёт служба\n' "$t" "$before" "—"
|
|
continue
|
|
fi
|
|
after=""
|
|
for db in "$PGDB" "${PGDB}_logs"; do
|
|
a=$(p -d "$db" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
|
[ -n "$a" ] && { after="$a"; break; }
|
|
done
|
|
if [ -z "$after" ]; then
|
|
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1))
|
|
elif [ "$before" = "$after" ]; then
|
|
same=$((same + 1))
|
|
else
|
|
printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1))
|
|
fi
|
|
done < "$WORK/counts.txt"
|
|
printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing"
|
|
|
|
# ── 8. Запуск и проверка службы ──────────────────────────────
|
|
say "9. запускаю службу"
|
|
pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1
|
|
# Ждём именно рабочего состояния: после создания контейнер какое-то время
|
|
# находится в состоянии created, и проверка «через 40 секунд» его не заставала.
|
|
ST=""
|
|
for i in $(seq 1 24); do
|
|
sleep 5
|
|
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
|
[ "$ST" = "running" ] && break
|
|
done
|
|
API=""
|
|
[ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v3/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null)
|
|
[ -z "$API" ] && [ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v1/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null)
|
|
printf ' состояние: %s, версия через API: %s\n' "$ST" "${API:-нет ответа}"
|
|
|
|
echo
|
|
if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then
|
|
echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)"
|
|
echo " точка отката: $SNAP"
|
|
else
|
|
echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)"
|
|
rollback
|
|
fi
|
|
echo " карантин: $QUAR"
|