214 lines
11 KiB
Bash
Executable File
214 lines
11 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# migrate-env.sh — перенос службы, задающей базу переменной
|
||
# ============================================================
|
||
# Для служб вида Vaultwarden: база задаётся переменной окружения
|
||
# (DATABASE_URL), схему создаёт сама служба своими миграциями.
|
||
#
|
||
# Метод, проверенный на Grafana и Prowlarr:
|
||
# 1. точка отката: снимок, копия базы, копия конфигурации;
|
||
# 2. разведка: таблицы, строки, двоичные поля;
|
||
# 3. база и роль в PostgreSQL;
|
||
# 4. переменная добавляется в compose, служба создаёт схему;
|
||
# 5. контейнер УДАЛЯЕТСЯ — иначе служба перезапишет перенос своими
|
||
# начальными данными;
|
||
# 6. таблицы очищаются, данные загружаются;
|
||
# 7. проверка: число строк по каждой таблице, содержимое двоичных полей.
|
||
#
|
||
# Использование: migrate-env.sh <имя> <CT> <контейнер> <папка-compose>
|
||
# <файл-базы> <база-PG> [адрес-проверки]
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
NAME="${1:?имя}"
|
||
CT="${2:?CT}"
|
||
CONT="${3:?контейнер}"
|
||
CDIR="${4:?папка compose}"
|
||
SQLITE="${5:?файл базы}"
|
||
PGDB="${6:?база PostgreSQL}"
|
||
HEALTH="${7:-}"
|
||
PGROLE="${NAME}_user"
|
||
PGPASS="${NAME}_local_2026"
|
||
|
||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||
QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg"
|
||
WORK="/tmp/migrate-${NAME}-${STAMP}"
|
||
mkdir -p "$QUAR" "$WORK"
|
||
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
say() { echo "[$(date '+%T')] $*"; }
|
||
|
||
rollback() {
|
||
say "⟲ ВОЗВРАТ"
|
||
pct exec "$CT" -- bash -c "cd '$CDIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1
|
||
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
|
||
for i in $(seq 1 20); do
|
||
sleep 5
|
||
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
||
[ "$st" = "running" ] && break
|
||
done
|
||
printf ' состояние: %s\n' "$st"
|
||
[ -n "$HEALTH" ] && printf ' ответ: %s\n' "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)"
|
||
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
|
||
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
|
||
say " база и роль удалены, конфигурация возвращена"
|
||
}
|
||
|
||
echo "╔══════════════════════════════════════════════════════════╗"
|
||
echo "║ $NAME → POSTGRESQL"
|
||
echo "╚══════════════════════════════════════════════════════════╝"
|
||
|
||
say "1. точка отката"
|
||
SNAP="pre-${NAME}-pg-$STAMP"
|
||
pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1
|
||
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; }
|
||
echo " снимок: $SNAP"
|
||
pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz"
|
||
gunzip -t "$QUAR/base.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/base.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; }
|
||
pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null
|
||
echo " конфигурация сохранена"
|
||
|
||
say "2. читаю файловую базу"
|
||
pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
|
||
NT=$(grep -c . "$WORK/tables.txt")
|
||
[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; }
|
||
: > "$WORK/counts.txt"
|
||
: > "$WORK/blobtables.txt"
|
||
while read -r t; do
|
||
[ -n "$t" ] || continue
|
||
n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt"
|
||
bl=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null)
|
||
[ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt"
|
||
done < "$WORK/tables.txt"
|
||
echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)"
|
||
echo " строк всего: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")"
|
||
echo " двоичные поля:"
|
||
sed 's/^/ /' "$WORK/blobtables.txt" 2>/dev/null || echo " нет"
|
||
|
||
say "3. создаю базу и роль"
|
||
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
|
||
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
|
||
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
|
||
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
|
||
echo " база $PGDB"
|
||
|
||
say "4. включаю PostgreSQL в конфигурации"
|
||
pct exec "$CT" -- bash -c "
|
||
python3 - <<'PYEOF'
|
||
p = '$CDIR/docker-compose.yml'
|
||
s = open(p).read()
|
||
if 'DATABASE_URL' not in s:
|
||
add = ''' - DATABASE_URL=postgresql://$PGROLE:$PGPASS@192.168.1.151:5432/$PGDB
|
||
'''
|
||
s = s.replace(' environment:\n', ' environment:\n' + add, 1)
|
||
open(p, 'w').write(s)
|
||
print(' переменная DATABASE_URL добавлена')
|
||
else:
|
||
print(' DATABASE_URL уже есть')
|
||
PYEOF
|
||
" 2>&1 | sed 's/^/ /'
|
||
|
||
say " перезапускаю службу для создания схемы"
|
||
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
|
||
created=0
|
||
for i in $(seq 1 30); do
|
||
sleep 5
|
||
created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
|
||
[ "${created:-0}" -ge 5 ] && break
|
||
done
|
||
echo " таблиц создано: ${created:-0}"
|
||
[ "${created:-0}" -ge 5 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 10 "$CONT" 2>&1 | tail -10 | sed 's/^/ /'; rollback; exit 1; }
|
||
|
||
say "5. убираю контейнер на время загрузки"
|
||
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
|
||
sleep 3
|
||
removed=no
|
||
for i in 1 2 3 4 5; do
|
||
pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1
|
||
sleep 2
|
||
pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; }
|
||
done
|
||
echo " контейнер удалён: $removed"
|
||
[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; }
|
||
|
||
say "6. очищаю таблицы"
|
||
p -d "$PGDB" -tAc "
|
||
DO \$\$ DECLARE r record; BEGIN
|
||
FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP
|
||
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
|
||
END LOOP;
|
||
END \$\$;" >/dev/null 2>&1
|
||
echo " очищено"
|
||
|
||
say "7. загружаю данные"
|
||
loaded=0; failed=0; skipped=0
|
||
while IFS='|' read -r t before; do
|
||
[ -n "$t" ] || continue
|
||
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
|
||
case "$t" in __diesel_schema_migrations|alembic_version) echo " · $t — ведёт служба"; skipped=$((skipped + 1)); continue;; esac
|
||
|
||
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null)
|
||
if [ "${has:-0}" = "0" ]; then
|
||
printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue
|
||
fi
|
||
|
||
blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt")
|
||
if [ -n "$blobs" ]; then
|
||
if bash /root/load-blob-table.sh "$t" "$SQLITE" "$CT" "$PGDB" 2>&1 | grep -q '✅'; then
|
||
loaded=$((loaded + 1)); printf ' ✅ %-26s (двоичные)\n' "$t"
|
||
else
|
||
failed=$((failed + 1)); printf ' ⚠️ %-26s двоичные не загружены\n' "$t"
|
||
fi
|
||
else
|
||
pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
|
||
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
|
||
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
|
||
loaded=$((loaded + 1))
|
||
else
|
||
failed=$((failed + 1)); printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)"
|
||
fi
|
||
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
|
||
fi
|
||
done < "$WORK/counts.txt"
|
||
echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed"
|
||
|
||
say "8. ПРОВЕРКА ПОЛНОТЫ"
|
||
same=0; differ=0; missing=0
|
||
while IFS='|' read -r t before; do
|
||
[ -n "$t" ] || continue
|
||
[ "${before:-0}" -eq 0 ] && continue
|
||
case "$t" in __diesel_schema_migrations|alembic_version) continue;; esac
|
||
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
|
||
if [ -z "$after" ]; then
|
||
printf ' %-28s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1))
|
||
elif [ "$before" = "$after" ]; then
|
||
same=$((same + 1))
|
||
else
|
||
printf ' %-28s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1))
|
||
fi
|
||
done < "$WORK/counts.txt"
|
||
printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing"
|
||
|
||
say "9. запускаю службу"
|
||
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d $CONT" >/dev/null 2>&1
|
||
ST=""
|
||
for i in $(seq 1 24); do
|
||
sleep 5
|
||
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
|
||
[ "$ST" = "running" ] && break
|
||
done
|
||
CODE=""
|
||
[ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null)
|
||
printf ' состояние: %s, ответ: %s\n' "$ST" "${CODE:-не проверялся}"
|
||
|
||
echo
|
||
if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then
|
||
echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)"
|
||
echo " точка отката: $SNAP"
|
||
else
|
||
echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)"
|
||
rollback
|
||
fi
|
||
echo " карантин: $QUAR"
|