#!/bin/bash # ============================================================ # migrate-env.sh — перенос службы, задающей базу переменной # ============================================================ # Для служб вида Vaultwarden: база задаётся переменной окружения # (DATABASE_URL), схему создаёт сама служба своими миграциями. # # Метод, проверенный на Grafana и Prowlarr: # 1. точка отката: снимок, копия базы, копия конфигурации; # 2. разведка: таблицы, строки, двоичные поля; # 3. база и роль в PostgreSQL; # 4. переменная добавляется в compose, служба создаёт схему; # 5. контейнер УДАЛЯЕТСЯ — иначе служба перезапишет перенос своими # начальными данными; # 6. таблицы очищаются, данные загружаются; # 7. проверка: число строк по каждой таблице, содержимое двоичных полей. # # Использование: migrate-env.sh <имя> <контейнер> <папка-compose> # <файл-базы> <база-PG> [адрес-проверки] # ============================================================ set -uo pipefail NAME="${1:?имя}" CT="${2:?CT}" CONT="${3:?контейнер}" CDIR="${4:?папка compose}" SQLITE="${5:?файл базы}" PGDB="${6:?база PostgreSQL}" HEALTH="${7:-}" PGROLE="${NAME}_user" PGPASS="${NAME}_local_2026" STAMP=$(date +%Y%m%d_%H%M%S) QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg" WORK="/tmp/migrate-${NAME}-${STAMP}" mkdir -p "$QUAR" "$WORK" p() { pct exec 151 -- sudo -u postgres psql "$@"; } say() { echo "[$(date '+%T')] $*"; } rollback() { say "⟲ ВОЗВРАТ" pct exec "$CT" -- bash -c "cd '$CDIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1 pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 for i in $(seq 1 20); do sleep 5 st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) [ "$st" = "running" ] && break done printf ' состояние: %s\n' "$st" [ -n "$HEALTH" ] && printf ' ответ: %s\n' "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)" p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 say " база и роль удалены, конфигурация возвращена" } echo "╔══════════════════════════════════════════════════════════╗" echo "║ $NAME → POSTGRESQL" echo "╚══════════════════════════════════════════════════════════╝" say "1. точка отката" SNAP="pre-${NAME}-pg-$STAMP" pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1 pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } echo " снимок: $SNAP" pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz" gunzip -t "$QUAR/base.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/base.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; } pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null echo " конфигурация сохранена" say "2. читаю файловую базу" pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" NT=$(grep -c . "$WORK/tables.txt") [ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; } : > "$WORK/counts.txt" : > "$WORK/blobtables.txt" while read -r t; do [ -n "$t" ] || continue n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null) printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt" bl=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null) [ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt" done < "$WORK/tables.txt" echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)" echo " строк всего: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")" echo " двоичные поля:" sed 's/^/ /' "$WORK/blobtables.txt" 2>/dev/null || echo " нет" say "3. создаю базу и роль" p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 echo " база $PGDB" say "4. включаю PostgreSQL в конфигурации" # ВАЖНО: в файле может быть НЕСКОЛЬКО служб. Прошлая попытка добавила # переменную в первый попавшийся блок environment (у службы db), и # Vaultwarden продолжил работать с файловой базой — схемы не появилось. # Теперь переменная вставляется строго в блок нужной службы. pct exec "$CT" -- bash -c " python3 - <<'PYEOF' import re p = '$CDIR/docker-compose.yml' s = open(p).read() if 'DATABASE_URL' in s: print(' DATABASE_URL уже есть в файле') else: lines = s.split('\n') out = [] inside = False inserted = False target = '$CONT' for i, ln in enumerate(lines): out.append(ln) m = re.match(r'^ ([A-Za-z0-9_.-]+):\s*\$', ln) if m: inside = (m.group(1) == target) continue if inside and re.match(r'^ environment:\s*\$', ln) and not inserted: out.append(' - DATABASE_URL=postgresql://$PGROLE:$PGPASS@192.168.1.151:5432/$PGDB') inserted = True inside = False if inserted: open(p, 'w').write('\n'.join(out)) print(' переменная добавлена в блок службы $CONT') else: print(' ❌ не найдена служба $CONT с блоком environment — правка не сделана') PYEOF " 2>&1 | sed 's/^/ /' # Проверяю, что переменная попала именно туда pct exec "$CT" -- bash -c "grep -n -B2 'DATABASE_URL' $CDIR/docker-compose.yml 2>/dev/null" | sed 's/^/ /' say " перезапускаю службу для создания схемы" pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 created=0 for i in $(seq 1 30); do sleep 5 created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) [ "${created:-0}" -ge 5 ] && break done echo " таблиц создано: ${created:-0}" [ "${created:-0}" -ge 5 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 10 "$CONT" 2>&1 | tail -10 | sed 's/^/ /'; rollback; exit 1; } say "5. убираю контейнер на время загрузки" pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 sleep 3 removed=no for i in 1 2 3 4 5; do pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 sleep 2 pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } done echo " контейнер удалён: $removed" [ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } say "6. очищаю таблицы (кроме служебных таблиц миграций)" # ПРАВИЛО, выученное на медиа-сервисах: таблицы версий миграций очищать # НЕЛЬЗЯ. По ним служба понимает, какие миграции применены. После очистки # она пытается применить их заново и падает, потому что таблицы уже есть. # У Vaultwarden эту роль играет __diesel_schema_migrations. p -d "$PGDB" -tAc " DO \$\$ DECLARE r record; BEGIN FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' AND tablename NOT IN ('__diesel_schema_migrations','alembic_version','VersionInfo','__EFMigrationsHistory') LOOP EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; END LOOP; END \$\$;" >/dev/null 2>&1 left=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"__diesel_schema_migrations\"" 2>/dev/null) echo " очищено; записей о миграциях сохранено: ${left:-нет таблицы}" say "7. загружаю данные" # ПРАВИЛО: при загрузке проверка связей между таблицами ОТКЛЮЧАЕТСЯ. # Иначе таблицы, ссылающиеся друг на друга, падают по внешнему ключу: # ciphers ссылается на users, а users грузится позже или сбоит — и тогда # валится всё, что от неё зависит. Порядок загрузки при этом не важен. p -d "$PGDB" -tAc "SET session_replication_role = replica" >/dev/null 2>&1 loaded=0; failed=0; skipped=0 : > "$WORK/failed.txt" while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } case "$t" in __diesel_schema_migrations|alembic_version) echo " · $t — ведёт служба"; skipped=$((skipped + 1)); continue;; esac has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) if [ "${has:-0}" = "0" ]; then printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue fi blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt") if [ -n "$blobs" ]; then # Вывод загрузчика показывается ЦЕЛИКОМ при сбое: раньше он # отфильтровывался по признаку успеха, и текст ошибки терялся. out=$(bash /root/load-blob-v2.sh "$t" "$SQLITE" "$CT" "$PGDB" 2>&1) if echo "$out" | grep -q '✅'; then loaded=$((loaded + 1)); printf ' ✅ %-26s (двоичные)\n' "$t" else failed=$((failed + 1)) printf ' ⚠️ %-26s двоичные не загружены:\n' "$t" echo "$out" | tail -10 | sed 's/^/ /' fi else pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 # «SET session_replication_role» действует только внутри соединения, # поэтому идёт в ТОЙ ЖЕ команде psql, что и загрузка. if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" \ -c "SET session_replication_role = replica" \ -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then loaded=$((loaded + 1)) else failed=$((failed + 1)); printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" fi pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 fi done < "$WORK/counts.txt" echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed" say "8. ПРОВЕРКА ПОЛНОТЫ" same=0; differ=0; missing=0 while IFS='|' read -r t before; do [ -n "$t" ] || continue [ "${before:-0}" -eq 0 ] && continue case "$t" in __diesel_schema_migrations|alembic_version) continue;; esac after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) if [ -z "$after" ]; then printf ' %-28s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) elif [ "$before" = "$after" ]; then same=$((same + 1)) else printf ' %-28s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) fi done < "$WORK/counts.txt" printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" say "9. запускаю службу" pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d $CONT" >/dev/null 2>&1 ST="" for i in $(seq 1 24); do sleep 5 ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) [ "$ST" = "running" ] && break done CODE="" [ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null) printf ' состояние: %s, ответ: %s\n' "$ST" "${CODE:-не проверялся}" echo if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" echo " точка отката: $SNAP" else echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)" rollback fi echo " карантин: $QUAR"