Files
buryan-infra/ops/scripts/migrate-env.sh
T

260 lines
14 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# migrate-env.sh — перенос службы, задающей базу переменной
# ============================================================
# Для служб вида Vaultwarden: база задаётся переменной окружения
# (DATABASE_URL), схему создаёт сама служба своими миграциями.
#
# Метод, проверенный на Grafana и Prowlarr:
# 1. точка отката: снимок, копия базы, копия конфигурации;
# 2. разведка: таблицы, строки, двоичные поля;
# 3. база и роль в PostgreSQL;
# 4. переменная добавляется в compose, служба создаёт схему;
# 5. контейнер УДАЛЯЕТСЯ — иначе служба перезапишет перенос своими
# начальными данными;
# 6. таблицы очищаются, данные загружаются;
# 7. проверка: число строк по каждой таблице, содержимое двоичных полей.
#
# Использование: migrate-env.sh <имя> <CT> <контейнер> <папка-compose>
# <файл-базы> <база-PG> [адрес-проверки]
# ============================================================
set -uo pipefail
NAME="${1:?имя}"
CT="${2:?CT}"
CONT="${3:?контейнер}"
CDIR="${4:?папка compose}"
SQLITE="${5:?файл базы}"
PGDB="${6:?база PostgreSQL}"
HEALTH="${7:-}"
PGROLE="${NAME}_user"
PGPASS="${NAME}_local_2026"
STAMP=$(date +%Y%m%d_%H%M%S)
QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg"
WORK="/tmp/migrate-${NAME}-${STAMP}"
mkdir -p "$QUAR" "$WORK"
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
say() { echo "[$(date '+%T')] $*"; }
rollback() {
say "⟲ ВОЗВРАТ"
pct exec "$CT" -- bash -c "cd '$CDIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
for i in $(seq 1 20); do
sleep 5
st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
[ "$st" = "running" ] && break
done
printf ' состояние: %s\n' "$st"
[ -n "$HEALTH" ] && printf ' ответ: %s\n' "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)"
p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1
p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1
say " база и роль удалены, конфигурация возвращена"
}
echo "╔══════════════════════════════════════════════════════════╗"
echo "║ $NAME → POSTGRESQL"
echo "╚══════════════════════════════════════════════════════════╝"
say "1. точка отката"
SNAP="pre-${NAME}-pg-$STAMP"
pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1
pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; }
echo " снимок: $SNAP"
pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz"
gunzip -t "$QUAR/base.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/base.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; }
pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null
echo " конфигурация сохранена"
say "2. читаю файловую базу"
pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt"
NT=$(grep -c . "$WORK/tables.txt")
[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; }
: > "$WORK/counts.txt"
: > "$WORK/blobtables.txt"
while read -r t; do
[ -n "$t" ] || continue
n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null)
printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt"
bl=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null)
[ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt"
done < "$WORK/tables.txt"
echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)"
echo " строк всего: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")"
echo " двоичные поля:"
sed 's/^/ /' "$WORK/blobtables.txt" 2>/dev/null || echo " нет"
say "3. создаю базу и роль"
p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1
p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \
p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1
echo " база $PGDB"
say "4. включаю PostgreSQL в конфигурации"
# ВАЖНО: в файле может быть НЕСКОЛЬКО служб. Прошлая попытка добавила
# переменную в первый попавшийся блок environment (у службы db), и
# Vaultwarden продолжил работать с файловой базой — схемы не появилось.
# Теперь переменная вставляется строго в блок нужной службы.
pct exec "$CT" -- bash -c "
python3 - <<'PYEOF'
import re
p = '$CDIR/docker-compose.yml'
s = open(p).read()
if 'DATABASE_URL' in s:
print(' DATABASE_URL уже есть в файле')
else:
lines = s.split('\n')
out = []
inside = False
inserted = False
target = '$CONT'
for i, ln in enumerate(lines):
out.append(ln)
m = re.match(r'^ ([A-Za-z0-9_.-]+):\s*\$', ln)
if m:
inside = (m.group(1) == target)
continue
if inside and re.match(r'^ environment:\s*\$', ln) and not inserted:
out.append(' - DATABASE_URL=postgresql://$PGROLE:$PGPASS@192.168.1.151:5432/$PGDB')
inserted = True
inside = False
if inserted:
open(p, 'w').write('\n'.join(out))
print(' переменная добавлена в блок службы $CONT')
else:
print(' ❌ не найдена служба $CONT с блоком environment — правка не сделана')
PYEOF
" 2>&1 | sed 's/^/ /'
# Проверяю, что переменная попала именно туда
pct exec "$CT" -- bash -c "grep -n -B2 'DATABASE_URL' $CDIR/docker-compose.yml 2>/dev/null" | sed 's/^/ /'
say " перезапускаю службу для создания схемы"
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1
created=0
for i in $(seq 1 30); do
sleep 5
created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null)
[ "${created:-0}" -ge 5 ] && break
done
echo " таблиц создано: ${created:-0}"
[ "${created:-0}" -ge 5 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 10 "$CONT" 2>&1 | tail -10 | sed 's/^/ /'; rollback; exit 1; }
say "5. убираю контейнер на время загрузки"
pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1
sleep 3
removed=no
for i in 1 2 3 4 5; do
pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1
sleep 2
pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; }
done
echo " контейнер удалён: $removed"
[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; }
say "6. очищаю таблицы (кроме служебных таблиц миграций)"
# ПРАВИЛО, выученное на медиа-сервисах: таблицы версий миграций очищать
# НЕЛЬЗЯ. По ним служба понимает, какие миграции применены. После очистки
# она пытается применить их заново и падает, потому что таблицы уже есть.
# У Vaultwarden эту роль играет __diesel_schema_migrations.
p -d "$PGDB" -tAc "
DO \$\$ DECLARE r record; BEGIN
FOR r IN SELECT tablename FROM pg_tables
WHERE schemaname='public'
AND tablename NOT IN ('__diesel_schema_migrations','alembic_version','VersionInfo','__EFMigrationsHistory')
LOOP
EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE';
END LOOP;
END \$\$;" >/dev/null 2>&1
left=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"__diesel_schema_migrations\"" 2>/dev/null)
echo " очищено; записей о миграциях сохранено: ${left:-нет таблицы}"
say "7. загружаю данные"
# ПРАВИЛО: при загрузке проверка связей между таблицами ОТКЛЮЧАЕТСЯ.
# Иначе таблицы, ссылающиеся друг на друга, падают по внешнему ключу:
# ciphers ссылается на users, а users грузится позже или сбоит — и тогда
# валится всё, что от неё зависит. Порядок загрузки при этом не важен.
p -d "$PGDB" -tAc "SET session_replication_role = replica" >/dev/null 2>&1
loaded=0; failed=0; skipped=0
: > "$WORK/failed.txt"
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; }
case "$t" in __diesel_schema_migrations|alembic_version) echo " · $t — ведёт служба"; skipped=$((skipped + 1)); continue;; esac
has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null)
if [ "${has:-0}" = "0" ]; then
printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue
fi
blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt")
if [ -n "$blobs" ]; then
# Вывод загрузчика показывается ЦЕЛИКОМ при сбое: раньше он
# отфильтровывался по признаку успеха, и текст ошибки терялся.
out=$(bash /root/load-blob-v2.sh "$t" "$SQLITE" "$CT" "$PGDB" 2>&1)
if echo "$out" | grep -q '✅'; then
loaded=$((loaded + 1)); printf ' ✅ %-26s (двоичные)\n' "$t"
else
failed=$((failed + 1))
printf ' ⚠️ %-26s двоичные не загружены:\n' "$t"
echo "$out" | tail -10 | sed 's/^/ /'
fi
else
pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null
pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1
# «SET session_replication_role» действует только внутри соединения,
# поэтому идёт в ТОЙ ЖЕ команде psql, что и загрузка.
if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" \
-c "SET session_replication_role = replica" \
-c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then
loaded=$((loaded + 1))
else
failed=$((failed + 1)); printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)"
fi
pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1
fi
done < "$WORK/counts.txt"
echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed"
say "8. ПРОВЕРКА ПОЛНОТЫ"
same=0; differ=0; missing=0
while IFS='|' read -r t before; do
[ -n "$t" ] || continue
[ "${before:-0}" -eq 0 ] && continue
case "$t" in __diesel_schema_migrations|alembic_version) continue;; esac
after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null)
if [ -z "$after" ]; then
printf ' %-28s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1))
elif [ "$before" = "$after" ]; then
same=$((same + 1))
else
printf ' %-28s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1))
fi
done < "$WORK/counts.txt"
printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing"
say "9. запускаю службу"
pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d $CONT" >/dev/null 2>&1
ST=""
for i in $(seq 1 24); do
sleep 5
ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)
[ "$ST" = "running" ] && break
done
CODE=""
[ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null)
printf ' состояние: %s, ответ: %s\n' "$ST" "${CODE:-не проверялся}"
echo
if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then
echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)"
echo " точка отката: $SNAP"
else
echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)"
rollback
fi
echo " карантин: $QUAR"