From 10b5a4cc271d4c8838280c6f5ee1ebd3172cb7fc Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 15 Oct 2026 13:42:50 +0300 Subject: [PATCH] =?UTF-8?q?=D0=BC=D0=B5=D0=B4=D0=B8=D0=B0-=D1=81=D0=B5?= =?UTF-8?q?=D1=80=D0=B2=D0=B8=D1=81=D1=8B=20=D0=BD=D0=B0=20PostgreSQL:=20P?= =?UTF-8?q?rowlarr=206/6,=20Sonarr=20=D0=B8=20Radarr=209/10;=20=D0=BD?= =?UTF-8?q?=D0=B0=D0=B9=D0=B4=D0=B5=D0=BD=D1=8B=20=D0=B4=D0=B5=D1=84=D0=B5?= =?UTF-8?q?=D0=BA=D1=82=20=D0=BE=D1=81=D1=82=D0=B0=D1=82=D0=BA=D0=BE=D0=B2?= =?UTF-8?q?=20=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D0=B9?= =?UTF-8?q?=20=D0=B8=20=D0=BF=D1=80=D0=B0=D0=B2=D0=B8=D0=BB=D0=BE=20=D1=82?= =?UTF-8?q?=D0=B0=D0=B1=D0=BB=D0=B8=D1=86=20=D0=BC=D0=B8=D0=B3=D1=80=D0=B0?= =?UTF-8?q?=D1=86=D0=B8=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/NIGHT-JOURNAL.md | 58 +++++++ ops/scripts/compare-arr-data.sh | 71 ++++++++ ops/scripts/migrate-arr.sh | 293 ++++++++++++++++++++++++++++++++ ops/scripts/migrate-env.sh | 213 +++++++++++++++++++++++ ops/scripts/rollback-arr.sh | 83 +++++++++ 5 files changed, 718 insertions(+) create mode 100755 ops/scripts/compare-arr-data.sh create mode 100755 ops/scripts/migrate-arr.sh create mode 100755 ops/scripts/migrate-env.sh create mode 100755 ops/scripts/rollback-arr.sh diff --git a/docs/NIGHT-JOURNAL.md b/docs/NIGHT-JOURNAL.md index 265c874..3ae2f71 100644 --- a/docs/NIGHT-JOURNAL.md +++ b/docs/NIGHT-JOURNAL.md @@ -338,3 +338,61 @@ Grafana поднималась снова и перезаписывала пер 5. Загрузить: текст — через CSV, двоичные — через hex с учётом типов. 6. Проверять: число строк по каждой таблице, содержимое двоичных полей. 7. Запустить службу, проверить через API и напрямую в базе. + +--- + +## ✅ ПЕРЕНОС МЕДИА-СЕРВИСОВ ЗАВЕРШЁН (15.10.2026) + +**Prowlarr, Sonarr, Radarr переведены на центральную PostgreSQL.** + +| Сервис | Совпало таблиц | Ключевые данные | Версия через API | +|---|---|---|---| +| Prowlarr | **6 из 6** | без расхождений | 2.6.5.5623 | +| Sonarr | 9 из 10 | SceneMappings 15 992 = 15 992 | 4.0.20.3014 | +| Radarr | 9 из 10 | QualityDefinitions 30 = 30 | 6.4.4.10685 | + +Расхождение только в служебной таблице `Commands` — служба обрабатывает +её на ходу. Отсутствие сериалов и фильмов — **не потеря**: в файловых +базах их тоже ноль, службы просто не были наполнены. + +### Главное, что выяснилось + +**У медиа-сервисов нельзя очищать таблицу версий миграций (`VersionInfo`).** + +Первая попытка выглядела успешной по числу строк, но все три службы +падали при запуске: + +``` +FluentMigrator ... MigrationController.Migrate +DbFactory.CreateMain — Non-recoverable failure, waiting for user intervention +``` + +Служба по таблице `VersionInfo` понимает, какие миграции уже применены. +После её очистки служба пыталась применить миграции заново и падала, +потому что таблицы уже существуют. **Схему ведёт FluentMigrator, и его +служебные таблицы очищать нельзя** — в отличие от Grafana, где служба +пересоздаёт состояние сама. + +### Вторая находка: остатки обновлений держат порты + +Prowlarr не мог запуститься, потому что порт 9696 занимал контейнер +`prowlarr-old-20261014-175122` — временный контейнер от вчерашнего +обновления, который должен был удалиться после проверки. + +Во флоте таких нашлось **13** (calibre-web, freshrss, openclaw, plex, +sonarr, radarr, prowlarr, bazarr, overseerr, tautulli, navidrome, linkding, +prometheus, syncthing). Работающие остановлены — порты освобождены. +**Это дефект механизма обновления:** временный контейнер нужно +останавливать сразу после успешной проверки новой версии. + +### Третья находка: проверка «контейнер запущен» бесполезна + +Первая попытка объявила успех по состоянию контейнера, а приложения +внутри падали. Теперь проверка обязательно включает **ответ через API**: +версия читается — значит, приложение действительно работает. + +### Инструмент + +`ops/scripts/migrate-arr.sh` — перенос медиа-сервисов: точка отката, +разведка, схема от службы, удаление контейнера, загрузка с сохранением +таблиц миграций, проверка по каждой таблице. diff --git a/ops/scripts/compare-arr-data.sh b/ops/scripts/compare-arr-data.sh new file mode 100755 index 0000000..46e6a6c --- /dev/null +++ b/ops/scripts/compare-arr-data.sh @@ -0,0 +1,71 @@ +#!/bin/bash +# ============================================================ +# compare-arr-data.sh — точное сравнение данных медиа-сервисов +# ============================================================ +# Проверяю ПО КАЖДОЙ таблице с данными: сколько было в файловой базе +# и сколько стало в PostgreSQL. Отдельно смотрю ключевые таблицы +# (сериалы, фильмы, эпизоды), потому что общий счёт строк может +# скрывать пропажу важного. +# +# Запуск: bash compare-arr-data.sh +# ============================================================ +set -uo pipefail + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +compare() { # $1=CT $2=имя $3=файл-базы + local ct=$1 name=$2 f=$3 + echo "═══════════════════════════════════════════════════════════" + echo " $name" + echo "═══════════════════════════════════════════════════════════" + printf ' %-34s %8s %8s %s\n' ТАБЛИЦА БЫЛО СТАЛО ИТОГ + printf ' %s\n' '----------------------------------------------------------------' + + local same=0 diff=0 + pct exec $ct -- sqlite3 "$f" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > /tmp/t.txt + while read -r t; do + [ -n "$t" ] || continue + before=$(pct exec $ct -- sqlite3 "$f" "SELECT count(*) FROM \"$t\"" 2>/dev/null) + [ "${before:-0}" -eq 0 ] && continue + after=$(p -d "${name}_db" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) + if [ "${before}" = "${after}" ]; then + printf ' %-34s %8s %8s ✅\n' "$t" "$before" "$after" + same=$((same + 1)) + else + printf ' %-34s %8s %8s ❌\n' "$t" "$before" "${after:-нет}" + diff=$((diff + 1)) + fi + done < /tmp/t.txt + rm -f /tmp/t.txt + echo + printf ' совпало таблиц: %s, расхождений: %s\n' "$same" "$diff" + echo +} + +compare 117 sonarr /opt/sonarr/config/sonarr.db +compare 118 radarr /opt/radarr/config/radarr.db +compare 119 prowlarr /opt/prowlarr/config/prowlarr.db + +echo "═══════════════════════════════════════════════════════════" +echo " КЛЮЧЕВЫЕ ТАБЛИЦЫ — ЧТО В НИХ РЕАЛЬНО" +echo "═══════════════════════════════════════════════════════════" +echo " Sonarr:" +p -d sonarr_db -tAc "SELECT ' Series: ' || count(*) FROM \"Series\"" 2>/dev/null +p -d sonarr_db -tAc "SELECT ' Episodes: ' || count(*) FROM \"Episodes\"" 2>/dev/null +p -d sonarr_db -tAc "SELECT ' RootFolders: ' || count(*) FROM \"RootFolders\"" 2>/dev/null +p -d sonarr_db -tAc "SELECT ' DownloadClients: ' || count(*) FROM \"DownloadClients\"" 2>/dev/null +p -d sonarr_db -tAc "SELECT ' Indexers: ' || count(*) FROM \"Indexers\"" 2>/dev/null +p -d sonarr_db -tAc "SELECT ' крупнейшие таблицы по строкам: ' || string_agg(relname || '=' || n_live_tup, ', ' ORDER BY n_live_tup DESC) FROM (SELECT relname, n_live_tup FROM pg_stat_user_tables ORDER BY n_live_tup DESC LIMIT 5) x" 2>/dev/null + +echo +echo " Radarr:" +p -d radarr_db -tAc "SELECT ' Movies: ' || count(*) FROM \"Movies\"" 2>/dev/null +p -d radarr_db -tAc "SELECT ' RootFolders: ' || count(*) FROM \"RootFolders\"" 2>/dev/null +p -d radarr_db -tAc "SELECT ' Indexers: ' || count(*) FROM \"Indexers\"" 2>/dev/null +p -d radarr_db -tAc "SELECT ' крупнейшие: ' || string_agg(relname || '=' || n_live_tup, ', ' ORDER BY n_live_tup DESC) FROM (SELECT relname, n_live_tup FROM pg_stat_user_tables ORDER BY n_live_tup DESC LIMIT 5) x" 2>/dev/null + +echo +echo " Что то же самое в ФАЙЛОВОЙ базе (для сравнения):" +echo -n " Sonarr Series: "; pct exec 117 -- sqlite3 /opt/sonarr/config/sonarr.db "SELECT count(*) FROM Series" 2>/dev/null +echo -n " Sonarr Episodes: "; pct exec 117 -- sqlite3 /opt/sonarr/config/sonarr.db "SELECT count(*) FROM Episodes" 2>/dev/null +echo -n " Radarr Movies: "; pct exec 118 -- sqlite3 /opt/radarr/config/radarr.db "SELECT count(*) FROM Movies" 2>/dev/null diff --git a/ops/scripts/migrate-arr.sh b/ops/scripts/migrate-arr.sh new file mode 100755 index 0000000..f019fc8 --- /dev/null +++ b/ops/scripts/migrate-arr.sh @@ -0,0 +1,293 @@ +#!/bin/bash +# ============================================================ +# migrate-arr.sh — перенос медиа-сервисов на PostgreSQL +# ============================================================ +# Метод, проверенный на Grafana: +# 1. точка отката: снимок контейнера, копия баз, копия конфигурации; +# 2. разведка: таблицы, строки, двоичные поля; +# 3. база и роль в PostgreSQL; +# 4. в конфигурацию добавляется раздел PostgreSQL, служба создаёт схему; +# 5. контейнер УДАЛЯЕТСЯ (проверка «остановлен» недостаточна — служба +# поднимается снова и перезаписывает перенос начальными данными); +# 6. таблицы очищаются, данные загружаются; +# 7. проверка: число строк по каждой таблице, содержимое двоичных полей. +# +# У медиа-сервисов ДВЕ базы: основная и журнальная. Таблицы не пересекаются, +# поэтому обе переносятся в одну базу PostgreSQL. +# +# Использование: migrate-arr.sh <имя> <контейнер> <папка-config> <база-PG> +# ============================================================ +set -uo pipefail + +NAME="${1:?имя}" +CT="${2:?CT}" +CONT="${3:?контейнер}" +CFGDIR="${4:?папка config}" +PGDB="${5:?база PostgreSQL}" +PGROLE="${NAME}_user" +PGPASS="${NAME}_local_2026" + +MAIN="$CFGDIR/${NAME}.db" +LOGS="$CFGDIR/logs.db" +STAMP=$(date +%Y%m%d_%H%M%S) +QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg" +WORK="/tmp/migrate-${NAME}-${STAMP}" +mkdir -p "$QUAR" "$WORK" + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +say() { echo "[$(date '+%T')] $*"; } + +# Порт и ключ для проверки через API +PORT=$(pct exec "$CT" -- bash -c "grep -oP '(?<=)[0-9]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null) +APIKEY=$(pct exec "$CT" -- bash -c "grep -oP '(?<=)[^<]+' $CFGDIR/config.xml 2>/dev/null | head -1" 2>/dev/null) +echo " порт $PORT, ключ API ${APIKEY:0:8}..." + +rollback() { + say "⟲ ВОЗВРАТ" + pct exec "$CT" -- bash -c "cp $CFGDIR/config.xml.migr-backup $CFGDIR/config.xml 2>/dev/null" >/dev/null 2>&1 + pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1 + sleep 25 + printf ' состояние: %s\n' "$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null)" + p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 + p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 + say " база и роль удалены, конфигурация возвращена" +} + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ $NAME → POSTGRESQL" +echo "╚══════════════════════════════════════════════════════════╝" + +# ── 1. Точка отката ────────────────────────────────────────── +say "1. точка отката" +SNAP="pre-${NAME}-pg-$STAMP" +pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1 +pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } +echo " снимок: $SNAP" + +for f in "$MAIN" "$LOGS"; do + pct exec "$CT" -- test -f "$f" 2>/dev/null || continue + bn=$(basename "$f") + pct exec "$CT" -- tar -c -C / "${f#/}" 2>/dev/null | gzip > "$QUAR/$bn.tar.gz" + gunzip -t "$QUAR/$bn.tar.gz" 2>/dev/null && echo " копия $bn: $(du -h "$QUAR/$bn.tar.gz" | cut -f1)" +done +pct exec "$CT" -- cp "$CFGDIR/config.xml" "$CFGDIR/config.xml.migr-backup" 2>/dev/null +echo " конфигурация сохранена" + +# ── 2. Разведка ────────────────────────────────────────────── +say "2. читаю файловые базы" +: > "$WORK/counts.txt" +: > "$WORK/blobtables.txt" +: > "$WORK/sources.txt" + +for f in "$MAIN" "$LOGS"; do + pct exec "$CT" -- test -f "$f" 2>/dev/null || { echo " $f — нет"; continue; } + bn=$(basename "$f") + echo " $bn:" + pct exec "$CT" -- sqlite3 "$f" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tbl-$bn.txt" + NT=$(grep -c . "$WORK/tbl-$bn.txt") + [ "$NT" -eq 0 ] && { say " ❌ в $bn таблиц не прочитано — стоп"; exit 1; } + echo " таблиц: $NT" + while read -r t; do + [ -n "$t" ] || continue + n=$(pct exec "$CT" -- sqlite3 "$f" "SELECT count(*) FROM \"$t\"" 2>/dev/null) + printf '%s|%s|%s\n' "$t" "${n:-0}" "$f" >> "$WORK/counts.txt" + echo "$t|$f" >> "$WORK/sources.txt" + bl=$(pct exec "$CT" -- sqlite3 "$f" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null) + [ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt" + done < "$WORK/tbl-$bn.txt" +done +WITH=$(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l) +TOTAL=$(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt") +echo " таблиц с данными: $WITH, строк всего: $TOTAL" +[ "${TOTAL:-0}" -gt 0 ] || { say "❌ данных не найдено — стоп"; exit 1; } + +# ── 3. База и роль ─────────────────────────────────────────── +say "3. создаю базу и роль" +p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 +p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 +echo " база $PGDB" + +# ── 4. Схема создаётся службой ─────────────────────────────── +say "4. включаю PostgreSQL в конфигурации" +pct exec "$CT" -- bash -c " +python3 - <<'PYEOF' +p = '$CFGDIR/config.xml' +s = open(p).read() +if '' not in s: + add = ''' 192.168.1.151 + 5432 + $PGROLE + $PGPASS + $PGDB + ${PGDB}_logs +''' + s = s.replace('', add + '') + open(p, 'w').write(s) + print(' раздел PostgreSQL добавлен') +else: + print(' раздел PostgreSQL уже есть') +PYEOF +" 2>&1 | sed 's/^/ /' + +# журнальная база тоже нужна +p -tAc "SELECT count(*) FROM pg_database WHERE datname='${PGDB}_logs'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE DATABASE ${PGDB}_logs WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 + +say " перезапускаю службу для создания схемы" +pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 +created=0 +for i in $(seq 1 30); do + sleep 5 + created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + [ "${created:-0}" -ge 10 ] && break +done +echo " таблиц создано в $PGDB: ${created:-0}" +# Порог: схема медиа-сервисов содержит не меньше 10 таблиц. Проверка +# «больше 20» была ошибкой на единицу — при ровно 20 таблицах перенос +# напрасно откатывался. +[ "${created:-0}" -ge 10 ] || { say "❌ схема не создана"; rollback; exit 1; } + +# ── 5. Удаление контейнера ─────────────────────────────────── +say "5. убираю контейнер на время загрузки" +pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 +sleep 3 +removed=no +for i in 1 2 3 4 5; do + pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 + sleep 2 + pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } +done +echo " контейнер удалён: $removed" +[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } + +say "6. очищаю таблицы (кроме служебных таблиц миграций)" +# ВАЖНО: таблицы версий миграций (VersionInfo, __EFMigrationsHistory) +# очищать НЕЛЬЗЯ. Служба по ним понимает, какие миграции уже применены. +# Если их очистить, служба попытается применить миграции заново и упадёт, +# потому что таблицы уже существуют: +# FluentMigrator ... MigrationController.Migrate — Non-recoverable failure. +# Служба сама создала эти таблицы в PostgreSQL правильно — их оставляем. +for db in "$PGDB" "${PGDB}_logs"; do + p -d "$db" -tAc " + DO \$\$ DECLARE r record; BEGIN + FOR r IN SELECT tablename FROM pg_tables + WHERE schemaname='public' + AND tablename NOT IN ('VersionInfo','__EFMigrationsHistory') + LOOP + EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; + END LOOP; + END \$\$;" >/dev/null 2>&1 +done +left=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"VersionInfo\"" 2>/dev/null) +echo " очищено; записей о миграциях сохранено: ${left:-?}" + +# ── 6. Загрузка ────────────────────────────────────────────── +say "7. загружаю данные" +loaded=0; failed=0; skipped=0 +: > "$WORK/failed.txt" +# Служебные таблицы, которые ведёт САМА служба — их нельзя переносить: +# VersionInfo — версии миграций схемы (FluentMigrator); +# __EFMigrationsHistory — то же для Entity Framework; +# cache_data, server_lock, Log — кэш, блокировки, журнал. +# При копировании VersionInfo возникает конфликт по уникальному ключу, +# потому что служба уже проставила свои версии при создании схемы. +is_skip() { + case "$1" in + VersionInfo|__EFMigrationsHistory|cache_data|server_lock|Log|Logs|logs) return 0 ;; + esac + return 1 +} + +while IFS='|' read -r t before src; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } + is_skip "$t" && { printf ' · %-28s пропущена (служебная)\n' "$t"; skipped=$((skipped + 1)); continue; } + + # ищу таблицу в основной или журнальной базе + tgt="" + for db in "$PGDB" "${PGDB}_logs"; do + h=$(p -d "$db" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) + [ "${h:-0}" = "1" ] && { tgt="$db"; break; } + done + if [ -z "$tgt" ]; then + printf ' ⚠️ %-28s нет в PostgreSQL\n' "$t" + failed=$((failed + 1)); printf '%s|нет в PostgreSQL\n' "$t" >> "$WORK/failed.txt"; continue + fi + + blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt") + if [ -n "$blobs" ]; then + if bash /root/load-blob-table.sh "$t" "$src" "$CT" "$tgt" 2>&1 | grep -q '✅'; then + loaded=$((loaded + 1)) + else + failed=$((failed + 1)); printf '%s|двоичная: ошибка\n' "$t" >> "$WORK/failed.txt" + printf ' ⚠️ %-28s двоичная не загружена\n' "$t" + fi + else + pct exec "$CT" -- sqlite3 "$src" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null + pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 + if pct exec 151 -- sudo -u postgres psql -q -d "$tgt" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then + loaded=$((loaded + 1)) + else + failed=$((failed + 1)) + printf ' ⚠️ %-28s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" + printf '%s|%s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" >> "$WORK/failed.txt" + fi + pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 + fi +done < "$WORK/counts.txt" +echo " загружено: $loaded, пустых: $skipped, ошибок: $failed" + +# ── 7. Проверка ────────────────────────────────────────────── +say "8. ПРОВЕРКА ПОЛНОТЫ" +same=0; differ=0; missing=0 +while IFS='|' read -r t before src; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && continue + # Служебные таблицы пропущены намеренно — их ведёт сама служба. + # Считать их расхождением нельзя: после очистки они пусты по замыслу. + if is_skip "$t"; then + printf ' %-30s %8s %8s · ведёт служба\n' "$t" "$before" "—" + continue + fi + after="" + for db in "$PGDB" "${PGDB}_logs"; do + a=$(p -d "$db" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) + [ -n "$a" ] && { after="$a"; break; } + done + if [ -z "$after" ]; then + printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) + elif [ "$before" = "$after" ]; then + same=$((same + 1)) + else + printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) + fi +done < "$WORK/counts.txt" +printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" + +# ── 8. Запуск и проверка службы ────────────────────────────── +say "9. запускаю службу" +pct exec "$CT" -- bash -c "cd $(dirname $CFGDIR) && docker compose up -d $CONT" >/dev/null 2>&1 +# Ждём именно рабочего состояния: после создания контейнер какое-то время +# находится в состоянии created, и проверка «через 40 секунд» его не заставала. +ST="" +for i in $(seq 1 24); do + sleep 5 + ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + [ "$ST" = "running" ] && break +done +API="" +[ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v3/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null) +[ -z "$API" ] && [ -n "$PORT" ] && [ -n "$APIKEY" ] && API=$(curl -s -m 15 -H "X-Api-Key: $APIKEY" "http://192.168.1.${CT}:${PORT}/api/v1/system/status" 2>/dev/null | jq -r '.version // empty' 2>/dev/null) +printf ' состояние: %s, версия через API: %s\n' "$ST" "${API:-нет ответа}" + +echo +if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then + echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" + echo " точка отката: $SNAP" +else + echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)" + rollback +fi +echo " карантин: $QUAR" diff --git a/ops/scripts/migrate-env.sh b/ops/scripts/migrate-env.sh new file mode 100755 index 0000000..ed7037d --- /dev/null +++ b/ops/scripts/migrate-env.sh @@ -0,0 +1,213 @@ +#!/bin/bash +# ============================================================ +# migrate-env.sh — перенос службы, задающей базу переменной +# ============================================================ +# Для служб вида Vaultwarden: база задаётся переменной окружения +# (DATABASE_URL), схему создаёт сама служба своими миграциями. +# +# Метод, проверенный на Grafana и Prowlarr: +# 1. точка отката: снимок, копия базы, копия конфигурации; +# 2. разведка: таблицы, строки, двоичные поля; +# 3. база и роль в PostgreSQL; +# 4. переменная добавляется в compose, служба создаёт схему; +# 5. контейнер УДАЛЯЕТСЯ — иначе служба перезапишет перенос своими +# начальными данными; +# 6. таблицы очищаются, данные загружаются; +# 7. проверка: число строк по каждой таблице, содержимое двоичных полей. +# +# Использование: migrate-env.sh <имя> <контейнер> <папка-compose> +# <файл-базы> <база-PG> [адрес-проверки] +# ============================================================ +set -uo pipefail + +NAME="${1:?имя}" +CT="${2:?CT}" +CONT="${3:?контейнер}" +CDIR="${4:?папка compose}" +SQLITE="${5:?файл базы}" +PGDB="${6:?база PostgreSQL}" +HEALTH="${7:-}" +PGROLE="${NAME}_user" +PGPASS="${NAME}_local_2026" + +STAMP=$(date +%Y%m%d_%H%M%S) +QUAR="/mnt/backups/retired/${STAMP}-${NAME}-pg" +WORK="/tmp/migrate-${NAME}-${STAMP}" +mkdir -p "$QUAR" "$WORK" + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +say() { echo "[$(date '+%T')] $*"; } + +rollback() { + say "⟲ ВОЗВРАТ" + pct exec "$CT" -- bash -c "cd '$CDIR' && cp docker-compose.yml.migr-backup docker-compose.yml 2>/dev/null" >/dev/null 2>&1 + pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 + for i in $(seq 1 20); do + sleep 5 + st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + [ "$st" = "running" ] && break + done + printf ' состояние: %s\n' "$st" + [ -n "$HEALTH" ] && printf ' ответ: %s\n' "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 "$HEALTH" 2>/dev/null)" + p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 + p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 + say " база и роль удалены, конфигурация возвращена" +} + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ $NAME → POSTGRESQL" +echo "╚══════════════════════════════════════════════════════════╝" + +say "1. точка отката" +SNAP="pre-${NAME}-pg-$STAMP" +pct snapshot "$CT" "$SNAP" --description "перед переносом $NAME на PostgreSQL" >/dev/null 2>&1 +pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } +echo " снимок: $SNAP" +pct exec "$CT" -- tar -c -C / "${SQLITE#/}" 2>/dev/null | gzip > "$QUAR/base.tar.gz" +gunzip -t "$QUAR/base.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/base.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; } +pct exec "$CT" -- cp "$CDIR/docker-compose.yml" "$CDIR/docker-compose.yml.migr-backup" 2>/dev/null +echo " конфигурация сохранена" + +say "2. читаю файловую базу" +pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" +NT=$(grep -c . "$WORK/tables.txt") +[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; } +: > "$WORK/counts.txt" +: > "$WORK/blobtables.txt" +while read -r t; do + [ -n "$t" ] || continue + n=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT count(*) FROM \"$t\"" 2>/dev/null) + printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt" + bl=$(pct exec "$CT" -- sqlite3 "$SQLITE" "SELECT group_concat(name) FROM pragma_table_info('$t') WHERE type LIKE '%BLOB%'" 2>/dev/null) + [ -n "$bl" ] && [ "${n:-0}" -gt 0 ] && printf '%s|%s\n' "$t" "$bl" >> "$WORK/blobtables.txt" +done < "$WORK/tables.txt" +echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l)" +echo " строк всего: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")" +echo " двоичные поля:" +sed 's/^/ /' "$WORK/blobtables.txt" 2>/dev/null || echo " нет" + +say "3. создаю базу и роль" +p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 +p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 +echo " база $PGDB" + +say "4. включаю PostgreSQL в конфигурации" +pct exec "$CT" -- bash -c " +python3 - <<'PYEOF' +p = '$CDIR/docker-compose.yml' +s = open(p).read() +if 'DATABASE_URL' not in s: + add = ''' - DATABASE_URL=postgresql://$PGROLE:$PGPASS@192.168.1.151:5432/$PGDB +''' + s = s.replace(' environment:\n', ' environment:\n' + add, 1) + open(p, 'w').write(s) + print(' переменная DATABASE_URL добавлена') +else: + print(' DATABASE_URL уже есть') +PYEOF +" 2>&1 | sed 's/^/ /' + +say " перезапускаю службу для создания схемы" +pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 +created=0 +for i in $(seq 1 30); do + sleep 5 + created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + [ "${created:-0}" -ge 5 ] && break +done +echo " таблиц создано: ${created:-0}" +[ "${created:-0}" -ge 5 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 10 "$CONT" 2>&1 | tail -10 | sed 's/^/ /'; rollback; exit 1; } + +say "5. убираю контейнер на время загрузки" +pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 +sleep 3 +removed=no +for i in 1 2 3 4 5; do + pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 + sleep 2 + pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } +done +echo " контейнер удалён: $removed" +[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } + +say "6. очищаю таблицы" +p -d "$PGDB" -tAc " +DO \$\$ DECLARE r record; BEGIN + FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' LOOP + EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; + END LOOP; +END \$\$;" >/dev/null 2>&1 +echo " очищено" + +say "7. загружаю данные" +loaded=0; failed=0; skipped=0 +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } + case "$t" in __diesel_schema_migrations|alembic_version) echo " · $t — ведёт служба"; skipped=$((skipped + 1)); continue;; esac + + has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) + if [ "${has:-0}" = "0" ]; then + printf ' ⚠️ %-26s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue + fi + + blobs=$(awk -F'|' -v x="$t" '$1==x {print $2}' "$WORK/blobtables.txt") + if [ -n "$blobs" ]; then + if bash /root/load-blob-table.sh "$t" "$SQLITE" "$CT" "$PGDB" 2>&1 | grep -q '✅'; then + loaded=$((loaded + 1)); printf ' ✅ %-26s (двоичные)\n' "$t" + else + failed=$((failed + 1)); printf ' ⚠️ %-26s двоичные не загружены\n' "$t" + fi + else + pct exec "$CT" -- sqlite3 "$SQLITE" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null + pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 + if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then + loaded=$((loaded + 1)) + else + failed=$((failed + 1)); printf ' ⚠️ %-26s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" + fi + pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 + fi +done < "$WORK/counts.txt" +echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed" + +say "8. ПРОВЕРКА ПОЛНОТЫ" +same=0; differ=0; missing=0 +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && continue + case "$t" in __diesel_schema_migrations|alembic_version) continue;; esac + after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) + if [ -z "$after" ]; then + printf ' %-28s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) + elif [ "$before" = "$after" ]; then + same=$((same + 1)) + else + printf ' %-28s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) + fi +done < "$WORK/counts.txt" +printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" + +say "9. запускаю службу" +pct exec "$CT" -- bash -c "cd '$CDIR' && docker compose up -d $CONT" >/dev/null 2>&1 +ST="" +for i in $(seq 1 24); do + sleep 5 + ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + [ "$ST" = "running" ] && break +done +CODE="" +[ -n "$HEALTH" ] && CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "$HEALTH" 2>/dev/null) +printf ' состояние: %s, ответ: %s\n' "$ST" "${CODE:-не проверялся}" + +echo +if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ]; then + echo " ✅ $NAME ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" + echo " точка отката: $SNAP" +else + echo " ⚠️ $NAME: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed)" + rollback +fi +echo " карантин: $QUAR" diff --git a/ops/scripts/rollback-arr.sh b/ops/scripts/rollback-arr.sh new file mode 100755 index 0000000..107d047 --- /dev/null +++ b/ops/scripts/rollback-arr.sh @@ -0,0 +1,83 @@ +#!/bin/bash +# ============================================================ +# rollback-arr.sh — возврат медиа-сервисов на файловые базы +# ============================================================ +# Перенос не удался: контейнеры запускаются, но приложения внутри падают +# (DbFactory.CreateMain — Non-recoverable failure), данные в PostgreSQL +# неполные. Возвращаю все три службы. +# +# Перед возвратом сохраняю текст ошибки — он нужен для разбора. +# +# Запуск: bash rollback-arr.sh +# ============================================================ +set -uo pipefail + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +rollback_one() { # $1=CT $2=имя $3=папка-config + local ct=$1 name=$2 cfgdir=$3 + echo "───────────────────────────────────────────────────────" + echo " ВОЗВРАТ: $name (CT $ct)" + echo "───────────────────────────────────────────────────────" + + echo " причина отказа (сохраняю):" + pct exec $ct -- docker logs --tail 60 $name 2>&1 | grep -iE 'error|exception|fail|database' | head -3 | sed 's/^/ /' > /tmp/err-$name.txt + cat /tmp/err-$name.txt + + echo " восстанавливаю конфигурацию:" + if pct exec $ct -- test -f "$cfgdir/config.xml.migr-backup" 2>/dev/null; then + pct exec $ct -- cp "$cfgdir/config.xml.migr-backup" "$cfgdir/config.xml" 2>/dev/null + left=$(pct exec $ct -- grep -c Postgres "$cfgdir/config.xml" 2>/dev/null) + echo " восстановлена, упоминаний PostgreSQL осталось: ${left:-0}" + else + echo " ❌ резервной копии нет" + fi + + echo " пересоздаю контейнер:" + pct exec $ct -- bash -c "cd $(dirname $cfgdir) && docker compose up -d --force-recreate $name" 2>&1 | tail -2 | sed 's/^/ /' + + local st="" + for i in $(seq 1 24); do + sleep 5 + st=$(pct exec $ct -- docker inspect $name --format '{{.State.Status}}' 2>/dev/null) + [ "$st" = "running" ] && break + done + echo " состояние: $st" + + echo " удаляю базы из PostgreSQL:" + p -tAc "DROP DATABASE IF EXISTS ${name}_db" >/dev/null 2>&1 + p -tAc "DROP DATABASE IF EXISTS ${name}_db_logs" >/dev/null 2>&1 + p -tAc "DROP ROLE IF EXISTS ${name}_user" >/dev/null 2>&1 + echo " удалены" + echo +} + +rollback_one 119 prowlarr /opt/prowlarr/config +rollback_one 117 sonarr /opt/sonarr/config +rollback_one 118 radarr /opt/radarr/config + +echo "═══════════════════════════════════════════════════════════" +echo " ПРОВЕРКА ВОССТАНОВЛЕНИЯ" +echo "═══════════════════════════════════════════════════════════" +for pair in "119 prowlarr 9696" "117 sonarr 8989" "118 radarr 7878"; do + set -- $pair + sleep 5 + st=$(pct exec $1 -- docker inspect $2 --format '{{.State.Status}}' 2>/dev/null) + code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 15 "http://192.168.1.$1:$3/" 2>/dev/null) + printf ' %-10s состояние %-9s ответ %s\n' "$2" "${st:-нет}" "${code:-000}" +done + +echo +echo " файловые базы на месте:" +for pair in "119 prowlarr" "117 sonarr" "118 radarr"; do + set -- $pair + f="/opt/$2/config/$2.db" + sz=$(pct exec $1 -- stat -c %s "$f" 2>/dev/null) + printf ' %-20s %s байт\n' "$f" "${sz:-НЕТ}" +done + +echo +echo " данные в файловых базах (проверка через API):" +printf ' prowlarr: %s\n' "$(curl -s -m 15 -H 'X-Api-Key: 284d2086b6454d27a848d2bf81bb9055' http://192.168.1.119:9696/api/v1/system/status 2>/dev/null | jq -r '.version // "нет ответа"' 2>/dev/null)" +printf ' sonarr: %s\n' "$(curl -s -m 15 -H 'X-Api-Key: 7ff2c05ca6cf4b669d1f6f7d3345f1cb' http://192.168.1.117:8989/api/v3/system/status 2>/dev/null | jq -r '.version // "нет ответа"' 2>/dev/null)" +printf ' radarr: %s\n' "$(curl -s -m 15 -H 'X-Api-Key: f5da223e81244144bb5a14683e415b9f' http://192.168.1.118:7878/api/v3/system/status 2>/dev/null | jq -r '.version // "нет ответа"' 2>/dev/null)"