diff --git a/docs/NIGHT-JOURNAL.md b/docs/NIGHT-JOURNAL.md index f88819e..a8a38bf 100644 --- a/docs/NIGHT-JOURNAL.md +++ b/docs/NIGHT-JOURNAL.md @@ -451,3 +451,39 @@ prometheus, syncthing). Работающие остановлены — порт Их нельзя ни очищать, ни переносить: по ним служба понимает, какие миграции уже применены. + +--- + +## ✅ BAZARR ПЕРЕНЕСЁН НА POSTGRESQL (15.10.2026) + +``` +таблиц с данными: 3 из 3 — совпали +настройки языков: 187 +настройки увеличений: 129 +ответ службы: 200 +``` + +Bazarr переключается флагом `postgresql.enabled` в `config.yaml`. +Схему создаёт сам через Alembic; её служебная таблица `alembic_version` +сохранена, как и положено. + +### Пятое правило проверки + +**Состояние контейнера «running» не означает готовности службы.** +Bazarr (Python/waitress) поднимает веб-сервер через 60–90 секунд, и первая +попытка была откачена из-за ложного отказа: контейнер работал, а служба +ещё не отвечала. Теперь готовность определяется **ответом 200**, а не +статусом контейнера. + +Общий список правил проверки, накопленный за спринт: + +| # | Правило | На чём выяснено | +|---|---|---| +| 1 | Пустой список объектов — это ПРОВАЛ, а не успех | Grafana: сравнили пустоту с пустотой | +| 2 | Проверять результат по каталогу, а не вывод команды | переименование базы с дефисом | +| 3 | Контейнер службы УДАЛЯТЬ на время загрузки | Grafana перезаписывала перенос | +| 4 | Таблицы миграций не очищать и не переносить | *arr: падение FluentMigrator | +| 5 | Готовность = ответ службы, а не статус контейнера | Bazarr: 60–90 секунд до ответа | +| 6 | Ключевой столбец брать из первичного ключа | Vaultwarden: сверка искала `name` | +| 7 | Сравнивать в одном регистре | Vaultwarden: `hex` против `encode` | +| 8 | Расхождение — сначала проверь саму проверку | три ложных расхождения за спринт | diff --git a/ops/scripts/migrate-bazarr.sh b/ops/scripts/migrate-bazarr.sh new file mode 100755 index 0000000..d8db032 --- /dev/null +++ b/ops/scripts/migrate-bazarr.sh @@ -0,0 +1,213 @@ +#!/bin/bash +# ============================================================ +# migrate-bazarr.sh — перенос Bazarr на PostgreSQL +# ============================================================ +# Bazarr переключается флагом postgresql.enabled в config.yaml. +# Схему создаёт сам через Alembic. Данные: 318 строк настроек, +# двоичных полей с содержимым нет. +# +# Метод, проверенный на Grafana, медиа-сервисах и Vaultwarden: +# точка отката → схема от службы → УДАЛЕНИЕ контейнера → очистка +# (кроме alembic_version) → загрузка → проверка по каждой таблице. +# +# Запуск: bash migrate-bazarr.sh +# ============================================================ +set -uo pipefail + +CT=120 +CONT=bazarr +DIR=/opt/bazarr +BDB=/opt/bazarr/config/db/bazarr.db +CFG=/opt/bazarr/config/config/config.yaml +PGDB=bazarr_db +PGROLE=bazarr_user +PGPASS='bazarr_local_2026' +STAMP=$(date +%Y%m%d_%H%M%S) +QUAR="/mnt/backups/retired/${STAMP}-bazarr-pg" +WORK="/tmp/migrate-bazarr-$STAMP" +mkdir -p "$QUAR" "$WORK" + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +say() { echo "[$(date '+%T')] $*"; } + +rollback() { + say "⟲ ВОЗВРАТ" + pct exec "$CT" -- bash -c "cp $CFG.migr-backup $CFG 2>/dev/null" >/dev/null 2>&1 + pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 + # Ждём именно ОТВЕТА: состояние «running» у Bazarr наступает задолго + # до готовности веб-сервера + st=""; code="" + for i in $(seq 1 36); do + sleep 5 + st=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.120:6767/ 2>/dev/null) + [ "$code" = "200" ] && break + done + printf ' состояние: %s, ответ: %s\n' "$st" "${code:-000}" + p -tAc "DROP DATABASE IF EXISTS $PGDB" >/dev/null 2>&1 + p -tAc "DROP ROLE IF EXISTS $PGROLE" >/dev/null 2>&1 + say " база и роль удалены, конфигурация возвращена" +} + +echo "╔══════════════════════════════════════════════════════════╗" +echo "║ bazarr → POSTGRESQL" +echo "╚══════════════════════════════════════════════════════════╝" + +say "1. точка отката" +SNAP="pre-bazarr-pg-$STAMP" +pct snapshot "$CT" "$SNAP" --description "перед переносом Bazarr на PostgreSQL" >/dev/null 2>&1 +pct listsnapshot "$CT" 2>/dev/null | grep -q "$SNAP" || { say "❌ снимок не создался"; exit 1; } +echo " снимок: $SNAP" +pct exec "$CT" -- tar -c -C / "${BDB#/}" 2>/dev/null | gzip > "$QUAR/bazarr.db.tar.gz" +gunzip -t "$QUAR/bazarr.db.tar.gz" 2>/dev/null && echo " копия базы: $(du -h "$QUAR/bazarr.db.tar.gz" | cut -f1)" || { say "❌ копия повреждена"; exit 1; } +pct exec "$CT" -- cp "$CFG" "$CFG.migr-backup" 2>/dev/null +echo " конфигурация сохранена" + +say "2. читаю файловую базу" +pct exec "$CT" -- sqlite3 "$BDB" "SELECT name FROM sqlite_master WHERE type='table' AND name NOT LIKE 'sqlite_%' ORDER BY name" 2>/dev/null > "$WORK/tables.txt" +NT=$(grep -c . "$WORK/tables.txt") +[ "$NT" -gt 0 ] || { say "❌ таблиц не прочитано"; exit 1; } +: > "$WORK/counts.txt" +while read -r t; do + [ -n "$t" ] || continue + n=$(pct exec "$CT" -- sqlite3 "$BDB" "SELECT count(*) FROM \"$t\"" 2>/dev/null) + printf '%s|%s\n' "$t" "${n:-0}" >> "$WORK/counts.txt" +done < "$WORK/tables.txt" +echo " таблиц: $NT, с данными: $(awk -F'|' '$2>0' "$WORK/counts.txt" | wc -l), строк: $(awk -F'|' '{s+=$2} END{print s+0}' "$WORK/counts.txt")" + +say "3. создаю базу и роль" +p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$PGROLE'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE ROLE $PGROLE LOGIN PASSWORD '$PGPASS'" >/dev/null 2>&1 +p -tAc "SELECT count(*) FROM pg_database WHERE datname='$PGDB'" 2>/dev/null | grep -q '^1$' || \ + p -tAc "CREATE DATABASE $PGDB WITH OWNER $PGROLE ENCODING 'UTF8' LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" >/dev/null 2>&1 +echo " база $PGDB" + +say "4. включаю PostgreSQL в настройках Bazarr" +pct exec "$CT" -- bash -c " +python3 - <<'PYEOF' +import re +p = '$CFG' +lines = open(p, encoding='utf-8').read().split('\n') +vals = {'enabled': 'true', 'host': '192.168.1.151', 'port': '5432', + 'database': '$PGDB', 'username': '$PGROLE', 'password': \"'$PGPASS'\"} +out = [] +inside = False +for ln in lines: + if re.match(r'^postgresql:\s*\$', ln): + inside = True; out.append(ln); continue + if inside: + if re.match(r'^\S', ln) and ln.strip(): + inside = False; out.append(ln); continue + m = re.match(r'^(\s+)([a-z_]+):(.*)\$', ln) + if m and m.group(2) in vals: + out.append(m.group(1) + m.group(2) + ': ' + vals[m.group(2)]) + continue + out.append(ln) +open(p, 'w', encoding='utf-8').write('\n'.join(out)) +print(' настройки обновлены') +PYEOF +" 2>&1 | sed 's/^/ /' +echo " что получилось:" +pct exec "$CT" -- bash -c "sed -n '/^postgresql:/,/^[a-z]/p' $CFG 2>/dev/null | head -9" | sed 's/^/ /' + +say " перезапускаю службу для создания схемы" +pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d --force-recreate $CONT" >/dev/null 2>&1 +created=0 +for i in $(seq 1 30); do + sleep 5 + created=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_schema='public'" 2>/dev/null) + [ "${created:-0}" -ge 5 ] && break +done +echo " таблиц создано: ${created:-0}" +[ "${created:-0}" -ge 5 ] || { say "❌ схема не создана"; pct exec "$CT" -- docker logs --tail 12 "$CONT" 2>&1 | tail -12 | sed 's/^/ /'; rollback; exit 1; } + +say "5. убираю контейнер на время загрузки" +pct exec "$CT" -- docker stop -t 30 "$CONT" >/dev/null 2>&1 +sleep 3 +removed=no +for i in 1 2 3 4 5; do + pct exec "$CT" -- docker rm -f "$CONT" >/dev/null 2>&1 + sleep 2 + pct exec "$CT" -- docker inspect "$CONT" >/dev/null 2>&1 || { removed=yes; break; } +done +echo " контейнер удалён: $removed" +[ "$removed" = "yes" ] || { say "❌ не удалился"; rollback; exit 1; } + +say "6. очищаю таблицы (alembic_version сохраняется)" +p -d "$PGDB" -tAc " +DO \$\$ DECLARE r record; BEGIN + FOR r IN SELECT tablename FROM pg_tables WHERE schemaname='public' + AND tablename NOT IN ('alembic_version','VersionInfo','__diesel_schema_migrations') + LOOP + EXECUTE 'TRUNCATE TABLE ' || quote_ident(r.tablename) || ' CASCADE'; + END LOOP; +END \$\$;" >/dev/null 2>&1 +echo " очищено; записей о миграциях: $(p -d "$PGDB" -tAc "SELECT count(*) FROM alembic_version" 2>/dev/null)" + +say "7. загружаю данные" +loaded=0; failed=0; skipped=0 +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && { skipped=$((skipped + 1)); continue; } + case "$t" in alembic_version) echo " · $t — ведёт служба"; skipped=$((skipped + 1)); continue;; esac + + has=$(p -d "$PGDB" -tAc "SELECT count(*) FROM information_schema.tables WHERE table_name='$t' AND table_schema='public'" 2>/dev/null) + if [ "${has:-0}" = "0" ]; then + printf ' ⚠️ %-30s нет в PostgreSQL\n' "$t"; failed=$((failed + 1)); continue + fi + + pct exec "$CT" -- sqlite3 "$BDB" -header -csv "SELECT * FROM \"$t\"" > "$WORK/$t.csv" 2>/dev/null + pct push 151 "$WORK/$t.csv" "/tmp/load-$t.csv" >/dev/null 2>&1 + if pct exec 151 -- sudo -u postgres psql -q -d "$PGDB" \ + -c "SET session_replication_role = replica" \ + -c "\copy \"$t\" FROM '/tmp/load-$t.csv' CSV HEADER" >/dev/null 2>"$WORK/err.txt"; then + loaded=$((loaded + 1)); printf ' ✅ %-30s %s строк\n' "$t" "$before" + else + failed=$((failed + 1)); printf ' ⚠️ %-30s %s\n' "$t" "$(head -1 "$WORK/err.txt" | cut -c1-55)" + fi + pct exec 151 -- rm -f "/tmp/load-$t.csv" >/dev/null 2>&1 +done < "$WORK/counts.txt" +echo " загружено: $loaded, пустых/служебных: $skipped, ошибок: $failed" + +say "8. ПРОВЕРКА ПОЛНОТЫ" +same=0; differ=0; missing=0 +while IFS='|' read -r t before; do + [ -n "$t" ] || continue + [ "${before:-0}" -eq 0 ] && continue + case "$t" in alembic_version) continue;; esac + after=$(p -d "$PGDB" -tAc "SELECT count(*) FROM \"$t\"" 2>/dev/null) + if [ -z "$after" ]; then + printf ' %-30s %8s %8s ❌\n' "$t" "$before" "нет"; missing=$((missing + 1)) + elif [ "$before" = "$after" ]; then + same=$((same + 1)) + else + printf ' %-30s %8s %8s ❌\n' "$t" "$before" "$after"; differ=$((differ + 1)) + fi +done < "$WORK/counts.txt" +printf ' совпало: %s, расхождений: %s, отсутствует: %s\n' "$same" "$differ" "$missing" + +say "9. запускаю службу" +pct exec "$CT" -- bash -c "cd $DIR && docker compose up -d $CONT" >/dev/null 2>&1 +# ВАЖНО: состояние контейнера «running» НЕ означает, что служба готова. +# Bazarr (Python/waitress) поднимает веб-сервер через 60–90 секунд, и +# проверка сразу после запуска давала ложный отказ. Ждём ОТВЕТ 200. +ST=""; CODE="" +for i in $(seq 1 36); do + sleep 5 + ST=$(pct exec "$CT" -- docker inspect "$CONT" --format '{{.State.Status}}' 2>/dev/null) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time 8 http://192.168.1.120:6767/ 2>/dev/null) + [ "$CODE" = "200" ] && break +done +printf ' состояние: %s, ответ: %s (ожидание до 180 сек)\n' "$ST" "${CODE:-000}" +printf ' ошибки базы в журнале:\n' +pct exec "$CT" -- docker logs --tail 30 "$CONT" 2>&1 | grep -iE 'postgres|database|error' | tail -3 | sed 's/^/ /' + +echo +if [ "$differ" -eq 0 ] && [ "$missing" -eq 0 ] && [ "$failed" -eq 0 ] && [ "$same" -gt 0 ] && [ "$ST" = "running" ] && [ "${CODE:-000}" = "200" ]; then + echo " ✅ BAZARR ПЕРЕНЕСЁН НА POSTGRESQL (совпало таблиц: $same)" + echo " точка отката: $SNAP" +else + echo " ⚠️ BAZARR: не подтверждено (совпало $same, расхождений $differ, отсутствует $missing, ошибок $failed, ответ $CODE)" + rollback +fi +echo " карантин: $QUAR"