Files
buryan-infra/ops/scripts/convert-db.sh
T

201 lines
12 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# convert-db.sh — перевод базы на UTF8 с русской сортировкой
# ============================================================
# Универсальный инструмент: применяется к каждой базе по очереди.
#
# Проверено на образцах 14.10.2026:
# локаль C — регистр и сортировка для русского НЕ работают
# локаль C.utf8 — регистр работает, сортировка нет
# ICU ru-RU — работает всё, не зависит от системных локалей
#
# Порядок работы:
# 1. проверить, что база цела;
# 2. сохранить права (при пересоздании базы они теряются);
# 3. снять выгрузку с проверкой;
# 4. отключить пользователей;
# 5. переименовать старую базу (НЕ удалять);
# 6. создать новую с UTF8 и ICU ru-RU;
# 7. загрузить данные;
# 8. вернуть права;
# 9. проверить: состав, русский текст, доступ ролей;
# 10. при любом расхождении — вернуть старую базу на место.
#
# После КАЖДОГО изменения состояния проверяется системный каталог,
# а не вывод команды. Именно на этом я ошибся в первой попытке:
# переименование не произошло, а скрипт пошёл дальше.
#
# Использование: bash convert-db.sh <имя_базы>
# ============================================================
set -uo pipefail
DB="${1:?укажите имя базы}"
STAMP=$(date +%Y%m%d_%H%M%S)
OLD="${DB}_pre_utf8_${STAMP}"
FAILED_NAME="${DB}_failed_${STAMP}"
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
mkdir -p "$QUAR"
# ICU-локаль для русского, проверена на образцах
ICU_LOCALE="ru-RU"
FALLBACK_LOCALE="C.utf8"
say() { echo "[$(date '+%T')] $*"; }
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
rollback() { # возвращает старую базу на место
say " ⟲ ОТКАТ"
db_exists "$DB" && p -tAc "ALTER DATABASE $DB RENAME TO $FAILED_NAME" >/dev/null 2>&1
if db_exists "$OLD"; then
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
fi
if db_exists "$DB" && db_enc "$DB" | grep -q 'SQL_ASCII'; then
say " ✅ старая база возвращена, кодировка прежняя"
else
say " ✅ база $DB на месте"
fi
say " сбойный вариант: $FAILED_NAME (если создавался)"
}
echo "═══════════════════════════════════════════════════════════"
echo " ПЕРЕВОД БАЗЫ $DB НА UTF8"
echo "═══════════════════════════════════════════════════════════"
# ── 0. Проверка исходного состояния ─────────────────────────
if ! db_exists "$DB"; then
say "❌ базы $DB нет — стоп"
exit 1
fi
ENC_BEFORE=$(db_enc "$DB")
say "0. кодировка сейчас: $ENC_BEFORE"
if [ "$ENC_BEFORE" = "UTF8" ]; then
say " уже UTF8 — проверяю локаль"
fi
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
printf ' таблиц: %s, представлений: %s\n' "$TABLES_BEFORE" "$VIEWS_BEFORE"
if [ "${TABLES_BEFORE:-0}" -eq 0 ]; then
say " ⚠️ в базе нет таблиц — возможно, она пустая; продолжаю осторожно"
fi
# ── 1. Права ─────────────────────────────────────────────────
say "1. сохраняю права"
p -d "$DB" -tAc "
SELECT grantee || '|' || table_name || '|' || privilege_type
FROM information_schema.table_privileges
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/grants.txt"
p -d "$DB" -tAc "
SELECT grantee || '|' || privilege_type
FROM information_schema.usage_privileges
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/grants.txt"
GRANTS=$(grep -c . "$QUAR/grants.txt" 2>/dev/null || echo 0)
ROLES=$(cut -d'|' -f1 "$QUAR/grants.txt" 2>/dev/null | sort -u | tr '\n' ' ')
printf ' записей: %s, роли: %s\n' "$GRANTS" "${ROLES:-нет}"
# ── 2. Выгрузка ──────────────────────────────────────────────
say "2. снимаю выгрузку"
if ! pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"; then
say " ❌ выгрузка не удалась — стоп"; exit 1
fi
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say " ❌ архив повреждён — стоп"; exit 1; }
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
if [ "${DUMP_TABLES:-0}" -lt "${TABLES_BEFORE:-0}" ]; then
say " ❌ выгрузка неполная — стоп"; exit 1
fi
say " ✅ выгрузка полная"
# ── 3. Отключение пользователей ──────────────────────────────
say "3. отключаю пользователей"
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
sleep 2
echo " подключений осталось: $(p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='$DB'" 2>/dev/null)"
# ── 4. Переименование ────────────────────────────────────────
say "4. переименовываю в $OLD"
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
if ! db_exists "$OLD" || db_exists "$DB"; then
say " ❌ ПЕРЕИМЕНОВАНИЕ НЕ ПОДТВЕРЖДЕНО КАТАЛОГОМ"
say " $DB есть: $(db_exists "$DB" && echo да || echo нет)"
say " $OLD есть: $(db_exists "$OLD" && echo да || echo нет)"
say " ничего больше не меняю"
exit 1
fi
say " ✅ подтверждено каталогом"
# ── 5. Создание новой базы ───────────────────────────────────
say "5. создаю новую с UTF8 и ICU $ICU_LOCALE"
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
LOCALE_PROVIDER icu ICU_LOCALE '$ICU_LOCALE' LOCALE '$FALLBACK_LOCALE'
TEMPLATE template0" 2>&1 | grep -v '^$' | head -3 | sed 's/^/ /'
ENC_AFTER=$(db_enc "$DB")
if [ "$ENC_AFTER" != "UTF8" ]; then
say " ❌ кодировка не UTF8 ($ENC_AFTER)"
rollback
exit 1
fi
say " ✅ UTF8 подтверждён каталогом"
# ── 6. Загрузка ──────────────────────────────────────────────
say "6. загружаю данные"
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
echo " ошибок: $ERRS"
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
VIEWS_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
printf ' представлений: было %s, стало %s\n' "$VIEWS_BEFORE" "$VIEWS_AFTER"
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
say " ❌ СОСТАВ НЕ СОВПАЛ"
rollback
exit 1
fi
say " ✅ состав совпал"
# ── 7. Права обратно ─────────────────────────────────────────
say "7. возвращаю права"
if [ "$GRANTS" -gt 0 ]; then
awk -F'|' 'NF==3 {print "GRANT " $3 " ON " $2 " TO " $1 ";"}' "$QUAR/grants.txt" | sort -u > "$QUAR/regrant.sql"
awk -F'|' 'NF==2 {print "GRANT " $2 " ON ALL SEQUENCES IN SCHEMA public TO " $1 ";"}' "$QUAR/grants.txt" | sort -u >> "$QUAR/regrant.sql"
REGRANT_ERR=$(pct exec 151 -- sudo -u postgres psql -q -d "$DB" < "$QUAR/regrant.sql" 2>&1 | grep -c '^ERROR' || echo 0)
echo " ошибок при выдаче прав: $REGRANT_ERR"
for role in $(cut -d'|' -f1 "$QUAR/grants.txt" | sort -u); do
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE ON TABLES TO $role" >/dev/null 2>&1
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role" >/dev/null 2>&1
done
fi
# ── 8. Проверка русского текста ──────────────────────────────
say "8. проверка русского текста"
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
printf ' длина: %s %s | upper: %s %s | сортировка: %s %s\n' \
"$LEN" "$([ "$LEN" = "6" ] && echo ✅ || echo ❌)" \
"$UP" "$([ "$UP" = "ПРИВЕТ" ] && echo ✅ || echo ❌)" \
"$CMP" "$([ "$CMP" = "true" ] && echo ✅ || echo ❌)"
# ── 9. Итог ──────────────────────────────────────────────────
echo
echo "═══════════════════════════════════════════════════════════"
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
echo " ✅ БАЗА $DB ПЕРЕВЕДЕНА"
echo " старая база: $OLD (удалить после подтверждения)"
echo " карантин: $QUAR"
else
echo " ⚠️ БАЗА $DB ПЕРЕВЕДЕНА НЕПОЛНОСТЬЮ — проверьте вручную"
echo " старая база на месте: $OLD"
fi
echo "═══════════════════════════════════════════════════════════"