201 lines
12 KiB
Bash
Executable File
201 lines
12 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# convert-db.sh — перевод базы на UTF8 с русской сортировкой
|
||
# ============================================================
|
||
# Универсальный инструмент: применяется к каждой базе по очереди.
|
||
#
|
||
# Проверено на образцах 14.10.2026:
|
||
# локаль C — регистр и сортировка для русского НЕ работают
|
||
# локаль C.utf8 — регистр работает, сортировка нет
|
||
# ICU ru-RU — работает всё, не зависит от системных локалей
|
||
#
|
||
# Порядок работы:
|
||
# 1. проверить, что база цела;
|
||
# 2. сохранить права (при пересоздании базы они теряются);
|
||
# 3. снять выгрузку с проверкой;
|
||
# 4. отключить пользователей;
|
||
# 5. переименовать старую базу (НЕ удалять);
|
||
# 6. создать новую с UTF8 и ICU ru-RU;
|
||
# 7. загрузить данные;
|
||
# 8. вернуть права;
|
||
# 9. проверить: состав, русский текст, доступ ролей;
|
||
# 10. при любом расхождении — вернуть старую базу на место.
|
||
#
|
||
# После КАЖДОГО изменения состояния проверяется системный каталог,
|
||
# а не вывод команды. Именно на этом я ошибся в первой попытке:
|
||
# переименование не произошло, а скрипт пошёл дальше.
|
||
#
|
||
# Использование: bash convert-db.sh <имя_базы>
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
DB="${1:?укажите имя базы}"
|
||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||
OLD="${DB}_pre_utf8_${STAMP}"
|
||
FAILED_NAME="${DB}_failed_${STAMP}"
|
||
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
|
||
mkdir -p "$QUAR"
|
||
|
||
# ICU-локаль для русского, проверена на образцах
|
||
ICU_LOCALE="ru-RU"
|
||
FALLBACK_LOCALE="C.utf8"
|
||
|
||
say() { echo "[$(date '+%T')] $*"; }
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
|
||
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
|
||
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
|
||
|
||
rollback() { # возвращает старую базу на место
|
||
say " ⟲ ОТКАТ"
|
||
db_exists "$DB" && p -tAc "ALTER DATABASE $DB RENAME TO $FAILED_NAME" >/dev/null 2>&1
|
||
if db_exists "$OLD"; then
|
||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||
fi
|
||
if db_exists "$DB" && db_enc "$DB" | grep -q 'SQL_ASCII'; then
|
||
say " ✅ старая база возвращена, кодировка прежняя"
|
||
else
|
||
say " ✅ база $DB на месте"
|
||
fi
|
||
say " сбойный вариант: $FAILED_NAME (если создавался)"
|
||
}
|
||
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
echo " ПЕРЕВОД БАЗЫ $DB НА UTF8"
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
|
||
# ── 0. Проверка исходного состояния ─────────────────────────
|
||
if ! db_exists "$DB"; then
|
||
say "❌ базы $DB нет — стоп"
|
||
exit 1
|
||
fi
|
||
|
||
ENC_BEFORE=$(db_enc "$DB")
|
||
say "0. кодировка сейчас: $ENC_BEFORE"
|
||
if [ "$ENC_BEFORE" = "UTF8" ]; then
|
||
say " уже UTF8 — проверяю локаль"
|
||
fi
|
||
|
||
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||
printf ' таблиц: %s, представлений: %s\n' "$TABLES_BEFORE" "$VIEWS_BEFORE"
|
||
|
||
if [ "${TABLES_BEFORE:-0}" -eq 0 ]; then
|
||
say " ⚠️ в базе нет таблиц — возможно, она пустая; продолжаю осторожно"
|
||
fi
|
||
|
||
# ── 1. Права ─────────────────────────────────────────────────
|
||
say "1. сохраняю права"
|
||
p -d "$DB" -tAc "
|
||
SELECT grantee || '|' || table_name || '|' || privilege_type
|
||
FROM information_schema.table_privileges
|
||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/grants.txt"
|
||
p -d "$DB" -tAc "
|
||
SELECT grantee || '|' || privilege_type
|
||
FROM information_schema.usage_privileges
|
||
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/grants.txt"
|
||
GRANTS=$(grep -c . "$QUAR/grants.txt" 2>/dev/null || echo 0)
|
||
ROLES=$(cut -d'|' -f1 "$QUAR/grants.txt" 2>/dev/null | sort -u | tr '\n' ' ')
|
||
printf ' записей: %s, роли: %s\n' "$GRANTS" "${ROLES:-нет}"
|
||
|
||
# ── 2. Выгрузка ──────────────────────────────────────────────
|
||
say "2. снимаю выгрузку"
|
||
if ! pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"; then
|
||
say " ❌ выгрузка не удалась — стоп"; exit 1
|
||
fi
|
||
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say " ❌ архив повреждён — стоп"; exit 1; }
|
||
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
|
||
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
|
||
if [ "${DUMP_TABLES:-0}" -lt "${TABLES_BEFORE:-0}" ]; then
|
||
say " ❌ выгрузка неполная — стоп"; exit 1
|
||
fi
|
||
say " ✅ выгрузка полная"
|
||
|
||
# ── 3. Отключение пользователей ──────────────────────────────
|
||
say "3. отключаю пользователей"
|
||
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
|
||
sleep 2
|
||
echo " подключений осталось: $(p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='$DB'" 2>/dev/null)"
|
||
|
||
# ── 4. Переименование ────────────────────────────────────────
|
||
say "4. переименовываю в $OLD"
|
||
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||
|
||
if ! db_exists "$OLD" || db_exists "$DB"; then
|
||
say " ❌ ПЕРЕИМЕНОВАНИЕ НЕ ПОДТВЕРЖДЕНО КАТАЛОГОМ"
|
||
say " $DB есть: $(db_exists "$DB" && echo да || echo нет)"
|
||
say " $OLD есть: $(db_exists "$OLD" && echo да || echo нет)"
|
||
say " ничего больше не меняю"
|
||
exit 1
|
||
fi
|
||
say " ✅ подтверждено каталогом"
|
||
|
||
# ── 5. Создание новой базы ───────────────────────────────────
|
||
say "5. создаю новую с UTF8 и ICU $ICU_LOCALE"
|
||
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
|
||
LOCALE_PROVIDER icu ICU_LOCALE '$ICU_LOCALE' LOCALE '$FALLBACK_LOCALE'
|
||
TEMPLATE template0" 2>&1 | grep -v '^$' | head -3 | sed 's/^/ /'
|
||
|
||
ENC_AFTER=$(db_enc "$DB")
|
||
if [ "$ENC_AFTER" != "UTF8" ]; then
|
||
say " ❌ кодировка не UTF8 ($ENC_AFTER)"
|
||
rollback
|
||
exit 1
|
||
fi
|
||
say " ✅ UTF8 подтверждён каталогом"
|
||
|
||
# ── 6. Загрузка ──────────────────────────────────────────────
|
||
say "6. загружаю данные"
|
||
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
|
||
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
|
||
echo " ошибок: $ERRS"
|
||
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
|
||
|
||
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||
VIEWS_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
|
||
printf ' представлений: было %s, стало %s\n' "$VIEWS_BEFORE" "$VIEWS_AFTER"
|
||
|
||
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
|
||
say " ❌ СОСТАВ НЕ СОВПАЛ"
|
||
rollback
|
||
exit 1
|
||
fi
|
||
say " ✅ состав совпал"
|
||
|
||
# ── 7. Права обратно ─────────────────────────────────────────
|
||
say "7. возвращаю права"
|
||
if [ "$GRANTS" -gt 0 ]; then
|
||
awk -F'|' 'NF==3 {print "GRANT " $3 " ON " $2 " TO " $1 ";"}' "$QUAR/grants.txt" | sort -u > "$QUAR/regrant.sql"
|
||
awk -F'|' 'NF==2 {print "GRANT " $2 " ON ALL SEQUENCES IN SCHEMA public TO " $1 ";"}' "$QUAR/grants.txt" | sort -u >> "$QUAR/regrant.sql"
|
||
REGRANT_ERR=$(pct exec 151 -- sudo -u postgres psql -q -d "$DB" < "$QUAR/regrant.sql" 2>&1 | grep -c '^ERROR' || echo 0)
|
||
echo " ошибок при выдаче прав: $REGRANT_ERR"
|
||
for role in $(cut -d'|' -f1 "$QUAR/grants.txt" | sort -u); do
|
||
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE ON TABLES TO $role" >/dev/null 2>&1
|
||
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role" >/dev/null 2>&1
|
||
done
|
||
fi
|
||
|
||
# ── 8. Проверка русского текста ──────────────────────────────
|
||
say "8. проверка русского текста"
|
||
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
|
||
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
|
||
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
|
||
printf ' длина: %s %s | upper: %s %s | сортировка: %s %s\n' \
|
||
"$LEN" "$([ "$LEN" = "6" ] && echo ✅ || echo ❌)" \
|
||
"$UP" "$([ "$UP" = "ПРИВЕТ" ] && echo ✅ || echo ❌)" \
|
||
"$CMP" "$([ "$CMP" = "true" ] && echo ✅ || echo ❌)"
|
||
|
||
# ── 9. Итог ──────────────────────────────────────────────────
|
||
echo
|
||
echo "═══════════════════════════════════════════════════════════"
|
||
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
|
||
echo " ✅ БАЗА $DB ПЕРЕВЕДЕНА"
|
||
echo " старая база: $OLD (удалить после подтверждения)"
|
||
echo " карантин: $QUAR"
|
||
else
|
||
echo " ⚠️ БАЗА $DB ПЕРЕВЕДЕНА НЕПОЛНОСТЬЮ — проверьте вручную"
|
||
echo " старая база на месте: $OLD"
|
||
fi
|
||
echo "═══════════════════════════════════════════════════════════"
|