Files
buryan-infra/ops/scripts/convert-db2.sh
T

169 lines
8.4 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# convert-db2.sh — перевод базы на UTF8 (версия 2, с ролями и службой)
# ============================================================
# Отличия от первой версии, выявленные на практике:
#
# 1. ПРАВА. Восстановление по снимку information_schema оказалось
# неполным: у роли n8n пропало право INSERT на update_queue, и бот
# снова не смог записывать решения. Теперь из снимка берётся только
# СПИСОК РОЛЕЙ, а права выдаются явно на всю схему — это идемпотентно
# и не зависит от полноты снимка.
#
# 2. СЛУЖБА. База обслуживает работающий сервис. Обрывать соединения
# у живого сервиса рискованно: незавершённая запись теряется.
# Поэтому контейнер службы останавливается, а после переноса
# запускается и проверяется.
#
# 3. ИМЕНА БЕЗ ДЕФИСОВ. Дефис в имени базы PostgreSQL читает как
# вычитание — на этом я уже ошибся один раз.
#
# 4. ПРОВЕРКА ПО КАТАЛОГУ после каждого изменения, а не по выводу команды.
#
# Использование: bash convert-db2.sh <база> [CT:контейнер] [роли...]
# ============================================================
set -uo pipefail
DB="${1:?укажите имя базы}"
SERVICE="${2:-}"
shift 2 2>/dev/null || shift 1
DEFAULT_ROLES="${*:-}"
STAMP=$(date +%Y%m%d_%H%M%S)
OLD="${DB}_pre_utf8_${STAMP}"
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
mkdir -p "$QUAR"
say() { echo "[$(date '+%T')] $*"; }
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
echo "═══ ПЕРЕВОД $DB ═══"
if ! db_exists "$DB"; then say "❌ базы нет — стоп"; exit 1; fi
ENC=$(db_enc "$DB")
say "кодировка: $ENC"
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
echo " таблиц: $TABLES_BEFORE, представлений: $VIEWS_BEFORE"
# Роли: только список имён, не детали прав
p -d "$DB" -tAc "
SELECT DISTINCT grantee FROM information_schema.table_privileges
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/roles.txt"
p -d "$DB" -tAc "
SELECT DISTINCT grantee FROM information_schema.usage_privileges
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/roles.txt"
sort -u "$QUAR/roles.txt" -o "$QUAR/roles.txt"
ROLES=$(grep -c . "$QUAR/roles.txt" 2>/dev/null || echo 0)
echo " роли с правами: $(tr '\n' ' ' < "$QUAR/roles.txt")"
# Остановка службы, если указана
STOPPED=""
if [ -n "$SERVICE" ]; then
SCT="${SERVICE%%:*}"
SCONT="${SERVICE##*:}"
say "останавливаю службу $SCONT в CT $SCT"
pct exec "$SCT" -- docker stop -t 30 "$SCONT" >/dev/null 2>&1
state=$(pct exec "$SCT" -- docker inspect "$SCONT" --format '{{.State.Status}}' 2>/dev/null)
echo " состояние службы: $state"
if [ "$state" = "running" ]; then
pct exec "$SCT" -- docker kill "$SCONT" >/dev/null 2>&1
sleep 3
echo " завершена принудительно"
fi
STOPPED="$SCT $SCONT"
fi
# Выгрузка
say "снимаю выгрузку"
pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say "❌ архив повреждён"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
[ "${DUMP_TABLES:-0}" -ge "${TABLES_BEFORE:-0}" ] || { say "❌ выгрузка неполная"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
restart_service() {
[ -n "$STOPPED" ] || return 0
say "запускаю службу ${STOPPED#* }"
pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1
}
# Отключение пользователей
say "отключаю подключения"
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
sleep 2
# Переименование
say "переименовываю в $OLD"
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
if ! db_exists "$OLD" || db_exists "$DB"; then
say "❌ переименование не подтверждено каталогом — стоп"
restart_service
exit 1
fi
say "✅ подтверждено каталогом"
# Создание
say "создаю с UTF8 и ICU ru-RU"
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
if [ "$(db_enc "$DB")" != "UTF8" ]; then
say "❌ кодировка не UTF8 — откат"
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
restart_service
exit 1
fi
say "✅ UTF8 подтверждён"
# Загрузка
say "загружаю данные"
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
echo " ошибок: $ERRS"
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
say "❌ состав не совпал — откат"
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
restart_service
exit 1
fi
# Права: ЯВНО на всю схему, по списку ролей
say "выдаю права явно"
while read -r role; do
[ -n "$role" ] || continue
exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null)
[ "${exists:-0}" = "1" ] || { echo " ❌ роли $role нет"; continue; }
out=$(p -d "$DB" -tAc "
GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role;
GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role;
GRANT USAGE ON SCHEMA public TO $role;
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role;
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role;
" 2>&1 | grep -i error | head -1)
[ -n "$out" ] && echo " ⚠️ $role: $out" || echo " ✅ $role"
done < "$QUAR/roles.txt"
# Проверка
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
printf ' русский текст: длина %s, upper %s, сортировка %s\n' "$LEN" "$UP" "$CMP"
restart_service
echo
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
echo "✅ $DB ПЕРЕВЕДЕНА (старая: $OLD)"
else
echo "⚠️ $DB: проверки не все пройдены (старая: $OLD)"
fi