169 lines
8.4 KiB
Bash
Executable File
169 lines
8.4 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# convert-db2.sh — перевод базы на UTF8 (версия 2, с ролями и службой)
|
||
# ============================================================
|
||
# Отличия от первой версии, выявленные на практике:
|
||
#
|
||
# 1. ПРАВА. Восстановление по снимку information_schema оказалось
|
||
# неполным: у роли n8n пропало право INSERT на update_queue, и бот
|
||
# снова не смог записывать решения. Теперь из снимка берётся только
|
||
# СПИСОК РОЛЕЙ, а права выдаются явно на всю схему — это идемпотентно
|
||
# и не зависит от полноты снимка.
|
||
#
|
||
# 2. СЛУЖБА. База обслуживает работающий сервис. Обрывать соединения
|
||
# у живого сервиса рискованно: незавершённая запись теряется.
|
||
# Поэтому контейнер службы останавливается, а после переноса
|
||
# запускается и проверяется.
|
||
#
|
||
# 3. ИМЕНА БЕЗ ДЕФИСОВ. Дефис в имени базы PostgreSQL читает как
|
||
# вычитание — на этом я уже ошибся один раз.
|
||
#
|
||
# 4. ПРОВЕРКА ПО КАТАЛОГУ после каждого изменения, а не по выводу команды.
|
||
#
|
||
# Использование: bash convert-db2.sh <база> [CT:контейнер] [роли...]
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
DB="${1:?укажите имя базы}"
|
||
SERVICE="${2:-}"
|
||
shift 2 2>/dev/null || shift 1
|
||
DEFAULT_ROLES="${*:-}"
|
||
|
||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||
OLD="${DB}_pre_utf8_${STAMP}"
|
||
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
|
||
mkdir -p "$QUAR"
|
||
|
||
say() { echo "[$(date '+%T')] $*"; }
|
||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
|
||
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
|
||
|
||
echo "═══ ПЕРЕВОД $DB ═══"
|
||
|
||
if ! db_exists "$DB"; then say "❌ базы нет — стоп"; exit 1; fi
|
||
|
||
ENC=$(db_enc "$DB")
|
||
say "кодировка: $ENC"
|
||
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||
echo " таблиц: $TABLES_BEFORE, представлений: $VIEWS_BEFORE"
|
||
|
||
# Роли: только список имён, не детали прав
|
||
p -d "$DB" -tAc "
|
||
SELECT DISTINCT grantee FROM information_schema.table_privileges
|
||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/roles.txt"
|
||
p -d "$DB" -tAc "
|
||
SELECT DISTINCT grantee FROM information_schema.usage_privileges
|
||
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/roles.txt"
|
||
sort -u "$QUAR/roles.txt" -o "$QUAR/roles.txt"
|
||
ROLES=$(grep -c . "$QUAR/roles.txt" 2>/dev/null || echo 0)
|
||
echo " роли с правами: $(tr '\n' ' ' < "$QUAR/roles.txt")"
|
||
|
||
# Остановка службы, если указана
|
||
STOPPED=""
|
||
if [ -n "$SERVICE" ]; then
|
||
SCT="${SERVICE%%:*}"
|
||
SCONT="${SERVICE##*:}"
|
||
say "останавливаю службу $SCONT в CT $SCT"
|
||
pct exec "$SCT" -- docker stop -t 30 "$SCONT" >/dev/null 2>&1
|
||
state=$(pct exec "$SCT" -- docker inspect "$SCONT" --format '{{.State.Status}}' 2>/dev/null)
|
||
echo " состояние службы: $state"
|
||
if [ "$state" = "running" ]; then
|
||
pct exec "$SCT" -- docker kill "$SCONT" >/dev/null 2>&1
|
||
sleep 3
|
||
echo " завершена принудительно"
|
||
fi
|
||
STOPPED="$SCT $SCONT"
|
||
fi
|
||
|
||
# Выгрузка
|
||
say "снимаю выгрузку"
|
||
pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"
|
||
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say "❌ архив повреждён"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
|
||
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
|
||
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
|
||
[ "${DUMP_TABLES:-0}" -ge "${TABLES_BEFORE:-0}" ] || { say "❌ выгрузка неполная"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
|
||
|
||
restart_service() {
|
||
[ -n "$STOPPED" ] || return 0
|
||
say "запускаю службу ${STOPPED#* }"
|
||
pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1
|
||
}
|
||
|
||
# Отключение пользователей
|
||
say "отключаю подключения"
|
||
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
|
||
sleep 2
|
||
|
||
# Переименование
|
||
say "переименовываю в $OLD"
|
||
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||
if ! db_exists "$OLD" || db_exists "$DB"; then
|
||
say "❌ переименование не подтверждено каталогом — стоп"
|
||
restart_service
|
||
exit 1
|
||
fi
|
||
say "✅ подтверждено каталогом"
|
||
|
||
# Создание
|
||
say "создаю с UTF8 и ICU ru-RU"
|
||
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
|
||
LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||
if [ "$(db_enc "$DB")" != "UTF8" ]; then
|
||
say "❌ кодировка не UTF8 — откат"
|
||
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
|
||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||
restart_service
|
||
exit 1
|
||
fi
|
||
say "✅ UTF8 подтверждён"
|
||
|
||
# Загрузка
|
||
say "загружаю данные"
|
||
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
|
||
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
|
||
echo " ошибок: $ERRS"
|
||
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
|
||
|
||
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
|
||
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
|
||
say "❌ состав не совпал — откат"
|
||
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
|
||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||
restart_service
|
||
exit 1
|
||
fi
|
||
|
||
# Права: ЯВНО на всю схему, по списку ролей
|
||
say "выдаю права явно"
|
||
while read -r role; do
|
||
[ -n "$role" ] || continue
|
||
exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null)
|
||
[ "${exists:-0}" = "1" ] || { echo " ❌ роли $role нет"; continue; }
|
||
out=$(p -d "$DB" -tAc "
|
||
GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role;
|
||
GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role;
|
||
GRANT USAGE ON SCHEMA public TO $role;
|
||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role;
|
||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role;
|
||
" 2>&1 | grep -i error | head -1)
|
||
[ -n "$out" ] && echo " ⚠️ $role: $out" || echo " ✅ $role"
|
||
done < "$QUAR/roles.txt"
|
||
|
||
# Проверка
|
||
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
|
||
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
|
||
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
|
||
printf ' русский текст: длина %s, upper %s, сортировка %s\n' "$LEN" "$UP" "$CMP"
|
||
|
||
restart_service
|
||
|
||
echo
|
||
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
|
||
echo "✅ $DB ПЕРЕВЕДЕНА (старая: $OLD)"
|
||
else
|
||
echo "⚠️ $DB: проверки не все пройдены (старая: $OLD)"
|
||
fi
|