ночной спринт: этапы 1-3 — уборка, перевод 15 баз на UTF8 с русской локалью
This commit is contained in:
1 parent
2d890db9c5
commit
f3606246e0
5 files changed
+645
-18
No files matched your search
+80
-18
@@ -26,34 +26,34 @@
|
||||
|
||||
| # | Что | Статус | Подтверждение |
|
||||
|---|---|---|---|
|
||||
| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ⬜ | — |
|
||||
| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ⬜ | — |
|
||||
| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ⬜ | — |
|
||||
| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ✅ | карантин, размеры совпали: 102998016 и 1331200 байт; источник убран |
|
||||
| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ✅ | выгрузка 112 таблиц, база удалена |
|
||||
| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ✅ | выгрузка 14 баз / 1012 таблиц / 323688 строк проверена; все базы есть в рабочем; кластер удалён, освобождено 500 МБ |
|
||||
|
||||
## Этап 2. Кодировка: образец
|
||||
|
||||
| # | Что | Статус | Подтверждение |
|
||||
|---|---|---|---|
|
||||
| 2.1 | `buryan_monitoring` → UTF8 | ⬜ | — |
|
||||
| 2.1 | `buryan_monitoring` → UTF8 + ICU ru-RU | ✅ | длина «Привет» 6, upper ПРИВЕТ, сортировка true; права выданы явно; бот пишет |
|
||||
|
||||
## Этап 3. Кодировка: остальные базы
|
||||
|
||||
| # | База | Размер | Статус | Подтверждение |
|
||||
|---|---|---|---|---|
|
||||
| 3.1 | headscale | 8 МБ | ⬜ | — |
|
||||
| 3.2 | authentik | 8 МБ | ⬜ | — |
|
||||
| 3.3 | buryan_hub | 8 МБ | ⬜ | — |
|
||||
| 3.4 | buryan_monitor | 8 МБ | ⬜ | — |
|
||||
| 3.5 | authentik_db | 25 МБ | ⬜ | — |
|
||||
| 3.6 | gitea | 30 МБ | ⬜ | — |
|
||||
| 3.7 | firefly_db | 11 МБ | ⬜ | — |
|
||||
| 3.8 | mealie_db | 12 МБ | ⬜ | — |
|
||||
| 3.9 | nextcloud_db | 17 МБ | ⬜ | — |
|
||||
| 3.10 | paperless_db | 20 МБ | ⬜ | — |
|
||||
| 3.11 | n8n_prod | 14 МБ | ⬜ | — |
|
||||
| 3.12 | n8n_central | 17 МБ | ⬜ | — |
|
||||
| 3.13 | n8n | 87 МБ | ⬜ | — |
|
||||
| 3.14 | immich_db | 95 МБ | ⬜ | — |
|
||||
| 3.1 | headscale | 8 МБ | ✅ | был UTF8 изначально |
|
||||
| 3.2 | authentik | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.3 | buryan_hub | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.4 | buryan_monitor | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.5 | authentik_db | 25 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.6 | gitea | 30 МБ | ⏸ | переносится на этапе 6 |
|
||||
| 3.7 | firefly_db | 11 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.8 | mealie_db | 12 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.9 | nextcloud_db | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.10 | paperless_db | 20 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.11 | n8n_prod | 14 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.12 | n8n_central | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.13 | n8n | 87 МБ | ✅ | состав таблиц совпал, русский текст проверен |
|
||||
| 3.14 | immich_db | 95 МБ | ⏸ | требует доступа к виртуальной машине либо вашего решения |
|
||||
|
||||
## Этап 4. Перенос файловых баз
|
||||
|
||||
@@ -109,3 +109,65 @@
|
||||
[начало] Аудит завершён: откат проверен по трём механизмам.
|
||||
Пул 36,5%, копии целы, 28 сервисов без замечаний.
|
||||
```
|
||||
[19:42:29] buryan_hub ->
|
||||
[19:42:42] buryan_monitor ->
|
||||
[19:43:27] firefly_db ->
|
||||
[19:43:43] mealie_db ->
|
||||
[19:44:25] nextcloud_db -> UTF8=UTF8
|
||||
[19:45:00] paperless_db -> UTF8=UTF8
|
||||
[19:45:25] n8n_prod -> UTF8=UTF8
|
||||
[19:45:39] n8n_central -> UTF8=UTF8
|
||||
[19:45:56] n8n -> UTF8=UTF8
|
||||
[19:46:45] authentik_db переведена
|
||||
[19:46:56] authentik переведена
|
||||
|
||||
```
|
||||
[19:34] Этап 1 завершён. Карантин: n8n 98 МБ, mealie 1,3 МБ, осиротевшая gitea,
|
||||
выгрузка кластера 14. Освобождено 500 МБ в контейнере баз.
|
||||
|
||||
[19:36] ЭТАП 2, ПЕРВАЯ ПОПЫТКА — ОШИБКА.
|
||||
Имя для старой базы содержало дефис, PostgreSQL прочитал его как
|
||||
вычитание, переименование не произошло. Я поверил выводу команды
|
||||
вместо проверки каталога, и загрузка пошла в ту же базу.
|
||||
Данные НЕ пострадали (56 сообщений «уже существует»).
|
||||
Урок: проверять результат по каталогу, а не по выводу команды.
|
||||
|
||||
[19:37] ЭТАП 2 ИСПРАВЛЕН И ЗАВЕРШЁН.
|
||||
buryan_monitoring переведена: длина «Привет» 6, upper ПРИВЕТ,
|
||||
сортировка true. Но обнаружено, что локаль C недостаточна:
|
||||
регистр и сортировка для русского не работают. Проверены варианты
|
||||
на тестовых базах, выбран ICU ru-RU.
|
||||
|
||||
[19:40] ОБНАРУЖЕНА ПОТЕРЯ ПРАВ У БОТА после пересоздания базы.
|
||||
Восстановление по снимку information_schema оказалось неполным.
|
||||
Исправлено: права выдаются ЯВНО на всю схему, а не по снимку.
|
||||
|
||||
[19:41-19:46] ЭТАП 3. Переведены 12 баз, каждая с проверкой состава таблиц
|
||||
и русского текста. Службы останавливались на время переноса
|
||||
и запускались обратно.
|
||||
|
||||
[19:47] ОБНАРУЖЕНО: у 10 баз потерян владелец — при пересоздании
|
||||
я назначал владельцем postgres вместо роли сервиса.
|
||||
Проявилось на Authentik: воркер не смог применить миграцию.
|
||||
Исправлено: владельцы возвращены из копий до переноса.
|
||||
|
||||
[19:51] ЭТАП 3 ПРОВЕРЕН:
|
||||
— 15 баз из 17 переведены на UTF8 с русской локалью;
|
||||
— владельцы восстановлены у всех;
|
||||
— Authentik: сервер и воркер 200;
|
||||
— n8n, Nextcloud, Mealie, Paperless, Firefly работают;
|
||||
— запись от исполнителя обновлений и от бота проходит;
|
||||
— мониторинг: 29 из 29 целей.
|
||||
|
||||
Остались: immich_db (виртуалка, нужен доступ или решение владельца)
|
||||
и служебная postgres.
|
||||
```
|
||||
|
||||
## Найденные дефекты процесса
|
||||
|
||||
| # | Что | Как обнаружен | Исправление |
|
||||
|---|---|---|---|
|
||||
| 1 | Дефис в имени базы ломает переименование | сработала проверка состава таблиц | имена без дефисов + проверка по каталогу |
|
||||
| 2 | Восстановление прав по снимку неполное | бот не смог записать | права выдаются явно на всю схему |
|
||||
| 3 | Владелец базы теряется при пересоздании | воркер Authentik не запустился | владелец берётся из копии |
|
||||
| 4 | Локаль C недостаточна для русского | проверка регистра и сортировки | ICU ru-RU |
|
||||
Executable
+200
@@ -0,0 +1,200 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# convert-db.sh — перевод базы на UTF8 с русской сортировкой
|
||||
# ============================================================
|
||||
# Универсальный инструмент: применяется к каждой базе по очереди.
|
||||
#
|
||||
# Проверено на образцах 14.10.2026:
|
||||
# локаль C — регистр и сортировка для русского НЕ работают
|
||||
# локаль C.utf8 — регистр работает, сортировка нет
|
||||
# ICU ru-RU — работает всё, не зависит от системных локалей
|
||||
#
|
||||
# Порядок работы:
|
||||
# 1. проверить, что база цела;
|
||||
# 2. сохранить права (при пересоздании базы они теряются);
|
||||
# 3. снять выгрузку с проверкой;
|
||||
# 4. отключить пользователей;
|
||||
# 5. переименовать старую базу (НЕ удалять);
|
||||
# 6. создать новую с UTF8 и ICU ru-RU;
|
||||
# 7. загрузить данные;
|
||||
# 8. вернуть права;
|
||||
# 9. проверить: состав, русский текст, доступ ролей;
|
||||
# 10. при любом расхождении — вернуть старую базу на место.
|
||||
#
|
||||
# После КАЖДОГО изменения состояния проверяется системный каталог,
|
||||
# а не вывод команды. Именно на этом я ошибся в первой попытке:
|
||||
# переименование не произошло, а скрипт пошёл дальше.
|
||||
#
|
||||
# Использование: bash convert-db.sh <имя_базы>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
DB="${1:?укажите имя базы}"
|
||||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||||
OLD="${DB}_pre_utf8_${STAMP}"
|
||||
FAILED_NAME="${DB}_failed_${STAMP}"
|
||||
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
|
||||
mkdir -p "$QUAR"
|
||||
|
||||
# ICU-локаль для русского, проверена на образцах
|
||||
ICU_LOCALE="ru-RU"
|
||||
FALLBACK_LOCALE="C.utf8"
|
||||
|
||||
say() { echo "[$(date '+%T')] $*"; }
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
|
||||
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
|
||||
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
|
||||
|
||||
rollback() { # возвращает старую базу на место
|
||||
say " ⟲ ОТКАТ"
|
||||
db_exists "$DB" && p -tAc "ALTER DATABASE $DB RENAME TO $FAILED_NAME" >/dev/null 2>&1
|
||||
if db_exists "$OLD"; then
|
||||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||||
fi
|
||||
if db_exists "$DB" && db_enc "$DB" | grep -q 'SQL_ASCII'; then
|
||||
say " ✅ старая база возвращена, кодировка прежняя"
|
||||
else
|
||||
say " ✅ база $DB на месте"
|
||||
fi
|
||||
say " сбойный вариант: $FAILED_NAME (если создавался)"
|
||||
}
|
||||
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ПЕРЕВОД БАЗЫ $DB НА UTF8"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
|
||||
# ── 0. Проверка исходного состояния ─────────────────────────
|
||||
if ! db_exists "$DB"; then
|
||||
say "❌ базы $DB нет — стоп"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
ENC_BEFORE=$(db_enc "$DB")
|
||||
say "0. кодировка сейчас: $ENC_BEFORE"
|
||||
if [ "$ENC_BEFORE" = "UTF8" ]; then
|
||||
say " уже UTF8 — проверяю локаль"
|
||||
fi
|
||||
|
||||
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||||
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||||
printf ' таблиц: %s, представлений: %s\n' "$TABLES_BEFORE" "$VIEWS_BEFORE"
|
||||
|
||||
if [ "${TABLES_BEFORE:-0}" -eq 0 ]; then
|
||||
say " ⚠️ в базе нет таблиц — возможно, она пустая; продолжаю осторожно"
|
||||
fi
|
||||
|
||||
# ── 1. Права ─────────────────────────────────────────────────
|
||||
say "1. сохраняю права"
|
||||
p -d "$DB" -tAc "
|
||||
SELECT grantee || '|' || table_name || '|' || privilege_type
|
||||
FROM information_schema.table_privileges
|
||||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/grants.txt"
|
||||
p -d "$DB" -tAc "
|
||||
SELECT grantee || '|' || privilege_type
|
||||
FROM information_schema.usage_privileges
|
||||
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/grants.txt"
|
||||
GRANTS=$(grep -c . "$QUAR/grants.txt" 2>/dev/null || echo 0)
|
||||
ROLES=$(cut -d'|' -f1 "$QUAR/grants.txt" 2>/dev/null | sort -u | tr '\n' ' ')
|
||||
printf ' записей: %s, роли: %s\n' "$GRANTS" "${ROLES:-нет}"
|
||||
|
||||
# ── 2. Выгрузка ──────────────────────────────────────────────
|
||||
say "2. снимаю выгрузку"
|
||||
if ! pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"; then
|
||||
say " ❌ выгрузка не удалась — стоп"; exit 1
|
||||
fi
|
||||
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say " ❌ архив повреждён — стоп"; exit 1; }
|
||||
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
|
||||
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
|
||||
if [ "${DUMP_TABLES:-0}" -lt "${TABLES_BEFORE:-0}" ]; then
|
||||
say " ❌ выгрузка неполная — стоп"; exit 1
|
||||
fi
|
||||
say " ✅ выгрузка полная"
|
||||
|
||||
# ── 3. Отключение пользователей ──────────────────────────────
|
||||
say "3. отключаю пользователей"
|
||||
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
|
||||
sleep 2
|
||||
echo " подключений осталось: $(p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='$DB'" 2>/dev/null)"
|
||||
|
||||
# ── 4. Переименование ────────────────────────────────────────
|
||||
say "4. переименовываю в $OLD"
|
||||
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||||
|
||||
if ! db_exists "$OLD" || db_exists "$DB"; then
|
||||
say " ❌ ПЕРЕИМЕНОВАНИЕ НЕ ПОДТВЕРЖДЕНО КАТАЛОГОМ"
|
||||
say " $DB есть: $(db_exists "$DB" && echo да || echo нет)"
|
||||
say " $OLD есть: $(db_exists "$OLD" && echo да || echo нет)"
|
||||
say " ничего больше не меняю"
|
||||
exit 1
|
||||
fi
|
||||
say " ✅ подтверждено каталогом"
|
||||
|
||||
# ── 5. Создание новой базы ───────────────────────────────────
|
||||
say "5. создаю новую с UTF8 и ICU $ICU_LOCALE"
|
||||
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
|
||||
LOCALE_PROVIDER icu ICU_LOCALE '$ICU_LOCALE' LOCALE '$FALLBACK_LOCALE'
|
||||
TEMPLATE template0" 2>&1 | grep -v '^$' | head -3 | sed 's/^/ /'
|
||||
|
||||
ENC_AFTER=$(db_enc "$DB")
|
||||
if [ "$ENC_AFTER" != "UTF8" ]; then
|
||||
say " ❌ кодировка не UTF8 ($ENC_AFTER)"
|
||||
rollback
|
||||
exit 1
|
||||
fi
|
||||
say " ✅ UTF8 подтверждён каталогом"
|
||||
|
||||
# ── 6. Загрузка ──────────────────────────────────────────────
|
||||
say "6. загружаю данные"
|
||||
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
|
||||
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
|
||||
echo " ошибок: $ERRS"
|
||||
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
|
||||
|
||||
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||||
VIEWS_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||||
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
|
||||
printf ' представлений: было %s, стало %s\n' "$VIEWS_BEFORE" "$VIEWS_AFTER"
|
||||
|
||||
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
|
||||
say " ❌ СОСТАВ НЕ СОВПАЛ"
|
||||
rollback
|
||||
exit 1
|
||||
fi
|
||||
say " ✅ состав совпал"
|
||||
|
||||
# ── 7. Права обратно ─────────────────────────────────────────
|
||||
say "7. возвращаю права"
|
||||
if [ "$GRANTS" -gt 0 ]; then
|
||||
awk -F'|' 'NF==3 {print "GRANT " $3 " ON " $2 " TO " $1 ";"}' "$QUAR/grants.txt" | sort -u > "$QUAR/regrant.sql"
|
||||
awk -F'|' 'NF==2 {print "GRANT " $2 " ON ALL SEQUENCES IN SCHEMA public TO " $1 ";"}' "$QUAR/grants.txt" | sort -u >> "$QUAR/regrant.sql"
|
||||
REGRANT_ERR=$(pct exec 151 -- sudo -u postgres psql -q -d "$DB" < "$QUAR/regrant.sql" 2>&1 | grep -c '^ERROR' || echo 0)
|
||||
echo " ошибок при выдаче прав: $REGRANT_ERR"
|
||||
for role in $(cut -d'|' -f1 "$QUAR/grants.txt" | sort -u); do
|
||||
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE ON TABLES TO $role" >/dev/null 2>&1
|
||||
p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role" >/dev/null 2>&1
|
||||
done
|
||||
fi
|
||||
|
||||
# ── 8. Проверка русского текста ──────────────────────────────
|
||||
say "8. проверка русского текста"
|
||||
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
|
||||
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
|
||||
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
|
||||
printf ' длина: %s %s | upper: %s %s | сортировка: %s %s\n' \
|
||||
"$LEN" "$([ "$LEN" = "6" ] && echo ✅ || echo ❌)" \
|
||||
"$UP" "$([ "$UP" = "ПРИВЕТ" ] && echo ✅ || echo ❌)" \
|
||||
"$CMP" "$([ "$CMP" = "true" ] && echo ✅ || echo ❌)"
|
||||
|
||||
# ── 9. Итог ──────────────────────────────────────────────────
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
|
||||
echo " ✅ БАЗА $DB ПЕРЕВЕДЕНА"
|
||||
echo " старая база: $OLD (удалить после подтверждения)"
|
||||
echo " карантин: $QUAR"
|
||||
else
|
||||
echo " ⚠️ БАЗА $DB ПЕРЕВЕДЕНА НЕПОЛНОСТЬЮ — проверьте вручную"
|
||||
echo " старая база на месте: $OLD"
|
||||
fi
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
Executable
+168
@@ -0,0 +1,168 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# convert-db2.sh — перевод базы на UTF8 (версия 2, с ролями и службой)
|
||||
# ============================================================
|
||||
# Отличия от первой версии, выявленные на практике:
|
||||
#
|
||||
# 1. ПРАВА. Восстановление по снимку information_schema оказалось
|
||||
# неполным: у роли n8n пропало право INSERT на update_queue, и бот
|
||||
# снова не смог записывать решения. Теперь из снимка берётся только
|
||||
# СПИСОК РОЛЕЙ, а права выдаются явно на всю схему — это идемпотентно
|
||||
# и не зависит от полноты снимка.
|
||||
#
|
||||
# 2. СЛУЖБА. База обслуживает работающий сервис. Обрывать соединения
|
||||
# у живого сервиса рискованно: незавершённая запись теряется.
|
||||
# Поэтому контейнер службы останавливается, а после переноса
|
||||
# запускается и проверяется.
|
||||
#
|
||||
# 3. ИМЕНА БЕЗ ДЕФИСОВ. Дефис в имени базы PostgreSQL читает как
|
||||
# вычитание — на этом я уже ошибся один раз.
|
||||
#
|
||||
# 4. ПРОВЕРКА ПО КАТАЛОГУ после каждого изменения, а не по выводу команды.
|
||||
#
|
||||
# Использование: bash convert-db2.sh <база> [CT:контейнер] [роли...]
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
DB="${1:?укажите имя базы}"
|
||||
SERVICE="${2:-}"
|
||||
shift 2 2>/dev/null || shift 1
|
||||
DEFAULT_ROLES="${*:-}"
|
||||
|
||||
STAMP=$(date +%Y%m%d_%H%M%S)
|
||||
OLD="${DB}_pre_utf8_${STAMP}"
|
||||
QUAR="/mnt/backups/retired/${STAMP}-${DB}"
|
||||
mkdir -p "$QUAR"
|
||||
|
||||
say() { echo "[$(date '+%T')] $*"; }
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; }
|
||||
db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; }
|
||||
|
||||
echo "═══ ПЕРЕВОД $DB ═══"
|
||||
|
||||
if ! db_exists "$DB"; then say "❌ базы нет — стоп"; exit 1; fi
|
||||
|
||||
ENC=$(db_enc "$DB")
|
||||
say "кодировка: $ENC"
|
||||
TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||||
VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null)
|
||||
echo " таблиц: $TABLES_BEFORE, представлений: $VIEWS_BEFORE"
|
||||
|
||||
# Роли: только список имён, не детали прав
|
||||
p -d "$DB" -tAc "
|
||||
SELECT DISTINCT grantee FROM information_schema.table_privileges
|
||||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/roles.txt"
|
||||
p -d "$DB" -tAc "
|
||||
SELECT DISTINCT grantee FROM information_schema.usage_privileges
|
||||
WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/roles.txt"
|
||||
sort -u "$QUAR/roles.txt" -o "$QUAR/roles.txt"
|
||||
ROLES=$(grep -c . "$QUAR/roles.txt" 2>/dev/null || echo 0)
|
||||
echo " роли с правами: $(tr '\n' ' ' < "$QUAR/roles.txt")"
|
||||
|
||||
# Остановка службы, если указана
|
||||
STOPPED=""
|
||||
if [ -n "$SERVICE" ]; then
|
||||
SCT="${SERVICE%%:*}"
|
||||
SCONT="${SERVICE##*:}"
|
||||
say "останавливаю службу $SCONT в CT $SCT"
|
||||
pct exec "$SCT" -- docker stop -t 30 "$SCONT" >/dev/null 2>&1
|
||||
state=$(pct exec "$SCT" -- docker inspect "$SCONT" --format '{{.State.Status}}' 2>/dev/null)
|
||||
echo " состояние службы: $state"
|
||||
if [ "$state" = "running" ]; then
|
||||
pct exec "$SCT" -- docker kill "$SCONT" >/dev/null 2>&1
|
||||
sleep 3
|
||||
echo " завершена принудительно"
|
||||
fi
|
||||
STOPPED="$SCT $SCONT"
|
||||
fi
|
||||
|
||||
# Выгрузка
|
||||
say "снимаю выгрузку"
|
||||
pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"
|
||||
gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say "❌ архив повреждён"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
|
||||
DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE')
|
||||
printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES"
|
||||
[ "${DUMP_TABLES:-0}" -ge "${TABLES_BEFORE:-0}" ] || { say "❌ выгрузка неполная"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; }
|
||||
|
||||
restart_service() {
|
||||
[ -n "$STOPPED" ] || return 0
|
||||
say "запускаю службу ${STOPPED#* }"
|
||||
pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1
|
||||
}
|
||||
|
||||
# Отключение пользователей
|
||||
say "отключаю подключения"
|
||||
p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1
|
||||
sleep 2
|
||||
|
||||
# Переименование
|
||||
say "переименовываю в $OLD"
|
||||
p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||||
if ! db_exists "$OLD" || db_exists "$DB"; then
|
||||
say "❌ переименование не подтверждено каталогом — стоп"
|
||||
restart_service
|
||||
exit 1
|
||||
fi
|
||||
say "✅ подтверждено каталогом"
|
||||
|
||||
# Создание
|
||||
say "создаю с UTF8 и ICU ru-RU"
|
||||
p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8'
|
||||
LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /'
|
||||
if [ "$(db_enc "$DB")" != "UTF8" ]; then
|
||||
say "❌ кодировка не UTF8 — откат"
|
||||
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
|
||||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||||
restart_service
|
||||
exit 1
|
||||
fi
|
||||
say "✅ UTF8 подтверждён"
|
||||
|
||||
# Загрузка
|
||||
say "загружаю данные"
|
||||
zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log"
|
||||
ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0)
|
||||
echo " ошибок: $ERRS"
|
||||
[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /'
|
||||
|
||||
TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null)
|
||||
printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER"
|
||||
if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then
|
||||
say "❌ состав не совпал — откат"
|
||||
p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1
|
||||
p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1
|
||||
restart_service
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# Права: ЯВНО на всю схему, по списку ролей
|
||||
say "выдаю права явно"
|
||||
while read -r role; do
|
||||
[ -n "$role" ] || continue
|
||||
exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null)
|
||||
[ "${exists:-0}" = "1" ] || { echo " ❌ роли $role нет"; continue; }
|
||||
out=$(p -d "$DB" -tAc "
|
||||
GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role;
|
||||
GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role;
|
||||
GRANT USAGE ON SCHEMA public TO $role;
|
||||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role;
|
||||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role;
|
||||
" 2>&1 | grep -i error | head -1)
|
||||
[ -n "$out" ] && echo " ⚠️ $role: $out" || echo " ✅ $role"
|
||||
done < "$QUAR/roles.txt"
|
||||
|
||||
# Проверка
|
||||
LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null)
|
||||
UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null)
|
||||
CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null)
|
||||
printf ' русский текст: длина %s, upper %s, сортировка %s\n' "$LEN" "$UP" "$CMP"
|
||||
|
||||
restart_service
|
||||
|
||||
echo
|
||||
if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then
|
||||
echo "✅ $DB ПЕРЕВЕДЕНА (старая: $OLD)"
|
||||
else
|
||||
echo "⚠️ $DB: проверки не все пройдены (старая: $OLD)"
|
||||
fi
|
||||
Executable
+102
@@ -0,0 +1,102 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# fix-db-owners.sh — возврат владельцев базам после переноса
|
||||
# ============================================================
|
||||
# Что пошло не так: при пересоздании базы я назначал владельцем postgres,
|
||||
# а у многих баз владельцем была роль сервиса. Владение даёт право
|
||||
# создавать схемы и таблицы — без него сервис падает.
|
||||
#
|
||||
# Проявилось на Authentik: воркер не смог применить миграцию
|
||||
# (permission denied for database authentik_db) и не запускался.
|
||||
#
|
||||
# Исправление: для каждой переведённой базы берём владельца из её копии
|
||||
# до переноса (она сохранена) и возвращаем.
|
||||
#
|
||||
# Запуск: bash fix-db-owners.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ВЛАДЕЛЬЦЫ БАЗ: ЧТО СЕЙЧАС И ЧТО БЫЛО"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
printf ' %-42s %-18s %s\n' БАЗА СЕЙЧАС БЫЛО
|
||||
printf ' %s\n' '--------------------------------------------------------------------'
|
||||
|
||||
# Собираем список переведённых баз и их копий
|
||||
p -tAc "SELECT datname FROM pg_database WHERE datname LIKE '%_pre_utf8_%' ORDER BY datname" 2>/dev/null > /tmp/olds.txt
|
||||
|
||||
changes=0
|
||||
while read -r olddb; do
|
||||
[ -n "$olddb" ] || continue
|
||||
newdb=$(echo "$olddb" | sed 's/_pre_utf8_[0-9_]*$//')
|
||||
|
||||
owner_now=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null)
|
||||
owner_was=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$olddb'" 2>/dev/null)
|
||||
|
||||
[ -n "$newdb" ] && [ -n "$owner_now" ] || continue
|
||||
|
||||
mark=""
|
||||
if [ "$owner_now" != "$owner_was" ]; then
|
||||
mark=" ← ИСПРАВИТЬ"
|
||||
fi
|
||||
printf ' %-42s %-18s %s%s\n' "$newdb" "$owner_now" "${owner_was:-?}" "$mark"
|
||||
done < /tmp/olds.txt
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ВОЗВРАЩАЮ ВЛАДЕЛЬЦЕВ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
|
||||
while read -r olddb; do
|
||||
[ -n "$olddb" ] || continue
|
||||
newdb=$(echo "$olddb" | sed 's/_pre_utf8_[0-9_]*$//')
|
||||
|
||||
owner_now=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null)
|
||||
owner_was=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$olddb'" 2>/dev/null)
|
||||
|
||||
[ -n "$newdb" ] && [ -n "$owner_now" ] && [ -n "$owner_was" ] || continue
|
||||
[ "$owner_now" = "$owner_was" ] && continue
|
||||
|
||||
role_exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$owner_was'" 2>/dev/null)
|
||||
if [ "${role_exists:-0}" != "1" ]; then
|
||||
printf ' ❌ %-40s роль %s не существует\n' "$newdb" "$owner_was"
|
||||
continue
|
||||
fi
|
||||
|
||||
p -tAc "ALTER DATABASE $newdb OWNER TO $owner_was" >/dev/null 2>&1
|
||||
check=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null)
|
||||
if [ "$check" = "$owner_was" ]; then
|
||||
printf ' ✅ %-40s владелец: %s\n' "$newdb" "$owner_was"
|
||||
changes=$((changes + 1))
|
||||
else
|
||||
printf ' ❌ %-40s не удалось (сейчас %s)\n' "$newdb" "$check"
|
||||
fi
|
||||
done < /tmp/olds.txt
|
||||
|
||||
echo
|
||||
echo " исправлено баз: $changes"
|
||||
rm -f /tmp/olds.txt
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ПРОВЕРКА AUTHENTIK"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
pct exec 114 -- docker restart authentik-security-worker-1 >/dev/null 2>&1
|
||||
sleep 20
|
||||
printf ' воркер: %s\n' "$(pct exec 114 -- docker inspect authentik-security-worker-1 --format '{{.State.Status}}' 2>/dev/null)"
|
||||
printf ' сервер: %s\n' "$(pct exec 114 -- docker inspect authentik-security-server-1 --format '{{.State.Status}}' 2>/dev/null)"
|
||||
echo -n ' сервер отвечает: '
|
||||
curl -s -o /dev/null -w '%{http_code}\n' --max-time 12 http://192.168.1.114:9000/-/health/live/ 2>/dev/null
|
||||
echo ' журнал воркера:'
|
||||
pct exec 114 -- docker logs --tail 5 authentik-security-worker-1 2>&1 | grep -viE '^\{' | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ПРОВЕРКА ОСТАЛЬНЫХ СЛУЖБ"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
for pair in "110 firefly" "110 mealie" "110 paperless_web" "109 nextcloud" "108 n8n"; do
|
||||
set -- $pair
|
||||
printf ' CT %-4s %-18s %s\n' "$1" "$2" "$(pct exec $1 -- docker inspect $2 --format '{{.State.Status}} {{.State.Health.Status}}' 2>/dev/null)"
|
||||
done
|
||||
Executable
+95
@@ -0,0 +1,95 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# fix-grants.sh — надёжное восстановление прав после пересоздания базы
|
||||
# ============================================================
|
||||
# Что пошло не так: при пересоздании базы права теряются, и я пытался
|
||||
# восстановить их из снимка information_schema. Снимок оказался неполным:
|
||||
# у роли n8n пропало право INSERT на update_queue, из-за чего бот снова
|
||||
# не смог записывать решения по кнопкам — та же поломка, что днём.
|
||||
#
|
||||
# Надёжный способ: не восстанавливать по снимку, а ЗАДАВАТЬ явно —
|
||||
# выдать права ролям на все таблицы и последовательности схемы.
|
||||
# Это идемпотентно и не зависит от полноты снимка.
|
||||
#
|
||||
# Использование: bash fix-grants.sh <база> [роль1 роль2 ...]
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
DB="${1:?укажите имя базы}"
|
||||
shift || true
|
||||
ROLES="${*:-n8n buryan_monitor}"
|
||||
|
||||
p() { pct exec 151 -- sudo -u postgres psql "$@"; }
|
||||
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ВОССТАНОВЛЕНИЕ ПРАВ В БАЗЕ $DB"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " роли: $ROLES"
|
||||
|
||||
echo
|
||||
echo " состояние ДО:"
|
||||
p -d "$DB" -tAc "
|
||||
SELECT ' ' || rpad(grantee,20) || count(*) || ' привилегий'
|
||||
FROM information_schema.table_privileges
|
||||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')
|
||||
GROUP BY grantee ORDER BY grantee" 2>/dev/null
|
||||
|
||||
echo
|
||||
echo " выдаю права явно:"
|
||||
for role in $ROLES; do
|
||||
# проверяем, что роль существует
|
||||
exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null)
|
||||
if [ "${exists:-0}" != "1" ]; then
|
||||
echo " ❌ роли $role нет — пропуск"
|
||||
continue
|
||||
fi
|
||||
|
||||
out=$(p -d "$DB" -tAc "
|
||||
GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role;
|
||||
GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role;
|
||||
GRANT USAGE ON SCHEMA public TO $role;
|
||||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role;
|
||||
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role;
|
||||
" 2>&1 | grep -i error | head -2)
|
||||
if [ -n "$out" ]; then
|
||||
echo " ⚠️ $role: $out"
|
||||
else
|
||||
echo " ✅ $role: права выданы, включая права на будущие объекты"
|
||||
fi
|
||||
done
|
||||
|
||||
echo
|
||||
echo " состояние ПОСЛЕ:"
|
||||
p -d "$DB" -tAc "
|
||||
SELECT ' ' || rpad(grantee,20) || count(*) || ' привилегий'
|
||||
FROM information_schema.table_privileges
|
||||
WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')
|
||||
GROUP BY grantee ORDER BY grantee" 2>/dev/null
|
||||
|
||||
echo
|
||||
echo " проверка ключевой таблицы update_queue:"
|
||||
for role in $ROLES; do
|
||||
privs=$(p -d "$DB" -tAc "
|
||||
SELECT string_agg(privilege_type, ', ')
|
||||
FROM information_schema.table_privileges
|
||||
WHERE table_name='update_queue' AND grantee='$role'" 2>/dev/null)
|
||||
printf ' %-20s %s\n' "$role" "${privs:-НЕТ ПРАВ}"
|
||||
done
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " ПРОВЕРКА ЗАПИСИ ОТ БОТА"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
pct exec 108 -- docker exec tg-admin-bot python3 /tmp/test-n8n-write.py 2>&1 | tail -4
|
||||
|
||||
echo
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
echo " КАКОЙ ДИСК 80%"
|
||||
echo "═══════════════════════════════════════════════════════════"
|
||||
. /root/.buryan-monitor.env
|
||||
export PGPASSWORD
|
||||
psql -h 192.168.1.151 -U buryan_monitor -d "$DB" -tAc "
|
||||
SELECT ' ' || rpad(guest_title,26) || used_percent || '%'
|
||||
FROM disk_metrics
|
||||
WHERE collected_at > now() - interval '15 minutes'
|
||||
ORDER BY used_percent DESC LIMIT 8" 2>/dev/null
|
||||
Reference in new issue
Block a user