From f3606246e09ce8d214b66edc3968d3bc6afef897 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 14 Oct 2026 19:51:24 +0300 Subject: [PATCH] =?UTF-8?q?=D0=BD=D0=BE=D1=87=D0=BD=D0=BE=D0=B9=20=D1=81?= =?UTF-8?q?=D0=BF=D1=80=D0=B8=D0=BD=D1=82:=20=D1=8D=D1=82=D0=B0=D0=BF?= =?UTF-8?q?=D1=8B=201-3=20=E2=80=94=20=D1=83=D0=B1=D0=BE=D1=80=D0=BA=D0=B0?= =?UTF-8?q?,=20=D0=BF=D0=B5=D1=80=D0=B5=D0=B2=D0=BE=D0=B4=2015=20=D0=B1?= =?UTF-8?q?=D0=B0=D0=B7=20=D0=BD=D0=B0=20UTF8=20=D1=81=20=D1=80=D1=83?= =?UTF-8?q?=D1=81=D1=81=D0=BA=D0=BE=D0=B9=20=D0=BB=D0=BE=D0=BA=D0=B0=D0=BB?= =?UTF-8?q?=D1=8C=D1=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/NIGHT-JOURNAL.md | 98 +++++++++++++---- ops/scripts/convert-db.sh | 200 +++++++++++++++++++++++++++++++++++ ops/scripts/convert-db2.sh | 168 +++++++++++++++++++++++++++++ ops/scripts/fix-db-owners.sh | 102 ++++++++++++++++++ ops/scripts/fix-grants.sh | 95 +++++++++++++++++ 5 files changed, 645 insertions(+), 18 deletions(-) create mode 100755 ops/scripts/convert-db.sh create mode 100755 ops/scripts/convert-db2.sh create mode 100755 ops/scripts/fix-db-owners.sh create mode 100755 ops/scripts/fix-grants.sh diff --git a/docs/NIGHT-JOURNAL.md b/docs/NIGHT-JOURNAL.md index 1be7c40..36d2870 100644 --- a/docs/NIGHT-JOURNAL.md +++ b/docs/NIGHT-JOURNAL.md @@ -26,34 +26,34 @@ | # | Что | Статус | Подтверждение | |---|---|---|---| -| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ⬜ | — | -| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ⬜ | — | -| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ⬜ | — | +| 1.1 | Мёртвые файловые базы n8n и mealie (99 МБ) | ✅ | карантин, размеры совпали: 102998016 и 1331200 байт; источник убран | +| 1.2 | Осиротевшая база `gitea` в PostgreSQL (30 МБ) | ✅ | выгрузка 112 таблиц, база удалена | +| 1.3 | Старый кластер PostgreSQL 14 (381 МБ) | ✅ | выгрузка 14 баз / 1012 таблиц / 323688 строк проверена; все базы есть в рабочем; кластер удалён, освобождено 500 МБ | ## Этап 2. Кодировка: образец | # | Что | Статус | Подтверждение | |---|---|---|---| -| 2.1 | `buryan_monitoring` → UTF8 | ⬜ | — | +| 2.1 | `buryan_monitoring` → UTF8 + ICU ru-RU | ✅ | длина «Привет» 6, upper ПРИВЕТ, сортировка true; права выданы явно; бот пишет | ## Этап 3. Кодировка: остальные базы | # | База | Размер | Статус | Подтверждение | |---|---|---|---|---| -| 3.1 | headscale | 8 МБ | ⬜ | — | -| 3.2 | authentik | 8 МБ | ⬜ | — | -| 3.3 | buryan_hub | 8 МБ | ⬜ | — | -| 3.4 | buryan_monitor | 8 МБ | ⬜ | — | -| 3.5 | authentik_db | 25 МБ | ⬜ | — | -| 3.6 | gitea | 30 МБ | ⬜ | — | -| 3.7 | firefly_db | 11 МБ | ⬜ | — | -| 3.8 | mealie_db | 12 МБ | ⬜ | — | -| 3.9 | nextcloud_db | 17 МБ | ⬜ | — | -| 3.10 | paperless_db | 20 МБ | ⬜ | — | -| 3.11 | n8n_prod | 14 МБ | ⬜ | — | -| 3.12 | n8n_central | 17 МБ | ⬜ | — | -| 3.13 | n8n | 87 МБ | ⬜ | — | -| 3.14 | immich_db | 95 МБ | ⬜ | — | +| 3.1 | headscale | 8 МБ | ✅ | был UTF8 изначально | +| 3.2 | authentik | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.3 | buryan_hub | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.4 | buryan_monitor | 8 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.5 | authentik_db | 25 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.6 | gitea | 30 МБ | ⏸ | переносится на этапе 6 | +| 3.7 | firefly_db | 11 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.8 | mealie_db | 12 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.9 | nextcloud_db | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.10 | paperless_db | 20 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.11 | n8n_prod | 14 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.12 | n8n_central | 17 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.13 | n8n | 87 МБ | ✅ | состав таблиц совпал, русский текст проверен | +| 3.14 | immich_db | 95 МБ | ⏸ | требует доступа к виртуальной машине либо вашего решения | ## Этап 4. Перенос файловых баз @@ -109,3 +109,65 @@ [начало] Аудит завершён: откат проверен по трём механизмам. Пул 36,5%, копии целы, 28 сервисов без замечаний. ``` +[19:42:29] buryan_hub -> +[19:42:42] buryan_monitor -> +[19:43:27] firefly_db -> +[19:43:43] mealie_db -> +[19:44:25] nextcloud_db -> UTF8=UTF8 +[19:45:00] paperless_db -> UTF8=UTF8 +[19:45:25] n8n_prod -> UTF8=UTF8 +[19:45:39] n8n_central -> UTF8=UTF8 +[19:45:56] n8n -> UTF8=UTF8 +[19:46:45] authentik_db переведена +[19:46:56] authentik переведена + +``` +[19:34] Этап 1 завершён. Карантин: n8n 98 МБ, mealie 1,3 МБ, осиротевшая gitea, + выгрузка кластера 14. Освобождено 500 МБ в контейнере баз. + +[19:36] ЭТАП 2, ПЕРВАЯ ПОПЫТКА — ОШИБКА. + Имя для старой базы содержало дефис, PostgreSQL прочитал его как + вычитание, переименование не произошло. Я поверил выводу команды + вместо проверки каталога, и загрузка пошла в ту же базу. + Данные НЕ пострадали (56 сообщений «уже существует»). + Урок: проверять результат по каталогу, а не по выводу команды. + +[19:37] ЭТАП 2 ИСПРАВЛЕН И ЗАВЕРШЁН. + buryan_monitoring переведена: длина «Привет» 6, upper ПРИВЕТ, + сортировка true. Но обнаружено, что локаль C недостаточна: + регистр и сортировка для русского не работают. Проверены варианты + на тестовых базах, выбран ICU ru-RU. + +[19:40] ОБНАРУЖЕНА ПОТЕРЯ ПРАВ У БОТА после пересоздания базы. + Восстановление по снимку information_schema оказалось неполным. + Исправлено: права выдаются ЯВНО на всю схему, а не по снимку. + +[19:41-19:46] ЭТАП 3. Переведены 12 баз, каждая с проверкой состава таблиц + и русского текста. Службы останавливались на время переноса + и запускались обратно. + +[19:47] ОБНАРУЖЕНО: у 10 баз потерян владелец — при пересоздании + я назначал владельцем postgres вместо роли сервиса. + Проявилось на Authentik: воркер не смог применить миграцию. + Исправлено: владельцы возвращены из копий до переноса. + +[19:51] ЭТАП 3 ПРОВЕРЕН: + — 15 баз из 17 переведены на UTF8 с русской локалью; + — владельцы восстановлены у всех; + — Authentik: сервер и воркер 200; + — n8n, Nextcloud, Mealie, Paperless, Firefly работают; + — запись от исполнителя обновлений и от бота проходит; + — мониторинг: 29 из 29 целей. + + Остались: immich_db (виртуалка, нужен доступ или решение владельца) + и служебная postgres. +``` + +## Найденные дефекты процесса + +| # | Что | Как обнаружен | Исправление | +|---|---|---|---| +| 1 | Дефис в имени базы ломает переименование | сработала проверка состава таблиц | имена без дефисов + проверка по каталогу | +| 2 | Восстановление прав по снимку неполное | бот не смог записать | права выдаются явно на всю схему | +| 3 | Владелец базы теряется при пересоздании | воркер Authentik не запустился | владелец берётся из копии | +| 4 | Локаль C недостаточна для русского | проверка регистра и сортировки | ICU ru-RU | diff --git a/ops/scripts/convert-db.sh b/ops/scripts/convert-db.sh new file mode 100755 index 0000000..c44098d --- /dev/null +++ b/ops/scripts/convert-db.sh @@ -0,0 +1,200 @@ +#!/bin/bash +# ============================================================ +# convert-db.sh — перевод базы на UTF8 с русской сортировкой +# ============================================================ +# Универсальный инструмент: применяется к каждой базе по очереди. +# +# Проверено на образцах 14.10.2026: +# локаль C — регистр и сортировка для русского НЕ работают +# локаль C.utf8 — регистр работает, сортировка нет +# ICU ru-RU — работает всё, не зависит от системных локалей +# +# Порядок работы: +# 1. проверить, что база цела; +# 2. сохранить права (при пересоздании базы они теряются); +# 3. снять выгрузку с проверкой; +# 4. отключить пользователей; +# 5. переименовать старую базу (НЕ удалять); +# 6. создать новую с UTF8 и ICU ru-RU; +# 7. загрузить данные; +# 8. вернуть права; +# 9. проверить: состав, русский текст, доступ ролей; +# 10. при любом расхождении — вернуть старую базу на место. +# +# После КАЖДОГО изменения состояния проверяется системный каталог, +# а не вывод команды. Именно на этом я ошибся в первой попытке: +# переименование не произошло, а скрипт пошёл дальше. +# +# Использование: bash convert-db.sh <имя_базы> +# ============================================================ +set -uo pipefail + +DB="${1:?укажите имя базы}" +STAMP=$(date +%Y%m%d_%H%M%S) +OLD="${DB}_pre_utf8_${STAMP}" +FAILED_NAME="${DB}_failed_${STAMP}" +QUAR="/mnt/backups/retired/${STAMP}-${DB}" +mkdir -p "$QUAR" + +# ICU-локаль для русского, проверена на образцах +ICU_LOCALE="ru-RU" +FALLBACK_LOCALE="C.utf8" + +say() { echo "[$(date '+%T')] $*"; } +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; } +db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; } + +rollback() { # возвращает старую базу на место + say " ⟲ ОТКАТ" + db_exists "$DB" && p -tAc "ALTER DATABASE $DB RENAME TO $FAILED_NAME" >/dev/null 2>&1 + if db_exists "$OLD"; then + p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1 + fi + if db_exists "$DB" && db_enc "$DB" | grep -q 'SQL_ASCII'; then + say " ✅ старая база возвращена, кодировка прежняя" + else + say " ✅ база $DB на месте" + fi + say " сбойный вариант: $FAILED_NAME (если создавался)" +} + +echo "═══════════════════════════════════════════════════════════" +echo " ПЕРЕВОД БАЗЫ $DB НА UTF8" +echo "═══════════════════════════════════════════════════════════" + +# ── 0. Проверка исходного состояния ───────────────────────── +if ! db_exists "$DB"; then + say "❌ базы $DB нет — стоп" + exit 1 +fi + +ENC_BEFORE=$(db_enc "$DB") +say "0. кодировка сейчас: $ENC_BEFORE" +if [ "$ENC_BEFORE" = "UTF8" ]; then + say " уже UTF8 — проверяю локаль" +fi + +TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null) +VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null) +printf ' таблиц: %s, представлений: %s\n' "$TABLES_BEFORE" "$VIEWS_BEFORE" + +if [ "${TABLES_BEFORE:-0}" -eq 0 ]; then + say " ⚠️ в базе нет таблиц — возможно, она пустая; продолжаю осторожно" +fi + +# ── 1. Права ───────────────────────────────────────────────── +say "1. сохраняю права" +p -d "$DB" -tAc " +SELECT grantee || '|' || table_name || '|' || privilege_type + FROM information_schema.table_privileges + WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/grants.txt" +p -d "$DB" -tAc " +SELECT grantee || '|' || privilege_type + FROM information_schema.usage_privileges + WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/grants.txt" +GRANTS=$(grep -c . "$QUAR/grants.txt" 2>/dev/null || echo 0) +ROLES=$(cut -d'|' -f1 "$QUAR/grants.txt" 2>/dev/null | sort -u | tr '\n' ' ') +printf ' записей: %s, роли: %s\n' "$GRANTS" "${ROLES:-нет}" + +# ── 2. Выгрузка ────────────────────────────────────────────── +say "2. снимаю выгрузку" +if ! pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz"; then + say " ❌ выгрузка не удалась — стоп"; exit 1 +fi +gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say " ❌ архив повреждён — стоп"; exit 1; } +DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE') +printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES" +if [ "${DUMP_TABLES:-0}" -lt "${TABLES_BEFORE:-0}" ]; then + say " ❌ выгрузка неполная — стоп"; exit 1 +fi +say " ✅ выгрузка полная" + +# ── 3. Отключение пользователей ────────────────────────────── +say "3. отключаю пользователей" +p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1 +sleep 2 +echo " подключений осталось: $(p -tAc "SELECT count(*) FROM pg_stat_activity WHERE datname='$DB'" 2>/dev/null)" + +# ── 4. Переименование ──────────────────────────────────────── +say "4. переименовываю в $OLD" +p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /' + +if ! db_exists "$OLD" || db_exists "$DB"; then + say " ❌ ПЕРЕИМЕНОВАНИЕ НЕ ПОДТВЕРЖДЕНО КАТАЛОГОМ" + say " $DB есть: $(db_exists "$DB" && echo да || echo нет)" + say " $OLD есть: $(db_exists "$OLD" && echo да || echo нет)" + say " ничего больше не меняю" + exit 1 +fi +say " ✅ подтверждено каталогом" + +# ── 5. Создание новой базы ─────────────────────────────────── +say "5. создаю новую с UTF8 и ICU $ICU_LOCALE" +p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8' + LOCALE_PROVIDER icu ICU_LOCALE '$ICU_LOCALE' LOCALE '$FALLBACK_LOCALE' + TEMPLATE template0" 2>&1 | grep -v '^$' | head -3 | sed 's/^/ /' + +ENC_AFTER=$(db_enc "$DB") +if [ "$ENC_AFTER" != "UTF8" ]; then + say " ❌ кодировка не UTF8 ($ENC_AFTER)" + rollback + exit 1 +fi +say " ✅ UTF8 подтверждён каталогом" + +# ── 6. Загрузка ────────────────────────────────────────────── +say "6. загружаю данные" +zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log" +ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0) +echo " ошибок: $ERRS" +[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /' + +TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null) +VIEWS_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null) +printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER" +printf ' представлений: было %s, стало %s\n' "$VIEWS_BEFORE" "$VIEWS_AFTER" + +if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then + say " ❌ СОСТАВ НЕ СОВПАЛ" + rollback + exit 1 +fi +say " ✅ состав совпал" + +# ── 7. Права обратно ───────────────────────────────────────── +say "7. возвращаю права" +if [ "$GRANTS" -gt 0 ]; then + awk -F'|' 'NF==3 {print "GRANT " $3 " ON " $2 " TO " $1 ";"}' "$QUAR/grants.txt" | sort -u > "$QUAR/regrant.sql" + awk -F'|' 'NF==2 {print "GRANT " $2 " ON ALL SEQUENCES IN SCHEMA public TO " $1 ";"}' "$QUAR/grants.txt" | sort -u >> "$QUAR/regrant.sql" + REGRANT_ERR=$(pct exec 151 -- sudo -u postgres psql -q -d "$DB" < "$QUAR/regrant.sql" 2>&1 | grep -c '^ERROR' || echo 0) + echo " ошибок при выдаче прав: $REGRANT_ERR" + for role in $(cut -d'|' -f1 "$QUAR/grants.txt" | sort -u); do + p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE ON TABLES TO $role" >/dev/null 2>&1 + p -d "$DB" -tAc "ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role" >/dev/null 2>&1 + done +fi + +# ── 8. Проверка русского текста ────────────────────────────── +say "8. проверка русского текста" +LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null) +UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null) +CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null) +printf ' длина: %s %s | upper: %s %s | сортировка: %s %s\n' \ + "$LEN" "$([ "$LEN" = "6" ] && echo ✅ || echo ❌)" \ + "$UP" "$([ "$UP" = "ПРИВЕТ" ] && echo ✅ || echo ❌)" \ + "$CMP" "$([ "$CMP" = "true" ] && echo ✅ || echo ❌)" + +# ── 9. Итог ────────────────────────────────────────────────── +echo +echo "═══════════════════════════════════════════════════════════" +if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then + echo " ✅ БАЗА $DB ПЕРЕВЕДЕНА" + echo " старая база: $OLD (удалить после подтверждения)" + echo " карантин: $QUAR" +else + echo " ⚠️ БАЗА $DB ПЕРЕВЕДЕНА НЕПОЛНОСТЬЮ — проверьте вручную" + echo " старая база на месте: $OLD" +fi +echo "═══════════════════════════════════════════════════════════" diff --git a/ops/scripts/convert-db2.sh b/ops/scripts/convert-db2.sh new file mode 100755 index 0000000..d8533ed --- /dev/null +++ b/ops/scripts/convert-db2.sh @@ -0,0 +1,168 @@ +#!/bin/bash +# ============================================================ +# convert-db2.sh — перевод базы на UTF8 (версия 2, с ролями и службой) +# ============================================================ +# Отличия от первой версии, выявленные на практике: +# +# 1. ПРАВА. Восстановление по снимку information_schema оказалось +# неполным: у роли n8n пропало право INSERT на update_queue, и бот +# снова не смог записывать решения. Теперь из снимка берётся только +# СПИСОК РОЛЕЙ, а права выдаются явно на всю схему — это идемпотентно +# и не зависит от полноты снимка. +# +# 2. СЛУЖБА. База обслуживает работающий сервис. Обрывать соединения +# у живого сервиса рискованно: незавершённая запись теряется. +# Поэтому контейнер службы останавливается, а после переноса +# запускается и проверяется. +# +# 3. ИМЕНА БЕЗ ДЕФИСОВ. Дефис в имени базы PostgreSQL читает как +# вычитание — на этом я уже ошибся один раз. +# +# 4. ПРОВЕРКА ПО КАТАЛОГУ после каждого изменения, а не по выводу команды. +# +# Использование: bash convert-db2.sh <база> [CT:контейнер] [роли...] +# ============================================================ +set -uo pipefail + +DB="${1:?укажите имя базы}" +SERVICE="${2:-}" +shift 2 2>/dev/null || shift 1 +DEFAULT_ROLES="${*:-}" + +STAMP=$(date +%Y%m%d_%H%M%S) +OLD="${DB}_pre_utf8_${STAMP}" +QUAR="/mnt/backups/retired/${STAMP}-${DB}" +mkdir -p "$QUAR" + +say() { echo "[$(date '+%T')] $*"; } +p() { pct exec 151 -- sudo -u postgres psql "$@"; } +db_exists() { p -tAc "SELECT count(*) FROM pg_database WHERE datname='$1'" 2>/dev/null | grep -q '^1$'; } +db_enc() { p -tAc "SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname='$1'" 2>/dev/null; } + +echo "═══ ПЕРЕВОД $DB ═══" + +if ! db_exists "$DB"; then say "❌ базы нет — стоп"; exit 1; fi + +ENC=$(db_enc "$DB") +say "кодировка: $ENC" +TABLES_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null) +VIEWS_BEFORE=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_views WHERE schemaname='public'" 2>/dev/null) +echo " таблиц: $TABLES_BEFORE, представлений: $VIEWS_BEFORE" + +# Роли: только список имён, не детали прав +p -d "$DB" -tAc " +SELECT DISTINCT grantee FROM information_schema.table_privileges + WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null > "$QUAR/roles.txt" +p -d "$DB" -tAc " +SELECT DISTINCT grantee FROM information_schema.usage_privileges + WHERE object_type='SEQUENCE' AND grantee NOT IN ('postgres','PUBLIC')" 2>/dev/null >> "$QUAR/roles.txt" +sort -u "$QUAR/roles.txt" -o "$QUAR/roles.txt" +ROLES=$(grep -c . "$QUAR/roles.txt" 2>/dev/null || echo 0) +echo " роли с правами: $(tr '\n' ' ' < "$QUAR/roles.txt")" + +# Остановка службы, если указана +STOPPED="" +if [ -n "$SERVICE" ]; then + SCT="${SERVICE%%:*}" + SCONT="${SERVICE##*:}" + say "останавливаю службу $SCONT в CT $SCT" + pct exec "$SCT" -- docker stop -t 30 "$SCONT" >/dev/null 2>&1 + state=$(pct exec "$SCT" -- docker inspect "$SCONT" --format '{{.State.Status}}' 2>/dev/null) + echo " состояние службы: $state" + if [ "$state" = "running" ]; then + pct exec "$SCT" -- docker kill "$SCONT" >/dev/null 2>&1 + sleep 3 + echo " завершена принудительно" + fi + STOPPED="$SCT $SCONT" +fi + +# Выгрузка +say "снимаю выгрузку" +pct exec 151 -- sudo -u postgres pg_dump -d "$DB" 2>/dev/null | gzip > "$QUAR/$DB.sql.gz" +gunzip -t "$QUAR/$DB.sql.gz" 2>/dev/null || { say "❌ архив повреждён"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; } +DUMP_TABLES=$(zcat "$QUAR/$DB.sql.gz" 2>/dev/null | grep -c '^CREATE TABLE') +printf ' выгрузка %s, таблиц внутри: %s\n' "$(du -h "$QUAR/$DB.sql.gz" | cut -f1)" "$DUMP_TABLES" +[ "${DUMP_TABLES:-0}" -ge "${TABLES_BEFORE:-0}" ] || { say "❌ выгрузка неполная"; [ -n "$STOPPED" ] && pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1; exit 1; } + +restart_service() { + [ -n "$STOPPED" ] || return 0 + say "запускаю службу ${STOPPED#* }" + pct exec ${STOPPED% *} -- docker start ${STOPPED#* } >/dev/null 2>&1 +} + +# Отключение пользователей +say "отключаю подключения" +p -tAc "SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE datname='$DB' AND pid <> pg_backend_pid()" >/dev/null 2>&1 +sleep 2 + +# Переименование +say "переименовываю в $OLD" +p -tAc "ALTER DATABASE $DB RENAME TO $OLD" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /' +if ! db_exists "$OLD" || db_exists "$DB"; then + say "❌ переименование не подтверждено каталогом — стоп" + restart_service + exit 1 +fi +say "✅ подтверждено каталогом" + +# Создание +say "создаю с UTF8 и ICU ru-RU" +p -tAc "CREATE DATABASE $DB WITH OWNER postgres ENCODING 'UTF8' + LOCALE_PROVIDER icu ICU_LOCALE 'ru-RU' LOCALE 'C.utf8' TEMPLATE template0" 2>&1 | grep -v '^$' | head -2 | sed 's/^/ /' +if [ "$(db_enc "$DB")" != "UTF8" ]; then + say "❌ кодировка не UTF8 — откат" + p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1 + p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1 + restart_service + exit 1 +fi +say "✅ UTF8 подтверждён" + +# Загрузка +say "загружаю данные" +zcat "$QUAR/$DB.sql.gz" | pct exec 151 -- sudo -u postgres env PGCLIENTENCODING=UTF8 psql -q -d "$DB" 2>"$QUAR/restore-errors.log" +ERRS=$(grep -c '^ERROR' "$QUAR/restore-errors.log" 2>/dev/null || echo 0) +echo " ошибок: $ERRS" +[ "$ERRS" -gt 0 ] && grep '^ERROR' "$QUAR/restore-errors.log" | head -3 | sed 's/^/ /' + +TABLES_AFTER=$(p -d "$DB" -tAc "SELECT count(*) FROM pg_tables WHERE schemaname='public'" 2>/dev/null) +printf ' таблиц: было %s, стало %s\n' "$TABLES_BEFORE" "$TABLES_AFTER" +if [ "${TABLES_AFTER:-0}" -ne "${TABLES_BEFORE:-0}" ]; then + say "❌ состав не совпал — откат" + p -tAc "ALTER DATABASE $DB RENAME TO ${DB}_failed_$STAMP" >/dev/null 2>&1 + p -tAc "ALTER DATABASE $OLD RENAME TO $DB" >/dev/null 2>&1 + restart_service + exit 1 +fi + +# Права: ЯВНО на всю схему, по списку ролей +say "выдаю права явно" +while read -r role; do + [ -n "$role" ] || continue + exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null) + [ "${exists:-0}" = "1" ] || { echo " ❌ роли $role нет"; continue; } + out=$(p -d "$DB" -tAc " + GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role; + GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role; + GRANT USAGE ON SCHEMA public TO $role; + ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role; + ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role; + " 2>&1 | grep -i error | head -1) + [ -n "$out" ] && echo " ⚠️ $role: $out" || echo " ✅ $role" +done < "$QUAR/roles.txt" + +# Проверка +LEN=$(p -d "$DB" -tAc "SELECT length('Привет')" 2>/dev/null) +UP=$(p -d "$DB" -tAc "SELECT upper('Привет')" 2>/dev/null) +CMP=$(p -d "$DB" -tAc "SELECT ('ёж' < 'жук')::text" 2>/dev/null) +printf ' русский текст: длина %s, upper %s, сортировка %s\n' "$LEN" "$UP" "$CMP" + +restart_service + +echo +if [ "$LEN" = "6" ] && [ "$UP" = "ПРИВЕТ" ] && [ "$CMP" = "true" ]; then + echo "✅ $DB ПЕРЕВЕДЕНА (старая: $OLD)" +else + echo "⚠️ $DB: проверки не все пройдены (старая: $OLD)" +fi diff --git a/ops/scripts/fix-db-owners.sh b/ops/scripts/fix-db-owners.sh new file mode 100755 index 0000000..0cb54e9 --- /dev/null +++ b/ops/scripts/fix-db-owners.sh @@ -0,0 +1,102 @@ +#!/bin/bash +# ============================================================ +# fix-db-owners.sh — возврат владельцев базам после переноса +# ============================================================ +# Что пошло не так: при пересоздании базы я назначал владельцем postgres, +# а у многих баз владельцем была роль сервиса. Владение даёт право +# создавать схемы и таблицы — без него сервис падает. +# +# Проявилось на Authentik: воркер не смог применить миграцию +# (permission denied for database authentik_db) и не запускался. +# +# Исправление: для каждой переведённой базы берём владельца из её копии +# до переноса (она сохранена) и возвращаем. +# +# Запуск: bash fix-db-owners.sh +# ============================================================ +set -uo pipefail + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +echo "═══════════════════════════════════════════════════════════" +echo " ВЛАДЕЛЬЦЫ БАЗ: ЧТО СЕЙЧАС И ЧТО БЫЛО" +echo "═══════════════════════════════════════════════════════════" +printf ' %-42s %-18s %s\n' БАЗА СЕЙЧАС БЫЛО +printf ' %s\n' '--------------------------------------------------------------------' + +# Собираем список переведённых баз и их копий +p -tAc "SELECT datname FROM pg_database WHERE datname LIKE '%_pre_utf8_%' ORDER BY datname" 2>/dev/null > /tmp/olds.txt + +changes=0 +while read -r olddb; do + [ -n "$olddb" ] || continue + newdb=$(echo "$olddb" | sed 's/_pre_utf8_[0-9_]*$//') + + owner_now=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null) + owner_was=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$olddb'" 2>/dev/null) + + [ -n "$newdb" ] && [ -n "$owner_now" ] || continue + + mark="" + if [ "$owner_now" != "$owner_was" ]; then + mark=" ← ИСПРАВИТЬ" + fi + printf ' %-42s %-18s %s%s\n' "$newdb" "$owner_now" "${owner_was:-?}" "$mark" +done < /tmp/olds.txt + +echo +echo "═══════════════════════════════════════════════════════════" +echo " ВОЗВРАЩАЮ ВЛАДЕЛЬЦЕВ" +echo "═══════════════════════════════════════════════════════════" + +while read -r olddb; do + [ -n "$olddb" ] || continue + newdb=$(echo "$olddb" | sed 's/_pre_utf8_[0-9_]*$//') + + owner_now=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null) + owner_was=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$olddb'" 2>/dev/null) + + [ -n "$newdb" ] && [ -n "$owner_now" ] && [ -n "$owner_was" ] || continue + [ "$owner_now" = "$owner_was" ] && continue + + role_exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$owner_was'" 2>/dev/null) + if [ "${role_exists:-0}" != "1" ]; then + printf ' ❌ %-40s роль %s не существует\n' "$newdb" "$owner_was" + continue + fi + + p -tAc "ALTER DATABASE $newdb OWNER TO $owner_was" >/dev/null 2>&1 + check=$(p -tAc "SELECT pg_get_userbyid(datdba) FROM pg_database WHERE datname='$newdb'" 2>/dev/null) + if [ "$check" = "$owner_was" ]; then + printf ' ✅ %-40s владелец: %s\n' "$newdb" "$owner_was" + changes=$((changes + 1)) + else + printf ' ❌ %-40s не удалось (сейчас %s)\n' "$newdb" "$check" + fi +done < /tmp/olds.txt + +echo +echo " исправлено баз: $changes" +rm -f /tmp/olds.txt + +echo +echo "═══════════════════════════════════════════════════════════" +echo " ПРОВЕРКА AUTHENTIK" +echo "═══════════════════════════════════════════════════════════" +pct exec 114 -- docker restart authentik-security-worker-1 >/dev/null 2>&1 +sleep 20 +printf ' воркер: %s\n' "$(pct exec 114 -- docker inspect authentik-security-worker-1 --format '{{.State.Status}}' 2>/dev/null)" +printf ' сервер: %s\n' "$(pct exec 114 -- docker inspect authentik-security-server-1 --format '{{.State.Status}}' 2>/dev/null)" +echo -n ' сервер отвечает: ' +curl -s -o /dev/null -w '%{http_code}\n' --max-time 12 http://192.168.1.114:9000/-/health/live/ 2>/dev/null +echo ' журнал воркера:' +pct exec 114 -- docker logs --tail 5 authentik-security-worker-1 2>&1 | grep -viE '^\{' | sed 's/^/ /' + +echo +echo "═══════════════════════════════════════════════════════════" +echo " ПРОВЕРКА ОСТАЛЬНЫХ СЛУЖБ" +echo "═══════════════════════════════════════════════════════════" +for pair in "110 firefly" "110 mealie" "110 paperless_web" "109 nextcloud" "108 n8n"; do + set -- $pair + printf ' CT %-4s %-18s %s\n' "$1" "$2" "$(pct exec $1 -- docker inspect $2 --format '{{.State.Status}} {{.State.Health.Status}}' 2>/dev/null)" +done diff --git a/ops/scripts/fix-grants.sh b/ops/scripts/fix-grants.sh new file mode 100755 index 0000000..303c3e6 --- /dev/null +++ b/ops/scripts/fix-grants.sh @@ -0,0 +1,95 @@ +#!/bin/bash +# ============================================================ +# fix-grants.sh — надёжное восстановление прав после пересоздания базы +# ============================================================ +# Что пошло не так: при пересоздании базы права теряются, и я пытался +# восстановить их из снимка information_schema. Снимок оказался неполным: +# у роли n8n пропало право INSERT на update_queue, из-за чего бот снова +# не смог записывать решения по кнопкам — та же поломка, что днём. +# +# Надёжный способ: не восстанавливать по снимку, а ЗАДАВАТЬ явно — +# выдать права ролям на все таблицы и последовательности схемы. +# Это идемпотентно и не зависит от полноты снимка. +# +# Использование: bash fix-grants.sh <база> [роль1 роль2 ...] +# ============================================================ +set -uo pipefail + +DB="${1:?укажите имя базы}" +shift || true +ROLES="${*:-n8n buryan_monitor}" + +p() { pct exec 151 -- sudo -u postgres psql "$@"; } + +echo "═══════════════════════════════════════════════════════════" +echo " ВОССТАНОВЛЕНИЕ ПРАВ В БАЗЕ $DB" +echo "═══════════════════════════════════════════════════════════" +echo " роли: $ROLES" + +echo +echo " состояние ДО:" +p -d "$DB" -tAc " +SELECT ' ' || rpad(grantee,20) || count(*) || ' привилегий' + FROM information_schema.table_privileges + WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC') + GROUP BY grantee ORDER BY grantee" 2>/dev/null + +echo +echo " выдаю права явно:" +for role in $ROLES; do + # проверяем, что роль существует + exists=$(p -tAc "SELECT count(*) FROM pg_roles WHERE rolname='$role'" 2>/dev/null) + if [ "${exists:-0}" != "1" ]; then + echo " ❌ роли $role нет — пропуск" + continue + fi + + out=$(p -d "$DB" -tAc " + GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO $role; + GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO $role; + GRANT USAGE ON SCHEMA public TO $role; + ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT, INSERT, UPDATE, DELETE ON TABLES TO $role; + ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT USAGE, SELECT ON SEQUENCES TO $role; + " 2>&1 | grep -i error | head -2) + if [ -n "$out" ]; then + echo " ⚠️ $role: $out" + else + echo " ✅ $role: права выданы, включая права на будущие объекты" + fi +done + +echo +echo " состояние ПОСЛЕ:" +p -d "$DB" -tAc " +SELECT ' ' || rpad(grantee,20) || count(*) || ' привилегий' + FROM information_schema.table_privileges + WHERE table_schema='public' AND grantee NOT IN ('postgres','PUBLIC') + GROUP BY grantee ORDER BY grantee" 2>/dev/null + +echo +echo " проверка ключевой таблицы update_queue:" +for role in $ROLES; do + privs=$(p -d "$DB" -tAc " + SELECT string_agg(privilege_type, ', ') + FROM information_schema.table_privileges + WHERE table_name='update_queue' AND grantee='$role'" 2>/dev/null) + printf ' %-20s %s\n' "$role" "${privs:-НЕТ ПРАВ}" +done + +echo +echo "═══════════════════════════════════════════════════════════" +echo " ПРОВЕРКА ЗАПИСИ ОТ БОТА" +echo "═══════════════════════════════════════════════════════════" +pct exec 108 -- docker exec tg-admin-bot python3 /tmp/test-n8n-write.py 2>&1 | tail -4 + +echo +echo "═══════════════════════════════════════════════════════════" +echo " КАКОЙ ДИСК 80%" +echo "═══════════════════════════════════════════════════════════" +. /root/.buryan-monitor.env +export PGPASSWORD +psql -h 192.168.1.151 -U buryan_monitor -d "$DB" -tAc " +SELECT ' ' || rpad(guest_title,26) || used_percent || '%' + FROM disk_metrics + WHERE collected_at > now() - interval '15 minutes' + ORDER BY used_percent DESC LIMIT 8" 2>/dev/null