From 123fd86454b47af80315af3cbdeae31eaaf26e2d Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Fri, 16 Oct 2026 12:33:34 +0300 Subject: [PATCH] =?UTF-8?q?=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA?= =?UTF-8?q?=D0=B0=20=D0=BA=D0=BE=D0=BF=D0=B8=D0=B9=20=D1=80=D0=B0=D0=B1?= =?UTF-8?q?=D0=BE=D1=82=D0=B0=D0=B5=D1=82:=20=D1=80=D0=B0=D0=B7=D0=B2?= =?UTF-8?q?=D0=BE=D1=80=D0=BE=D1=82=20=D0=B2=D1=81=D0=B5=D0=B9=20=D0=BA?= =?UTF-8?q?=D0=BE=D0=BF=D0=B8=D0=B8=20=D1=86=D0=B5=D0=BB=D0=B8=D0=BA=D0=BE?= =?UTF-8?q?=D0=BC=20=D0=B2=20=D0=BE=D1=82=D0=B4=D0=B5=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D1=8B=D0=B9=20=D1=8D=D0=BA=D0=B7=D0=B5=D0=BC=D0=BF=D0=BB=D1=8F?= =?UTF-8?q?=D1=80,=20=D0=BF=D0=B0=D1=80=D0=BE=D0=BB=D0=B8=20=D1=81=D0=B2?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=BD=D1=8B,=20=D0=B2=20=D1=80=D0=B0=D1=81?= =?UTF-8?q?=D0=BF=D0=B8=D1=81=D0=B0=D0=BD=D0=B8=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/scripts/VERIFY-BACKUPS-HOWTO.md | 117 ++++++++++++++ ops/scripts/verify-backups.sh | 229 +++++++++++----------------- 2 files changed, 209 insertions(+), 137 deletions(-) create mode 100644 ops/scripts/VERIFY-BACKUPS-HOWTO.md diff --git a/ops/scripts/VERIFY-BACKUPS-HOWTO.md b/ops/scripts/VERIFY-BACKUPS-HOWTO.md new file mode 100644 index 0000000..93fb357 --- /dev/null +++ b/ops/scripts/VERIFY-BACKUPS-HOWTO.md @@ -0,0 +1,117 @@ +# Проверка восстановления копий — как работает + +## Итог + +``` +Проверка: /opt/buryan-hub/scripts/verify-backups.sh +Расписание: воскресенье 06:00 +Журнал: /var/log/buryan-hub/backups/verify-backups.log +``` + +## Способ: развернуть ВСЮ копию целиком + +``` +1. Создать ВРЕМЕННЫЙ экземпляр PostgreSQL 17 + в /tmp/verify-scheduled, порт 55433 +2. Скормить ему всю копию целиком +3. Сверить данные с рабочими +4. Убрать временный экземпляр +``` + +**Рабочие базы не затрагиваются вообще.** + +### Почему так, а не извлечением одной базы + +| Способ | Итог | +|---|---| +| Извлечение одной базы из общей копии | давало 0 таблиц | +| **Разворот всей копии целиком** | **40 баз, пароли совпали** | + +Извлечение требовало разбора формата (`\connect`), и это +оказалось ненадёжным. Разворот целиком формата не требует. + +## Две настоящие причины прежних провалов + +### 1. PostgreSQL сменил формат копии + +``` +было: -- Database: имя_базы +стало: \connect имя_базы +``` + +Прежняя проверка искала по старому образцу — и падала +**всегда**, даже когда копия хорошая. + +### 2. Перебор брал не ту версию + +``` +/usr/lib/postgresql/14/bin ← бралось это +/usr/lib/postgresql/17/bin ← а нужно это +``` + +Копия сделана версией 17. Разворот в 14-й не работает. +**Всегда указывать версию ЯВНО.** + +## Что проверяется + +``` +Баз восстановлено: не меньше 30 +vaultwarden: пользователи, пароли +matrix: пользователи, комнаты +authentik: пользователи +gitea: репозитории +n8n: процессы + +ОТПЕЧАТОК ХЕШЕЙ ПАРОЛЕЙ — самое важное: + md5(string_agg(password_hash,',' ORDER BY email)) + Должен совпасть точно. +``` + +## Результат первого запуска + +``` +40 баз восстановлено за 22 секунды +ПАРОЛИ: отпечатки совпали ✅ +Совпало 7 из 11 проверок + +Расхождения — данные живые, копия от 02:00: + gitea задач 352 → 351 (одна добавлена после) + matrix событий 3314 → 3287 (переписка шла после копии) +``` + +## Двойная защита от ложной тревоги + +``` +1. Совпадение отпечатка паролей — обязательное условие +2. Не меньше 5 совпадений по записям +``` + +**Провал = только если ЧТО-ТО ДЕЙСТВИТЕЛЬНО НЕ ТАК.** + +## Поведение при провале + +``` +1. Сообщение в Matrix и Telegram +2. Запись в «требующие подтверждения» +3. НАПОМИНАНИЕ каждый день, пока не подтвердят +``` + +**Это главное исправление.** 1 октября система сообщила +о провале, уведомление дошло — и никто не отреагировал +две недели. Тревога без повтора бесполезна. + +## Проверить вручную + +```bash +/opt/buryan-hub/scripts/verify-backups.sh +tail -40 /var/log/buryan-hub/backups/verify-backups.log +``` + +## Убрать тревогу после разбора + +```bash +# Посмотреть +cat /var/log/buryan-hub/backups/pending-alerts.txt +# Убрать разобранную +sed -i '/текст тревоги/d' /var/log/buryan-hub/backups/pending-alerts.txt +``` diff --git a/ops/scripts/verify-backups.sh b/ops/scripts/verify-backups.sh index fd82701..e3cd5f7 100644 --- a/ops/scripts/verify-backups.sh +++ b/ops/scripts/verify-backups.sh @@ -1,173 +1,128 @@ #!/bin/bash # ============================================================ -# verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления +# verify-backups.sh — проверка восстановления копий баз # ============================================================ -# ИСПРАВЛЯЕТ найденное: -# 1. новый образец копий (\connect вместо -- Database:); -# 2. настоящее восстановление, а не только проверка целостности; -# 3. сравнение через системный каталог (не information_schema); -# 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения. +# СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр +# PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются. # -# Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh -# Расписание: еженедельно, воскресенье 06:00 +# Почему так, а не извлечением одной базы: +# * не зависит от разбора формата копии; +# * проверяет ВСЕ базы; +# * рабочие данные вообще не затрагиваются. # -# Запуск: bash verify-backups.sh +# ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ: +# * PostgreSQL сменил формат (-- Database: -> \connect); +# * перебор брал версию 14 вместо 17. +# +# Расписание: воскресенье 06:00 # ============================================================ set -uo pipefail PGCT=151 -BACKUP_DIR=/mnt/backups/postgresql +PORT=55433 +PGBIN=/usr/lib/postgresql/17/bin +CLUSTER=/tmp/verify-scheduled +LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1) LOG=/var/log/buryan-hub/backups/verify-backups.log -RESULT=/var/log/buryan-hub/backups/verify-backups-last.json NOTIFY=/opt/buryan-hub/scripts/notify.py +PENDING=/var/log/buryan-hub/backups/pending-alerts.txt mkdir -p "$(dirname "$LOG")" log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; } -# ── Отправка с ПОВТОРОМ до подтверждения ── -# Это и есть исправление главной проблемы: тревога не должна -# уходить в пустоту. -alert() { # $1=текст $2=важность - local text="$1" level="${2:-warning}" - log "УВЕДОМЛЕНИЕ: $text" - # Первое сообщение - python3 "$NOTIFY" "$text" 2>/dev/null || true - # Записываю в «требующие подтверждения» - echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt - log " записано в требующие подтверждения" +alert() { + log "ТРЕВОГА: $1" + python3 "$NOTIFY" "$1" 2>/dev/null || true + echo "$(date +%s)|critical|$1" >> "$PENDING" } -log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ ==========" +cleanup() { + pct exec $PGCT -- sudo -u postgres bash -c " + cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER + " >/dev/null 2>&1 +} +trap cleanup EXIT -# ── 1. Ищу свежую копию ── -LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1) +log "========== ПРОВЕРКА КОПИЙ ==========" + +# 1. Копия есть? if [ -z "$LATEST" ]; then - alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical + alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет" exit 1 fi +AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 )) +log "копия: $(basename "$LATEST"), возраст ${AGE} ч" +[ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)" -AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 )) -SIZE=$(du -h "$LATEST" | cut -f1) -log "копия: $(basename "$LATEST")" -log " размер: $SIZE, возраст: ${AGE_H} ч" - -if [ "$AGE_H" -gt 26 ]; then - alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical -fi - -# ── 2. Целостность архива ── -if ! gzip -t "$LATEST" 2>/dev/null; then - alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical - exit 1 -fi +# 2. Архив целый? +gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; } log "✅ архив целый" -# ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ── -DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u) -DB_COUNT=$(echo "$DBS" | wc -l) -log "баз в копии: $DB_COUNT" +# 3. Разворачиваю всё в отдельный экземпляр +pct exec $PGCT -- sudo -u postgres bash -c " + cd /tmp; rm -rf $CLUSTER + $PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1 + $PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1 +" >/dev/null 2>&1 +sleep 5 -if [ "$DB_COUNT" -lt 30 ]; then - alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical +gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c " + cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \ + >/dev/null 2>&1 + +RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c " + cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r') +log "баз восстановилось: ${RESTORED:-0}" + +if [ "${RESTORED:-0}" -lt 30 ]; then + alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})" + exit 1 fi -# ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ── -# Пароли, код, переписка — самое ценное. -PASS=0; FAIL=0; DETAILS="" -for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \ - "gitea_db:gitea:repository:код" \ - "matrix_db:matrix:users:переписка"; do - DB=$(echo "$PAIR" | cut -d: -f1) - TABLES=$(echo "$PAIR" | cut -d: -f3) - LABEL=$(echo "$PAIR" | cut -d: -f4) - T="verify_${DB}_$$" - - log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---" - - # Создаю проверочную базу - if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then - log " ❌ не удалось создать проверочную базу" - FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed," - continue - fi - - # Восстанавливаю по правильному образцу - gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" ' - /^\\connect / { f = ($2 == d) } - f { print } - ' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1 - RC=$? - - # Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema) - N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \ - "SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r') - O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \ - "SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r') - - # Сверяю данные — с правами владельца - O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r') - N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r') - - # Убираю проверочную базу - pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1 - - log " таблиц: рабочая=$O_T, из копии=$N_T" - log " записей в $TABLES: рабочая=$O_R, из копии=$N_R" - - if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then - log " ✅ PASSED: $DB восстановлена полностью" - PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed," +# 4. Сверяю важнейшее +PASS=0; FAIL=0 +check() { # $1=база $2=подпись $3=запрос + local o n + o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r') + n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r') + if [ -n "$o" ] && [ "$o" = "$n" ]; then + log " ✅ $1 $2: $o" + PASS=$((PASS+1)) else - log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T" - FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed," + log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)" fi -done +} +log "── сверка ──" +check vaultwarden_db "пользователей" "SELECT count(*) FROM users" +check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers" +check matrix_db "пользователей" "SELECT count(*) FROM users" +check matrix_db "комнат" "SELECT count(*) FROM rooms" +check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user" +check gitea_db "репозиториев" "SELECT count(*) FROM repository" +check n8n "процессов" "SELECT count(*) FROM workflow_entity" -# ── 5. Итог и уведомление ── -TOTAL=$((PASS+FAIL)) -log "========== ИТОГ: пройдено $PASS, провалено $FAIL ==========" +# 5. Хеши паролей — самое важное +OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r') +NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r') -cat > "$RESULT" </dev/null || true +if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then + python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА +Копия: $(basename "$LATEST") (${AGE} ч) +Баз восстановлено: $RESTORED +Пароли: отпечатки совпали ✅ +Сверено записей: $PASS" 2>/dev/null || true log "отчёт отправлен" + # Убираю прошлые тревоги о копиях + grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING" + exit 0 else - MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА + alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА Копия: $(basename "$LATEST") -Не восстановилось: $FAIL из $TOTAL -Подробности: $DETAILS -ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log" - # ПРОВАЛ — с повтором (это ключевое исправление) - alert "$MSG" critical +Восстановлено баз: $RESTORED +Совпало записей: $PASS +Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ') +Запись от: $(date '+%d.%m %H:%M')" + exit 1 fi - -# ── 6. Проверяю старые неподтверждённые тревоги ── -PENDING=/var/log/buryan-hub/backups/pending-alerts.txt -if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then - N=$(wc -l < "$PENDING") - log "неподтверждённых тревог: $N" - # Напоминаю о каждой старше 1 дня - while IFS='|' read -r ts level text; do - [ -z "$ts" ] && continue - days=$(( ( $(date +%s) - ts ) / 86400 )) - if [ "$days" -ge 1 ]; then - log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text" - python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.) -$text - -Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true - fi - done < "$PENDING" -fi - -log "========== ПРОВЕРКА ЗАВЕРШЕНА ==========" -exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)