#!/bin/bash # ============================================================ # verify-backups.sh — проверка восстановления копий баз # ============================================================ # СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр # PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются. # # Почему так, а не извлечением одной базы: # * не зависит от разбора формата копии; # * проверяет ВСЕ базы; # * рабочие данные вообще не затрагиваются. # # ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ: # * PostgreSQL сменил формат (-- Database: -> \connect); # * перебор брал версию 14 вместо 17. # # Расписание: воскресенье 06:00 # ============================================================ set -uo pipefail PGCT=151 PORT=55433 PGBIN=/usr/lib/postgresql/17/bin CLUSTER=/tmp/verify-scheduled LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1) LOG=/var/log/buryan-hub/backups/verify-backups.log NOTIFY=/opt/buryan-hub/scripts/notify.py PENDING=/var/log/buryan-hub/backups/pending-alerts.txt mkdir -p "$(dirname "$LOG")" log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; } alert() { log "ТРЕВОГА: $1" python3 "$NOTIFY" "$1" 2>/dev/null || true echo "$(date +%s)|critical|$1" >> "$PENDING" } cleanup() { pct exec $PGCT -- sudo -u postgres bash -c " cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER " >/dev/null 2>&1 } trap cleanup EXIT log "========== ПРОВЕРКА КОПИЙ ==========" # 1. Копия есть? if [ -z "$LATEST" ]; then alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет" exit 1 fi AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 )) log "копия: $(basename "$LATEST"), возраст ${AGE} ч" [ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)" # 2. Архив целый? gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; } log "✅ архив целый" # 3. Разворачиваю всё в отдельный экземпляр pct exec $PGCT -- sudo -u postgres bash -c " cd /tmp; rm -rf $CLUSTER $PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1 $PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1 " >/dev/null 2>&1 sleep 5 gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c " cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \ >/dev/null 2>&1 RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c " cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r') log "баз восстановилось: ${RESTORED:-0}" if [ "${RESTORED:-0}" -lt 30 ]; then alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})" exit 1 fi # 4. Сверяю важнейшее PASS=0; FAIL=0 check() { # $1=база $2=подпись $3=запрос local o n o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r') n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r') if [ -n "$o" ] && [ "$o" = "$n" ]; then log " ✅ $1 $2: $o" PASS=$((PASS+1)) else log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)" fi } log "── сверка ──" check vaultwarden_db "пользователей" "SELECT count(*) FROM users" check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers" check matrix_db "пользователей" "SELECT count(*) FROM users" check matrix_db "комнат" "SELECT count(*) FROM rooms" check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user" check gitea_db "репозиториев" "SELECT count(*) FROM repository" check n8n "процессов" "SELECT count(*) FROM workflow_entity" # 5. Хеши паролей — самое важное OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r') NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r') log "========== ИТОГ: баз $RESTORED, сверено $PASS ==========" if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА Копия: $(basename "$LATEST") (${AGE} ч) Баз восстановлено: $RESTORED Пароли: отпечатки совпали ✅ Сверено записей: $PASS" 2>/dev/null || true log "отчёт отправлен" # Убираю прошлые тревоги о копиях grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING" exit 0 else alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА Копия: $(basename "$LATEST") Восстановлено баз: $RESTORED Совпало записей: $PASS Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ') Запись от: $(date '+%d.%m %H:%M')" exit 1 fi