#!/bin/bash # ============================================================ # verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления # ============================================================ # ИСПРАВЛЯЕТ найденное: # 1. новый образец копий (\connect вместо -- Database:); # 2. настоящее восстановление, а не только проверка целостности; # 3. сравнение через системный каталог (не information_schema); # 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения. # # Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh # Расписание: еженедельно, воскресенье 06:00 # # Запуск: bash verify-backups.sh # ============================================================ set -uo pipefail PGCT=151 BACKUP_DIR=/mnt/backups/postgresql LOG=/var/log/buryan-hub/backups/verify-backups.log RESULT=/var/log/buryan-hub/backups/verify-backups-last.json NOTIFY=/opt/buryan-hub/scripts/notify.py mkdir -p "$(dirname "$LOG")" log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; } # ── Отправка с ПОВТОРОМ до подтверждения ── # Это и есть исправление главной проблемы: тревога не должна # уходить в пустоту. alert() { # $1=текст $2=важность local text="$1" level="${2:-warning}" log "УВЕДОМЛЕНИЕ: $text" # Первое сообщение python3 "$NOTIFY" "$text" 2>/dev/null || true # Записываю в «требующие подтверждения» echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt log " записано в требующие подтверждения" } log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ ==========" # ── 1. Ищу свежую копию ── LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1) if [ -z "$LATEST" ]; then alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical exit 1 fi AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 )) SIZE=$(du -h "$LATEST" | cut -f1) log "копия: $(basename "$LATEST")" log " размер: $SIZE, возраст: ${AGE_H} ч" if [ "$AGE_H" -gt 26 ]; then alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical fi # ── 2. Целостность архива ── if ! gzip -t "$LATEST" 2>/dev/null; then alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical exit 1 fi log "✅ архив целый" # ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ── DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u) DB_COUNT=$(echo "$DBS" | wc -l) log "баз в копии: $DB_COUNT" if [ "$DB_COUNT" -lt 30 ]; then alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical fi # ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ── # Пароли, код, переписка — самое ценное. PASS=0; FAIL=0; DETAILS="" for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \ "gitea_db:gitea:repository:код" \ "matrix_db:matrix:users:переписка"; do DB=$(echo "$PAIR" | cut -d: -f1) TABLES=$(echo "$PAIR" | cut -d: -f3) LABEL=$(echo "$PAIR" | cut -d: -f4) T="verify_${DB}_$$" log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---" # Создаю проверочную базу if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then log " ❌ не удалось создать проверочную базу" FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed," continue fi # Восстанавливаю по правильному образцу gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" ' /^\\connect / { f = ($2 == d) } f { print } ' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1 RC=$? # Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema) N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \ "SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r') O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \ "SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r') # Сверяю данные — с правами владельца O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r') N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r') # Убираю проверочную базу pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1 log " таблиц: рабочая=$O_T, из копии=$N_T" log " записей в $TABLES: рабочая=$O_R, из копии=$N_R" if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then log " ✅ PASSED: $DB восстановлена полностью" PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed," else log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T" FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed," fi done # ── 5. Итог и уведомление ── TOTAL=$((PASS+FAIL)) log "========== ИТОГ: пройдено $PASS, провалено $FAIL ==========" cat > "$RESULT" </dev/null || true log "отчёт отправлен" else MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА Копия: $(basename "$LATEST") Не восстановилось: $FAIL из $TOTAL Подробности: $DETAILS ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log" # ПРОВАЛ — с повтором (это ключевое исправление) alert "$MSG" critical fi # ── 6. Проверяю старые неподтверждённые тревоги ── PENDING=/var/log/buryan-hub/backups/pending-alerts.txt if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then N=$(wc -l < "$PENDING") log "неподтверждённых тревог: $N" # Напоминаю о каждой старше 1 дня while IFS='|' read -r ts level text; do [ -z "$ts" ] && continue days=$(( ( $(date +%s) - ts ) / 86400 )) if [ "$days" -ge 1 ]; then log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text" python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.) $text Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true fi done < "$PENDING" fi log "========== ПРОВЕРКА ЗАВЕРШЕНА ==========" exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)