Files

129 lines
5.9 KiB
Bash

#!/bin/bash
# ============================================================
# verify-backups.sh — проверка восстановления копий баз
# ============================================================
# СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр
# PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются.
#
# Почему так, а не извлечением одной базы:
# * не зависит от разбора формата копии;
# * проверяет ВСЕ базы;
# * рабочие данные вообще не затрагиваются.
#
# ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ:
# * PostgreSQL сменил формат (-- Database: -> \connect);
# * перебор брал версию 14 вместо 17.
#
# Расписание: воскресенье 06:00
# ============================================================
set -uo pipefail
PGCT=151
PORT=55433
PGBIN=/usr/lib/postgresql/17/bin
CLUSTER=/tmp/verify-scheduled
LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
LOG=/var/log/buryan-hub/backups/verify-backups.log
NOTIFY=/opt/buryan-hub/scripts/notify.py
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
mkdir -p "$(dirname "$LOG")"
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
alert() {
log "ТРЕВОГА: $1"
python3 "$NOTIFY" "$1" 2>/dev/null || true
echo "$(date +%s)|critical|$1" >> "$PENDING"
}
cleanup() {
pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER
" >/dev/null 2>&1
}
trap cleanup EXIT
log "========== ПРОВЕРКА КОПИЙ =========="
# 1. Копия есть?
if [ -z "$LATEST" ]; then
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет"
exit 1
fi
AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
log "копия: $(basename "$LATEST"), возраст ${AGE} ч"
[ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)"
# 2. Архив целый?
gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; }
log "✅ архив целый"
# 3. Разворачиваю всё в отдельный экземпляр
pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; rm -rf $CLUSTER
$PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1
$PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1
" >/dev/null 2>&1
sleep 5
gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \
>/dev/null 2>&1
RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r')
log "баз восстановилось: ${RESTORED:-0}"
if [ "${RESTORED:-0}" -lt 30 ]; then
alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})"
exit 1
fi
# 4. Сверяю важнейшее
PASS=0; FAIL=0
check() { # $1=база $2=подпись $3=запрос
local o n
o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r')
n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r')
if [ -n "$o" ] && [ "$o" = "$n" ]; then
log " ✅ $1 $2: $o"
PASS=$((PASS+1))
else
log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)"
fi
}
log "── сверка ──"
check vaultwarden_db "пользователей" "SELECT count(*) FROM users"
check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers"
check matrix_db "пользователей" "SELECT count(*) FROM users"
check matrix_db "комнат" "SELECT count(*) FROM rooms"
check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user"
check gitea_db "репозиториев" "SELECT count(*) FROM repository"
check n8n "процессов" "SELECT count(*) FROM workflow_entity"
# 5. Хеши паролей — самое важное
OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r')
NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r')
log "========== ИТОГ: баз $RESTORED, сверено $PASS =========="
if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then
python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
Копия: $(basename "$LATEST") (${AGE} ч)
Баз восстановлено: $RESTORED
Пароли: отпечатки совпали ✅
Сверено записей: $PASS" 2>/dev/null || true
log "отчёт отправлен"
# Убираю прошлые тревоги о копиях
grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING"
exit 0
else
alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
Копия: $(basename "$LATEST")
Восстановлено баз: $RESTORED
Совпало записей: $PASS
Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ')
Запись от: $(date '+%d.%m %H:%M')"
exit 1
fi