129 lines
5.9 KiB
Bash
129 lines
5.9 KiB
Bash
#!/bin/bash
|
|
# ============================================================
|
|
# verify-backups.sh — проверка восстановления копий баз
|
|
# ============================================================
|
|
# СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр
|
|
# PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются.
|
|
#
|
|
# Почему так, а не извлечением одной базы:
|
|
# * не зависит от разбора формата копии;
|
|
# * проверяет ВСЕ базы;
|
|
# * рабочие данные вообще не затрагиваются.
|
|
#
|
|
# ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ:
|
|
# * PostgreSQL сменил формат (-- Database: -> \connect);
|
|
# * перебор брал версию 14 вместо 17.
|
|
#
|
|
# Расписание: воскресенье 06:00
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
PGCT=151
|
|
PORT=55433
|
|
PGBIN=/usr/lib/postgresql/17/bin
|
|
CLUSTER=/tmp/verify-scheduled
|
|
LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
|
|
LOG=/var/log/buryan-hub/backups/verify-backups.log
|
|
NOTIFY=/opt/buryan-hub/scripts/notify.py
|
|
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
|
|
mkdir -p "$(dirname "$LOG")"
|
|
|
|
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
|
|
|
|
alert() {
|
|
log "ТРЕВОГА: $1"
|
|
python3 "$NOTIFY" "$1" 2>/dev/null || true
|
|
echo "$(date +%s)|critical|$1" >> "$PENDING"
|
|
}
|
|
|
|
cleanup() {
|
|
pct exec $PGCT -- sudo -u postgres bash -c "
|
|
cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER
|
|
" >/dev/null 2>&1
|
|
}
|
|
trap cleanup EXIT
|
|
|
|
log "========== ПРОВЕРКА КОПИЙ =========="
|
|
|
|
# 1. Копия есть?
|
|
if [ -z "$LATEST" ]; then
|
|
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет"
|
|
exit 1
|
|
fi
|
|
AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
|
|
log "копия: $(basename "$LATEST"), возраст ${AGE} ч"
|
|
[ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)"
|
|
|
|
# 2. Архив целый?
|
|
gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; }
|
|
log "✅ архив целый"
|
|
|
|
# 3. Разворачиваю всё в отдельный экземпляр
|
|
pct exec $PGCT -- sudo -u postgres bash -c "
|
|
cd /tmp; rm -rf $CLUSTER
|
|
$PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1
|
|
$PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1
|
|
" >/dev/null 2>&1
|
|
sleep 5
|
|
|
|
gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c "
|
|
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \
|
|
>/dev/null 2>&1
|
|
|
|
RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c "
|
|
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r')
|
|
log "баз восстановилось: ${RESTORED:-0}"
|
|
|
|
if [ "${RESTORED:-0}" -lt 30 ]; then
|
|
alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})"
|
|
exit 1
|
|
fi
|
|
|
|
# 4. Сверяю важнейшее
|
|
PASS=0; FAIL=0
|
|
check() { # $1=база $2=подпись $3=запрос
|
|
local o n
|
|
o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r')
|
|
n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r')
|
|
if [ -n "$o" ] && [ "$o" = "$n" ]; then
|
|
log " ✅ $1 $2: $o"
|
|
PASS=$((PASS+1))
|
|
else
|
|
log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)"
|
|
fi
|
|
}
|
|
log "── сверка ──"
|
|
check vaultwarden_db "пользователей" "SELECT count(*) FROM users"
|
|
check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers"
|
|
check matrix_db "пользователей" "SELECT count(*) FROM users"
|
|
check matrix_db "комнат" "SELECT count(*) FROM rooms"
|
|
check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user"
|
|
check gitea_db "репозиториев" "SELECT count(*) FROM repository"
|
|
check n8n "процессов" "SELECT count(*) FROM workflow_entity"
|
|
|
|
# 5. Хеши паролей — самое важное
|
|
OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r')
|
|
NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r')
|
|
|
|
log "========== ИТОГ: баз $RESTORED, сверено $PASS =========="
|
|
|
|
if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then
|
|
python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
|
|
Копия: $(basename "$LATEST") (${AGE} ч)
|
|
Баз восстановлено: $RESTORED
|
|
Пароли: отпечатки совпали ✅
|
|
Сверено записей: $PASS" 2>/dev/null || true
|
|
log "отчёт отправлен"
|
|
# Убираю прошлые тревоги о копиях
|
|
grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING"
|
|
exit 0
|
|
else
|
|
alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
|
|
Копия: $(basename "$LATEST")
|
|
Восстановлено баз: $RESTORED
|
|
Совпало записей: $PASS
|
|
Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ')
|
|
Запись от: $(date '+%d.%m %H:%M')"
|
|
exit 1
|
|
fi
|