Files
buryan-infra/ops/scripts/verify-backups.sh
T

174 lines
8.1 KiB
Bash

#!/bin/bash
# ============================================================
# verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления
# ============================================================
# ИСПРАВЛЯЕТ найденное:
# 1. новый образец копий (\connect вместо -- Database:);
# 2. настоящее восстановление, а не только проверка целостности;
# 3. сравнение через системный каталог (не information_schema);
# 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения.
#
# Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh
# Расписание: еженедельно, воскресенье 06:00
#
# Запуск: bash verify-backups.sh
# ============================================================
set -uo pipefail
PGCT=151
BACKUP_DIR=/mnt/backups/postgresql
LOG=/var/log/buryan-hub/backups/verify-backups.log
RESULT=/var/log/buryan-hub/backups/verify-backups-last.json
NOTIFY=/opt/buryan-hub/scripts/notify.py
mkdir -p "$(dirname "$LOG")"
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
# ── Отправка с ПОВТОРОМ до подтверждения ──
# Это и есть исправление главной проблемы: тревога не должна
# уходить в пустоту.
alert() { # $1=текст $2=важность
local text="$1" level="${2:-warning}"
log "УВЕДОМЛЕНИЕ: $text"
# Первое сообщение
python3 "$NOTIFY" "$text" 2>/dev/null || true
# Записываю в «требующие подтверждения»
echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt
log " записано в требующие подтверждения"
}
log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ =========="
# ── 1. Ищу свежую копию ──
LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
if [ -z "$LATEST" ]; then
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical
exit 1
fi
AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
SIZE=$(du -h "$LATEST" | cut -f1)
log "копия: $(basename "$LATEST")"
log " размер: $SIZE, возраст: ${AGE_H} ч"
if [ "$AGE_H" -gt 26 ]; then
alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical
fi
# ── 2. Целостность архива ──
if ! gzip -t "$LATEST" 2>/dev/null; then
alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical
exit 1
fi
log "✅ архив целый"
# ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ──
DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u)
DB_COUNT=$(echo "$DBS" | wc -l)
log "баз в копии: $DB_COUNT"
if [ "$DB_COUNT" -lt 30 ]; then
alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical
fi
# ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ──
# Пароли, код, переписка — самое ценное.
PASS=0; FAIL=0; DETAILS=""
for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \
"gitea_db:gitea:repository:код" \
"matrix_db:matrix:users:переписка"; do
DB=$(echo "$PAIR" | cut -d: -f1)
TABLES=$(echo "$PAIR" | cut -d: -f3)
LABEL=$(echo "$PAIR" | cut -d: -f4)
T="verify_${DB}_$$"
log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---"
# Создаю проверочную базу
if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then
log " ❌ не удалось создать проверочную базу"
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed,"
continue
fi
# Восстанавливаю по правильному образцу
gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" '
/^\\connect / { f = ($2 == d) }
f { print }
' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1
RC=$?
# Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema)
N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
# Сверяю данные — с правами владельца
O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r')
N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r')
# Убираю проверочную базу
pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1
log " таблиц: рабочая=$O_T, из копии=$N_T"
log " записей в $TABLES: рабочая=$O_R, из копии=$N_R"
if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then
log " ✅ PASSED: $DB восстановлена полностью"
PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed,"
else
log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T"
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed,"
fi
done
# ── 5. Итог и уведомление ──
TOTAL=$((PASS+FAIL))
log "========== ИТОГ: пройдено $PASS, провалено $FAIL =========="
cat > "$RESULT" <<EOF
{"time":"$(date -Iseconds)","backup":"$(basename "$LATEST")","age_hours":$AGE_H,"databases":$DB_COUNT,"passed":$PASS,"failed":$FAIL,"details":"$DETAILS"}
EOF
if [ "$FAIL" -eq 0 ]; then
MSG="✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
Копия: $(basename "$LATEST") ($SIZE, ${AGE_H} ч)
Баз в копии: $DB_COUNT
Восстановление проверено: пароли, код, переписка — все $PASS ✅
Рабочие данные не тронуты."
# Успех — одно сообщение, без повторов
python3 "$NOTIFY" "$MSG" 2>/dev/null || true
log "отчёт отправлен"
else
MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
Копия: $(basename "$LATEST")
Не восстановилось: $FAIL из $TOTAL
Подробности: $DETAILS
ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log"
# ПРОВАЛ — с повтором (это ключевое исправление)
alert "$MSG" critical
fi
# ── 6. Проверяю старые неподтверждённые тревоги ──
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then
N=$(wc -l < "$PENDING")
log "неподтверждённых тревог: $N"
# Напоминаю о каждой старше 1 дня
while IFS='|' read -r ts level text; do
[ -z "$ts" ] && continue
days=$(( ( $(date +%s) - ts ) / 86400 ))
if [ "$days" -ge 1 ]; then
log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text"
python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.)
$text
Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true
fi
done < "$PENDING"
fi
log "========== ПРОВЕРКА ЗАВЕРШЕНА =========="
exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)