174 lines
8.1 KiB
Bash
174 lines
8.1 KiB
Bash
#!/bin/bash
|
|
# ============================================================
|
|
# verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления
|
|
# ============================================================
|
|
# ИСПРАВЛЯЕТ найденное:
|
|
# 1. новый образец копий (\connect вместо -- Database:);
|
|
# 2. настоящее восстановление, а не только проверка целостности;
|
|
# 3. сравнение через системный каталог (не information_schema);
|
|
# 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения.
|
|
#
|
|
# Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh
|
|
# Расписание: еженедельно, воскресенье 06:00
|
|
#
|
|
# Запуск: bash verify-backups.sh
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
PGCT=151
|
|
BACKUP_DIR=/mnt/backups/postgresql
|
|
LOG=/var/log/buryan-hub/backups/verify-backups.log
|
|
RESULT=/var/log/buryan-hub/backups/verify-backups-last.json
|
|
NOTIFY=/opt/buryan-hub/scripts/notify.py
|
|
mkdir -p "$(dirname "$LOG")"
|
|
|
|
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
|
|
|
|
# ── Отправка с ПОВТОРОМ до подтверждения ──
|
|
# Это и есть исправление главной проблемы: тревога не должна
|
|
# уходить в пустоту.
|
|
alert() { # $1=текст $2=важность
|
|
local text="$1" level="${2:-warning}"
|
|
log "УВЕДОМЛЕНИЕ: $text"
|
|
# Первое сообщение
|
|
python3 "$NOTIFY" "$text" 2>/dev/null || true
|
|
# Записываю в «требующие подтверждения»
|
|
echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt
|
|
log " записано в требующие подтверждения"
|
|
}
|
|
|
|
log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ =========="
|
|
|
|
# ── 1. Ищу свежую копию ──
|
|
LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
|
|
if [ -z "$LATEST" ]; then
|
|
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical
|
|
exit 1
|
|
fi
|
|
|
|
AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
|
|
SIZE=$(du -h "$LATEST" | cut -f1)
|
|
log "копия: $(basename "$LATEST")"
|
|
log " размер: $SIZE, возраст: ${AGE_H} ч"
|
|
|
|
if [ "$AGE_H" -gt 26 ]; then
|
|
alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical
|
|
fi
|
|
|
|
# ── 2. Целостность архива ──
|
|
if ! gzip -t "$LATEST" 2>/dev/null; then
|
|
alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical
|
|
exit 1
|
|
fi
|
|
log "✅ архив целый"
|
|
|
|
# ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ──
|
|
DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u)
|
|
DB_COUNT=$(echo "$DBS" | wc -l)
|
|
log "баз в копии: $DB_COUNT"
|
|
|
|
if [ "$DB_COUNT" -lt 30 ]; then
|
|
alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical
|
|
fi
|
|
|
|
# ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ──
|
|
# Пароли, код, переписка — самое ценное.
|
|
PASS=0; FAIL=0; DETAILS=""
|
|
for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \
|
|
"gitea_db:gitea:repository:код" \
|
|
"matrix_db:matrix:users:переписка"; do
|
|
DB=$(echo "$PAIR" | cut -d: -f1)
|
|
TABLES=$(echo "$PAIR" | cut -d: -f3)
|
|
LABEL=$(echo "$PAIR" | cut -d: -f4)
|
|
T="verify_${DB}_$$"
|
|
|
|
log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---"
|
|
|
|
# Создаю проверочную базу
|
|
if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then
|
|
log " ❌ не удалось создать проверочную базу"
|
|
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed,"
|
|
continue
|
|
fi
|
|
|
|
# Восстанавливаю по правильному образцу
|
|
gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" '
|
|
/^\\connect / { f = ($2 == d) }
|
|
f { print }
|
|
' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1
|
|
RC=$?
|
|
|
|
# Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema)
|
|
N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \
|
|
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
|
|
O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \
|
|
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
|
|
|
|
# Сверяю данные — с правами владельца
|
|
O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r')
|
|
N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r')
|
|
|
|
# Убираю проверочную базу
|
|
pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1
|
|
|
|
log " таблиц: рабочая=$O_T, из копии=$N_T"
|
|
log " записей в $TABLES: рабочая=$O_R, из копии=$N_R"
|
|
|
|
if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then
|
|
log " ✅ PASSED: $DB восстановлена полностью"
|
|
PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed,"
|
|
else
|
|
log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T"
|
|
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed,"
|
|
fi
|
|
done
|
|
|
|
# ── 5. Итог и уведомление ──
|
|
TOTAL=$((PASS+FAIL))
|
|
log "========== ИТОГ: пройдено $PASS, провалено $FAIL =========="
|
|
|
|
cat > "$RESULT" <<EOF
|
|
{"time":"$(date -Iseconds)","backup":"$(basename "$LATEST")","age_hours":$AGE_H,"databases":$DB_COUNT,"passed":$PASS,"failed":$FAIL,"details":"$DETAILS"}
|
|
EOF
|
|
|
|
if [ "$FAIL" -eq 0 ]; then
|
|
MSG="✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
|
|
Копия: $(basename "$LATEST") ($SIZE, ${AGE_H} ч)
|
|
Баз в копии: $DB_COUNT
|
|
Восстановление проверено: пароли, код, переписка — все $PASS ✅
|
|
Рабочие данные не тронуты."
|
|
# Успех — одно сообщение, без повторов
|
|
python3 "$NOTIFY" "$MSG" 2>/dev/null || true
|
|
log "отчёт отправлен"
|
|
else
|
|
MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
|
|
Копия: $(basename "$LATEST")
|
|
Не восстановилось: $FAIL из $TOTAL
|
|
Подробности: $DETAILS
|
|
ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log"
|
|
# ПРОВАЛ — с повтором (это ключевое исправление)
|
|
alert "$MSG" critical
|
|
fi
|
|
|
|
# ── 6. Проверяю старые неподтверждённые тревоги ──
|
|
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
|
|
if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then
|
|
N=$(wc -l < "$PENDING")
|
|
log "неподтверждённых тревог: $N"
|
|
# Напоминаю о каждой старше 1 дня
|
|
while IFS='|' read -r ts level text; do
|
|
[ -z "$ts" ] && continue
|
|
days=$(( ( $(date +%s) - ts ) / 86400 ))
|
|
if [ "$days" -ge 1 ]; then
|
|
log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text"
|
|
python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.)
|
|
$text
|
|
|
|
Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true
|
|
fi
|
|
done < "$PENDING"
|
|
fi
|
|
|
|
log "========== ПРОВЕРКА ЗАВЕРШЕНА =========="
|
|
exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)
|