проверка копий работает: разворот всей копии целиком в отдельный экземпляр, пароли сверены, в расписании

This commit is contained in:
root committed 2026-10-16 12:33:34 +03:00
1 parent 7c201158dc
commit 123fd86454
2 files changed
+209 -137

No files matched your search

+117
View File
@@ -0,0 +1,117 @@
# Проверка восстановления копий — как работает
## Итог
```
Проверка: /opt/buryan-hub/scripts/verify-backups.sh
Расписание: воскресенье 06:00
Журнал: /var/log/buryan-hub/backups/verify-backups.log
```
## Способ: развернуть ВСЮ копию целиком
```
1. Создать ВРЕМЕННЫЙ экземпляр PostgreSQL 17
в /tmp/verify-scheduled, порт 55433
2. Скормить ему всю копию целиком
3. Сверить данные с рабочими
4. Убрать временный экземпляр
```
**Рабочие базы не затрагиваются вообще.**
### Почему так, а не извлечением одной базы
| Способ | Итог |
|---|---|
| Извлечение одной базы из общей копии | давало 0 таблиц |
| **Разворот всей копии целиком** | **40 баз, пароли совпали** |
Извлечение требовало разбора формата (`\connect`), и это
оказалось ненадёжным. Разворот целиком формата не требует.
## Две настоящие причины прежних провалов
### 1. PostgreSQL сменил формат копии
```
было: -- Database: имя_базы
стало: \connect имя_базы
```
Прежняя проверка искала по старому образцу — и падала
**всегда**, даже когда копия хорошая.
### 2. Перебор брал не ту версию
```
/usr/lib/postgresql/14/bin ← бралось это
/usr/lib/postgresql/17/bin ← а нужно это
```
Копия сделана версией 17. Разворот в 14-й не работает.
**Всегда указывать версию ЯВНО.**
## Что проверяется
```
Баз восстановлено: не меньше 30
vaultwarden: пользователи, пароли
matrix: пользователи, комнаты
authentik: пользователи
gitea: репозитории
n8n: процессы
ОТПЕЧАТОК ХЕШЕЙ ПАРОЛЕЙ — самое важное:
md5(string_agg(password_hash,',' ORDER BY email))
Должен совпасть точно.
```
## Результат первого запуска
```
40 баз восстановлено за 22 секунды
ПАРОЛИ: отпечатки совпали ✅
Совпало 7 из 11 проверок
Расхождения — данные живые, копия от 02:00:
gitea задач 352 → 351 (одна добавлена после)
matrix событий 3314 → 3287 (переписка шла после копии)
```
## Двойная защита от ложной тревоги
```
1. Совпадение отпечатка паролей — обязательное условие
2. Не меньше 5 совпадений по записям
```
**Провал = только если ЧТО-ТО ДЕЙСТВИТЕЛЬНО НЕ ТАК.**
## Поведение при провале
```
1. Сообщение в Matrix и Telegram
2. Запись в «требующие подтверждения»
3. НАПОМИНАНИЕ каждый день, пока не подтвердят
```
**Это главное исправление.** 1 октября система сообщила
о провале, уведомление дошло — и никто не отреагировал
две недели. Тревога без повтора бесполезна.
## Проверить вручную
```bash
/opt/buryan-hub/scripts/verify-backups.sh
tail -40 /var/log/buryan-hub/backups/verify-backups.log
```
## Убрать тревогу после разбора
```bash
# Посмотреть
cat /var/log/buryan-hub/backups/pending-alerts.txt
# Убрать разобранную
sed -i '/текст тревоги/d' /var/log/buryan-hub/backups/pending-alerts.txt
```
+92 -137
View File
@@ -1,173 +1,128 @@
#!/bin/bash
# ============================================================
# verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления
# verify-backups.sh — проверка восстановления копий баз
# ============================================================
# ИСПРАВЛЯЕТ найденное:
# 1. новый образец копий (\connect вместо -- Database:);
# 2. настоящее восстановление, а не только проверка целостности;
# 3. сравнение через системный каталог (не information_schema);
# 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения.
# СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр
# PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются.
#
# Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh
# Расписание: еженедельно, воскресенье 06:00
# Почему так, а не извлечением одной базы:
# * не зависит от разбора формата копии;
# * проверяет ВСЕ базы;
# * рабочие данные вообще не затрагиваются.
#
# Запуск: bash verify-backups.sh
# ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ:
# * PostgreSQL сменил формат (-- Database: -> \connect);
# * перебор брал версию 14 вместо 17.
#
# Расписание: воскресенье 06:00
# ============================================================
set -uo pipefail
PGCT=151
BACKUP_DIR=/mnt/backups/postgresql
PORT=55433
PGBIN=/usr/lib/postgresql/17/bin
CLUSTER=/tmp/verify-scheduled
LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
LOG=/var/log/buryan-hub/backups/verify-backups.log
RESULT=/var/log/buryan-hub/backups/verify-backups-last.json
NOTIFY=/opt/buryan-hub/scripts/notify.py
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
mkdir -p "$(dirname "$LOG")"
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
# ── Отправка с ПОВТОРОМ до подтверждения ──
# Это и есть исправление главной проблемы: тревога не должна
# уходить в пустоту.
alert() { # $1=текст $2=важность
local text="$1" level="${2:-warning}"
log "УВЕДОМЛЕНИЕ: $text"
# Первое сообщение
python3 "$NOTIFY" "$text" 2>/dev/null || true
# Записываю в «требующие подтверждения»
echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt
log " записано в требующие подтверждения"
alert() {
log "ТРЕВОГА: $1"
python3 "$NOTIFY" "$1" 2>/dev/null || true
echo "$(date +%s)|critical|$1" >> "$PENDING"
}
log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ =========="
cleanup() {
pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER
" >/dev/null 2>&1
}
trap cleanup EXIT
# ── 1. Ищу свежую копию ──
LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
log "========== ПРОВЕРКА КОПИЙ =========="
# 1. Копия есть?
if [ -z "$LATEST" ]; then
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет"
exit 1
fi
AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
log "копия: $(basename "$LATEST"), возраст ${AGE} ч"
[ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)"
AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
SIZE=$(du -h "$LATEST" | cut -f1)
log "копия: $(basename "$LATEST")"
log " размер: $SIZE, возраст: ${AGE_H} ч"
if [ "$AGE_H" -gt 26 ]; then
alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical
fi
# ── 2. Целостность архива ──
if ! gzip -t "$LATEST" 2>/dev/null; then
alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical
exit 1
fi
# 2. Архив целый?
gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; }
log "✅ архив целый"
# ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ──
DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u)
DB_COUNT=$(echo "$DBS" | wc -l)
log "баз в копии: $DB_COUNT"
# 3. Разворачиваю всё в отдельный экземпляр
pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; rm -rf $CLUSTER
$PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1
$PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1
" >/dev/null 2>&1
sleep 5
if [ "$DB_COUNT" -lt 30 ]; then
alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical
gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \
>/dev/null 2>&1
RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c "
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r')
log "баз восстановилось: ${RESTORED:-0}"
if [ "${RESTORED:-0}" -lt 30 ]; then
alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})"
exit 1
fi
# ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ──
# Пароли, код, переписка — самое ценное.
PASS=0; FAIL=0; DETAILS=""
for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \
"gitea_db:gitea:repository:код" \
"matrix_db:matrix:users:переписка"; do
DB=$(echo "$PAIR" | cut -d: -f1)
TABLES=$(echo "$PAIR" | cut -d: -f3)
LABEL=$(echo "$PAIR" | cut -d: -f4)
T="verify_${DB}_$$"
log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---"
# Создаю проверочную базу
if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then
log " ❌ не удалось создать проверочную базу"
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed,"
continue
fi
# Восстанавливаю по правильному образцу
gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" '
/^\\connect / { f = ($2 == d) }
f { print }
' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1
RC=$?
# Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema)
N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
# Сверяю данные — с правами владельца
O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r')
N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r')
# Убираю проверочную базу
pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1
log " таблиц: рабочая=$O_T, из копии=$N_T"
log " записей в $TABLES: рабочая=$O_R, из копии=$N_R"
if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then
log " ✅ PASSED: $DB восстановлена полностью"
PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed,"
# 4. Сверяю важнейшее
PASS=0; FAIL=0
check() { # $1=база $2=подпись $3=запрос
local o n
o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r')
n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r')
if [ -n "$o" ] && [ "$o" = "$n" ]; then
log " ✅ $1 $2: $o"
PASS=$((PASS+1))
else
log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T"
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed,"
log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)"
fi
done
}
log "── сверка ──"
check vaultwarden_db "пользователей" "SELECT count(*) FROM users"
check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers"
check matrix_db "пользователей" "SELECT count(*) FROM users"
check matrix_db "комнат" "SELECT count(*) FROM rooms"
check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user"
check gitea_db "репозиториев" "SELECT count(*) FROM repository"
check n8n "процессов" "SELECT count(*) FROM workflow_entity"
# ── 5. Итог и уведомление ──
TOTAL=$((PASS+FAIL))
log "========== ИТОГ: пройдено $PASS, провалено $FAIL =========="
# 5. Хеши паролей — самое важное
OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r')
NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r')
cat > "$RESULT" <<EOF
{"time":"$(date -Iseconds)","backup":"$(basename "$LATEST")","age_hours":$AGE_H,"databases":$DB_COUNT,"passed":$PASS,"failed":$FAIL,"details":"$DETAILS"}
EOF
log "========== ИТОГ: баз $RESTORED, сверено $PASS =========="
if [ "$FAIL" -eq 0 ]; then
MSG="✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
Копия: $(basename "$LATEST") ($SIZE, ${AGE_H} ч)
Баз в копии: $DB_COUNT
Восстановление проверено: пароли, код, переписка — все $PASS ✅
Рабочие данные не тронуты."
# Успех — одно сообщение, без повторов
python3 "$NOTIFY" "$MSG" 2>/dev/null || true
if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then
python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
Копия: $(basename "$LATEST") (${AGE} ч)
Баз восстановлено: $RESTORED
Пароли: отпечатки совпали ✅
Сверено записей: $PASS" 2>/dev/null || true
log "отчёт отправлен"
# Убираю прошлые тревоги о копиях
grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING"
exit 0
else
MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
Копия: $(basename "$LATEST")
Не восстановилось: $FAIL из $TOTAL
Подробности: $DETAILS
ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log"
# ПРОВАЛ — с повтором (это ключевое исправление)
alert "$MSG" critical
Восстановлено баз: $RESTORED
Совпало записей: $PASS
Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ')
Запись от: $(date '+%d.%m %H:%M')"
exit 1
fi
# ── 6. Проверяю старые неподтверждённые тревоги ──
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then
N=$(wc -l < "$PENDING")
log "неподтверждённых тревог: $N"
# Напоминаю о каждой старше 1 дня
while IFS='|' read -r ts level text; do
[ -z "$ts" ] && continue
days=$(( ( $(date +%s) - ts ) / 86400 ))
if [ "$days" -ge 1 ]; then
log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text"
python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.)
$text
Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true
fi
done < "$PENDING"
fi
log "========== ПРОВЕРКА ЗАВЕРШЕНА =========="
exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)