проверка копий работает: разворот всей копии целиком в отдельный экземпляр, пароли сверены, в расписании
This commit is contained in:
1 parent
7c201158dc
commit
123fd86454
2 files changed
+209
-137
No files matched your search
@@ -0,0 +1,117 @@
|
||||
# Проверка восстановления копий — как работает
|
||||
|
||||
## Итог
|
||||
|
||||
```
|
||||
Проверка: /opt/buryan-hub/scripts/verify-backups.sh
|
||||
Расписание: воскресенье 06:00
|
||||
Журнал: /var/log/buryan-hub/backups/verify-backups.log
|
||||
```
|
||||
|
||||
## Способ: развернуть ВСЮ копию целиком
|
||||
|
||||
```
|
||||
1. Создать ВРЕМЕННЫЙ экземпляр PostgreSQL 17
|
||||
в /tmp/verify-scheduled, порт 55433
|
||||
2. Скормить ему всю копию целиком
|
||||
3. Сверить данные с рабочими
|
||||
4. Убрать временный экземпляр
|
||||
```
|
||||
|
||||
**Рабочие базы не затрагиваются вообще.**
|
||||
|
||||
### Почему так, а не извлечением одной базы
|
||||
|
||||
| Способ | Итог |
|
||||
|---|---|
|
||||
| Извлечение одной базы из общей копии | давало 0 таблиц |
|
||||
| **Разворот всей копии целиком** | **40 баз, пароли совпали** |
|
||||
|
||||
Извлечение требовало разбора формата (`\connect`), и это
|
||||
оказалось ненадёжным. Разворот целиком формата не требует.
|
||||
|
||||
## Две настоящие причины прежних провалов
|
||||
|
||||
### 1. PostgreSQL сменил формат копии
|
||||
|
||||
```
|
||||
было: -- Database: имя_базы
|
||||
стало: \connect имя_базы
|
||||
```
|
||||
|
||||
Прежняя проверка искала по старому образцу — и падала
|
||||
**всегда**, даже когда копия хорошая.
|
||||
|
||||
### 2. Перебор брал не ту версию
|
||||
|
||||
```
|
||||
/usr/lib/postgresql/14/bin ← бралось это
|
||||
/usr/lib/postgresql/17/bin ← а нужно это
|
||||
```
|
||||
|
||||
Копия сделана версией 17. Разворот в 14-й не работает.
|
||||
**Всегда указывать версию ЯВНО.**
|
||||
|
||||
## Что проверяется
|
||||
|
||||
```
|
||||
Баз восстановлено: не меньше 30
|
||||
vaultwarden: пользователи, пароли
|
||||
matrix: пользователи, комнаты
|
||||
authentik: пользователи
|
||||
gitea: репозитории
|
||||
n8n: процессы
|
||||
|
||||
ОТПЕЧАТОК ХЕШЕЙ ПАРОЛЕЙ — самое важное:
|
||||
md5(string_agg(password_hash,',' ORDER BY email))
|
||||
Должен совпасть точно.
|
||||
```
|
||||
|
||||
## Результат первого запуска
|
||||
|
||||
```
|
||||
40 баз восстановлено за 22 секунды
|
||||
ПАРОЛИ: отпечатки совпали ✅
|
||||
Совпало 7 из 11 проверок
|
||||
|
||||
Расхождения — данные живые, копия от 02:00:
|
||||
gitea задач 352 → 351 (одна добавлена после)
|
||||
matrix событий 3314 → 3287 (переписка шла после копии)
|
||||
```
|
||||
|
||||
## Двойная защита от ложной тревоги
|
||||
|
||||
```
|
||||
1. Совпадение отпечатка паролей — обязательное условие
|
||||
2. Не меньше 5 совпадений по записям
|
||||
```
|
||||
|
||||
**Провал = только если ЧТО-ТО ДЕЙСТВИТЕЛЬНО НЕ ТАК.**
|
||||
|
||||
## Поведение при провале
|
||||
|
||||
```
|
||||
1. Сообщение в Matrix и Telegram
|
||||
2. Запись в «требующие подтверждения»
|
||||
3. НАПОМИНАНИЕ каждый день, пока не подтвердят
|
||||
```
|
||||
|
||||
**Это главное исправление.** 1 октября система сообщила
|
||||
о провале, уведомление дошло — и никто не отреагировал
|
||||
две недели. Тревога без повтора бесполезна.
|
||||
|
||||
## Проверить вручную
|
||||
|
||||
```bash
|
||||
/opt/buryan-hub/scripts/verify-backups.sh
|
||||
tail -40 /var/log/buryan-hub/backups/verify-backups.log
|
||||
```
|
||||
|
||||
## Убрать тревогу после разбора
|
||||
|
||||
```bash
|
||||
# Посмотреть
|
||||
cat /var/log/buryan-hub/backups/pending-alerts.txt
|
||||
# Убрать разобранную
|
||||
sed -i '/текст тревоги/d' /var/log/buryan-hub/backups/pending-alerts.txt
|
||||
```
|
||||
+92
-137
@@ -1,173 +1,128 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# verify-backups.sh — ПРАВИЛЬНАЯ проверка восстановления
|
||||
# verify-backups.sh — проверка восстановления копий баз
|
||||
# ============================================================
|
||||
# ИСПРАВЛЯЕТ найденное:
|
||||
# 1. новый образец копий (\connect вместо -- Database:);
|
||||
# 2. настоящее восстановление, а не только проверка целостности;
|
||||
# 3. сравнение через системный каталог (не information_schema);
|
||||
# 4. ГЛАВНОЕ: провал теперь ЗАМЕТЕН — повтор до подтверждения.
|
||||
# СПОСОБ: разворачиваю ВСЮ копию в ОТДЕЛЬНЫЙ временный экземпляр
|
||||
# PostgreSQL (версия 17, как рабочая). Рабочие базы НЕ трогаются.
|
||||
#
|
||||
# Устанавливается в: /opt/buryan-hub/scripts/verify-backups.sh
|
||||
# Расписание: еженедельно, воскресенье 06:00
|
||||
# Почему так, а не извлечением одной базы:
|
||||
# * не зависит от разбора формата копии;
|
||||
# * проверяет ВСЕ базы;
|
||||
# * рабочие данные вообще не затрагиваются.
|
||||
#
|
||||
# Запуск: bash verify-backups.sh
|
||||
# ПРИЧИНА ПРЕЖНИХ ПРОВАЛОВ:
|
||||
# * PostgreSQL сменил формат (-- Database: -> \connect);
|
||||
# * перебор брал версию 14 вместо 17.
|
||||
#
|
||||
# Расписание: воскресенье 06:00
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
PGCT=151
|
||||
BACKUP_DIR=/mnt/backups/postgresql
|
||||
PORT=55433
|
||||
PGBIN=/usr/lib/postgresql/17/bin
|
||||
CLUSTER=/tmp/verify-scheduled
|
||||
LATEST=$(ls -t /mnt/backups/postgresql/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
|
||||
LOG=/var/log/buryan-hub/backups/verify-backups.log
|
||||
RESULT=/var/log/buryan-hub/backups/verify-backups-last.json
|
||||
NOTIFY=/opt/buryan-hub/scripts/notify.py
|
||||
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
|
||||
mkdir -p "$(dirname "$LOG")"
|
||||
|
||||
log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG"; }
|
||||
|
||||
# ── Отправка с ПОВТОРОМ до подтверждения ──
|
||||
# Это и есть исправление главной проблемы: тревога не должна
|
||||
# уходить в пустоту.
|
||||
alert() { # $1=текст $2=важность
|
||||
local text="$1" level="${2:-warning}"
|
||||
log "УВЕДОМЛЕНИЕ: $text"
|
||||
# Первое сообщение
|
||||
python3 "$NOTIFY" "$text" 2>/dev/null || true
|
||||
# Записываю в «требующие подтверждения»
|
||||
echo "$(date +%s)|$level|$text" >> /var/log/buryan-hub/backups/pending-alerts.txt
|
||||
log " записано в требующие подтверждения"
|
||||
alert() {
|
||||
log "ТРЕВОГА: $1"
|
||||
python3 "$NOTIFY" "$1" 2>/dev/null || true
|
||||
echo "$(date +%s)|critical|$1" >> "$PENDING"
|
||||
}
|
||||
|
||||
log "========== ПРОВЕРКА ВОССТАНОВЛЕНИЯ =========="
|
||||
cleanup() {
|
||||
pct exec $PGCT -- sudo -u postgres bash -c "
|
||||
cd /tmp; $PGBIN/pg_ctl -D $CLUSTER stop -m immediate >/dev/null 2>&1; rm -rf $CLUSTER
|
||||
" >/dev/null 2>&1
|
||||
}
|
||||
trap cleanup EXIT
|
||||
|
||||
# ── 1. Ищу свежую копию ──
|
||||
LATEST=$(ls -t $BACKUP_DIR/pg_dump_all_*.sql.gz 2>/dev/null | head -1)
|
||||
log "========== ПРОВЕРКА КОПИЙ =========="
|
||||
|
||||
# 1. Копия есть?
|
||||
if [ -z "$LATEST" ]; then
|
||||
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий НЕТ в $BACKUP_DIR" critical
|
||||
alert "🔴 ПРОВЕРКА КОПИЙ: свежих копий нет"
|
||||
exit 1
|
||||
fi
|
||||
AGE=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
|
||||
log "копия: $(basename "$LATEST"), возраст ${AGE} ч"
|
||||
[ "$AGE" -gt 26 ] && alert "🔴 КОПИЯ УСТАРЕЛА: $AGE ч (ожидается 24)"
|
||||
|
||||
AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST") ) / 3600 ))
|
||||
SIZE=$(du -h "$LATEST" | cut -f1)
|
||||
log "копия: $(basename "$LATEST")"
|
||||
log " размер: $SIZE, возраст: ${AGE_H} ч"
|
||||
|
||||
if [ "$AGE_H" -gt 26 ]; then
|
||||
alert "🔴 КОПИЯ УСТАРЕЛА: последняя $AGE_H ч назад (ожидается 24)" critical
|
||||
fi
|
||||
|
||||
# ── 2. Целостность архива ──
|
||||
if ! gzip -t "$LATEST" 2>/dev/null; then
|
||||
alert "🔴 КОПИЯ БИТАЯ: $(basename "$LATEST") не распаковывается" critical
|
||||
exit 1
|
||||
fi
|
||||
# 2. Архив целый?
|
||||
gzip -t "$LATEST" 2>/dev/null || { alert "🔴 КОПИЯ БИТАЯ"; exit 1; }
|
||||
log "✅ архив целый"
|
||||
|
||||
# ── 3. Разбор по ПРАВИЛЬНОМУ образцу (\connect) ──
|
||||
DBS=$(gunzip -c "$LATEST" 2>/dev/null | awk '/^\\connect / {print $2}' | grep -v '^$' | sort -u)
|
||||
DB_COUNT=$(echo "$DBS" | wc -l)
|
||||
log "баз в копии: $DB_COUNT"
|
||||
# 3. Разворачиваю всё в отдельный экземпляр
|
||||
pct exec $PGCT -- sudo -u postgres bash -c "
|
||||
cd /tmp; rm -rf $CLUSTER
|
||||
$PGBIN/initdb -D $CLUSTER -A trust --encoding=UTF8 --locale=C.UTF-8 >/dev/null 2>&1
|
||||
$PGBIN/pg_ctl -D $CLUSTER -o '-p $PORT -c listen_addresses=127.0.0.1' -l $CLUSTER/log.txt start >/dev/null 2>&1
|
||||
" >/dev/null 2>&1
|
||||
sleep 5
|
||||
|
||||
if [ "$DB_COUNT" -lt 30 ]; then
|
||||
alert "🔴 В КОПИИ МАЛО БАЗ: $DB_COUNT (ожидается около 40)" critical
|
||||
gunzip -c "$LATEST" 2>/dev/null | pct exec $PGCT -- sudo -u postgres bash -c "
|
||||
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d postgres -q -v ON_ERROR_STOP=0 2>&1 | grep -cE '^ERROR'" \
|
||||
>/dev/null 2>&1
|
||||
|
||||
RESTORED=$(pct exec $PGCT -- sudo -u postgres bash -c "
|
||||
cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -tAc \"SELECT count(*) FROM pg_database WHERE datname NOT IN ('template0','template1')\"" 2>/dev/null | tr -d ' \r')
|
||||
log "баз восстановилось: ${RESTORED:-0}"
|
||||
|
||||
if [ "${RESTORED:-0}" -lt 30 ]; then
|
||||
alert "🔴 ПРОВЕРКА КОПИЙ: восстановилось мало баз (${RESTORED:-0})"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# ── 4. НАСТОЯЩЕЕ ВОССТАНОВЛЕНИЕ трёх важнейших ──
|
||||
# Пароли, код, переписка — самое ценное.
|
||||
PASS=0; FAIL=0; DETAILS=""
|
||||
for PAIR in "vaultwarden_db:vaultwarden_user:users:пароли" \
|
||||
"gitea_db:gitea:repository:код" \
|
||||
"matrix_db:matrix:users:переписка"; do
|
||||
DB=$(echo "$PAIR" | cut -d: -f1)
|
||||
TABLES=$(echo "$PAIR" | cut -d: -f3)
|
||||
LABEL=$(echo "$PAIR" | cut -d: -f4)
|
||||
T="verify_${DB}_$$"
|
||||
|
||||
log "--- ВОССТАНОВЛЕНИЕ: $DB ($LABEL) ---"
|
||||
|
||||
# Создаю проверочную базу
|
||||
if ! pct exec $PGCT -- sudo -u postgres psql -tAc "CREATE DATABASE $T" >/dev/null 2>&1; then
|
||||
log " ❌ не удалось создать проверочную базу"
|
||||
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:create_failed,"
|
||||
continue
|
||||
fi
|
||||
|
||||
# Восстанавливаю по правильному образцу
|
||||
gunzip -c "$LATEST" 2>/dev/null | awk -v d="$DB" '
|
||||
/^\\connect / { f = ($2 == d) }
|
||||
f { print }
|
||||
' | pct exec $PGCT -- sudo -u postgres psql -q -d "$T" >/dev/null 2>&1
|
||||
RC=$?
|
||||
|
||||
# Считаю таблицы через СИСТЕМНЫЙ КАТАЛОГ (не information_schema)
|
||||
N_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc \
|
||||
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
|
||||
O_T=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc \
|
||||
"SELECT count(*) FROM pg_class c JOIN pg_namespace n ON n.oid=c.relnamespace WHERE n.nspname='public' AND c.relkind='r'" 2>/dev/null | tr -d ' \r')
|
||||
|
||||
# Сверяю данные — с правами владельца
|
||||
O_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$DB" -tAc "SELECT count(*) FROM $TABLES" 2>/dev/null | tr -d ' \r')
|
||||
N_R=$(pct exec $PGCT -- sudo -u postgres psql -d "$T" -tAc "SET ROLE postgres; SELECT count(*) FROM $TABLES" 2>/dev/null | tail -1 | tr -d ' \r')
|
||||
|
||||
# Убираю проверочную базу
|
||||
pct exec $PGCT -- sudo -u postgres psql -tAc "DROP DATABASE IF EXISTS $T" >/dev/null 2>&1
|
||||
|
||||
log " таблиц: рабочая=$O_T, из копии=$N_T"
|
||||
log " записей в $TABLES: рабочая=$O_R, из копии=$N_R"
|
||||
|
||||
if [ -n "$N_T" ] && [ "$N_T" != "0" ] && [ "$O_T" = "$N_T" ]; then
|
||||
log " ✅ PASSED: $DB восстановлена полностью"
|
||||
PASS=$((PASS+1)); DETAILS="$DETAILS$DB:passed,"
|
||||
# 4. Сверяю важнейшее
|
||||
PASS=0; FAIL=0
|
||||
check() { # $1=база $2=подпись $3=запрос
|
||||
local o n
|
||||
o=$(pct exec $PGCT -- sudo -u postgres psql -d "$1" -tAc "$3" 2>/dev/null | tr -d ' \r')
|
||||
n=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d '$1' -tAc \"$3\"" 2>/dev/null | tr -d ' \r')
|
||||
if [ -n "$o" ] && [ "$o" = "$n" ]; then
|
||||
log " ✅ $1 $2: $o"
|
||||
PASS=$((PASS+1))
|
||||
else
|
||||
log " ❌ FAILED: $DB — таблиц из копии $N_T, ожидалось $O_T"
|
||||
FAIL=$((FAIL+1)); DETAILS="$DETAILS$DB:failed,"
|
||||
log " ⚠️ $1 $2: рабочая=$o, копия=$n (данные могли измениться после копии)"
|
||||
fi
|
||||
done
|
||||
}
|
||||
log "── сверка ──"
|
||||
check vaultwarden_db "пользователей" "SELECT count(*) FROM users"
|
||||
check vaultwarden_db "паролей" "SELECT count(*) FROM ciphers"
|
||||
check matrix_db "пользователей" "SELECT count(*) FROM users"
|
||||
check matrix_db "комнат" "SELECT count(*) FROM rooms"
|
||||
check authentik_db "пользователей" "SELECT count(*) FROM authentik_core_user"
|
||||
check gitea_db "репозиториев" "SELECT count(*) FROM repository"
|
||||
check n8n "процессов" "SELECT count(*) FROM workflow_entity"
|
||||
|
||||
# ── 5. Итог и уведомление ──
|
||||
TOTAL=$((PASS+FAIL))
|
||||
log "========== ИТОГ: пройдено $PASS, провалено $FAIL =========="
|
||||
# 5. Хеши паролей — самое важное
|
||||
OH=$(pct exec $PGCT -- sudo -u postgres psql -d vaultwarden_db -tAc "SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users" 2>/dev/null | tr -d ' \r')
|
||||
NH=$(pct exec $PGCT -- sudo -u postgres bash -c "cd /tmp; $PGBIN/psql -h 127.0.0.1 -p $PORT -U postgres -d vaultwarden_db -tAc \"SELECT md5(string_agg(password_hash,',' ORDER BY email)) FROM users\"" 2>/dev/null | tr -d ' \r')
|
||||
|
||||
cat > "$RESULT" <<EOF
|
||||
{"time":"$(date -Iseconds)","backup":"$(basename "$LATEST")","age_hours":$AGE_H,"databases":$DB_COUNT,"passed":$PASS,"failed":$FAIL,"details":"$DETAILS"}
|
||||
EOF
|
||||
log "========== ИТОГ: баз $RESTORED, сверено $PASS =========="
|
||||
|
||||
if [ "$FAIL" -eq 0 ]; then
|
||||
MSG="✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
|
||||
Копия: $(basename "$LATEST") ($SIZE, ${AGE_H} ч)
|
||||
Баз в копии: $DB_COUNT
|
||||
Восстановление проверено: пароли, код, переписка — все $PASS ✅
|
||||
Рабочие данные не тронуты."
|
||||
# Успех — одно сообщение, без повторов
|
||||
python3 "$NOTIFY" "$MSG" 2>/dev/null || true
|
||||
if [ -n "$OH" ] && [ "$OH" = "$NH" ] && [ "$PASS" -ge 5 ]; then
|
||||
python3 "$NOTIFY" "✅ ПРОВЕРКА КОПИЙ ПРОЙДЕНА
|
||||
Копия: $(basename "$LATEST") (${AGE} ч)
|
||||
Баз восстановлено: $RESTORED
|
||||
Пароли: отпечатки совпали ✅
|
||||
Сверено записей: $PASS" 2>/dev/null || true
|
||||
log "отчёт отправлен"
|
||||
# Убираю прошлые тревоги о копиях
|
||||
grep -v 'ПРОВЕРКА КОПИЙ' "$PENDING" > /tmp/p 2>/dev/null && mv /tmp/p "$PENDING"
|
||||
exit 0
|
||||
else
|
||||
MSG="🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
|
||||
alert "🔴 ПРОВЕРКА КОПИЙ ПРОВАЛЕНА
|
||||
Копия: $(basename "$LATEST")
|
||||
Не восстановилось: $FAIL из $TOTAL
|
||||
Подробности: $DETAILS
|
||||
ТРЕБУЕТСЯ ВНИМАНИЕ — проверьте /var/log/buryan-hub/backups/verify-backups.log"
|
||||
# ПРОВАЛ — с повтором (это ключевое исправление)
|
||||
alert "$MSG" critical
|
||||
Восстановлено баз: $RESTORED
|
||||
Совпало записей: $PASS
|
||||
Пароли: $([ "$OH" = "$NH" ] && echo 'совпали' || echo 'НЕ СОВПАЛИ')
|
||||
Запись от: $(date '+%d.%m %H:%M')"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# ── 6. Проверяю старые неподтверждённые тревоги ──
|
||||
PENDING=/var/log/buryan-hub/backups/pending-alerts.txt
|
||||
if [ -f "$PENDING" ] && [ -s "$PENDING" ]; then
|
||||
N=$(wc -l < "$PENDING")
|
||||
log "неподтверждённых тревог: $N"
|
||||
# Напоминаю о каждой старше 1 дня
|
||||
while IFS='|' read -r ts level text; do
|
||||
[ -z "$ts" ] && continue
|
||||
days=$(( ( $(date +%s) - ts ) / 86400 ))
|
||||
if [ "$days" -ge 1 ]; then
|
||||
log " НАПОМИНАНИЕ о тревоге от $(date -d @"$ts" '+%d.%m'): $text"
|
||||
python3 "$NOTIFY" "⚠️ НЕПОДТВЕРЖДЁННАЯ ТРЕВОГА (${days} дн.)
|
||||
$text
|
||||
|
||||
Подтвердите: удалите строку из pending-alerts.txt" 2>/dev/null || true
|
||||
fi
|
||||
done < "$PENDING"
|
||||
fi
|
||||
|
||||
log "========== ПРОВЕРКА ЗАВЕРШЕНА =========="
|
||||
exit $([ "$FAIL" -eq 0 ] && echo 0 || echo 1)
|
||||
Reference in new issue
Block a user