Files
buryan-infra/ops/scripts/VERIFY-BACKUPS-HOWTO.md

4.1 KiB
Raw Permalink Blame History

Проверка восстановления копий — как работает

Итог

Проверка:   /opt/buryan-hub/scripts/verify-backups.sh
Расписание: воскресенье 06:00
Журнал:     /var/log/buryan-hub/backups/verify-backups.log

Способ: развернуть ВСЮ копию целиком

1. Создать ВРЕМЕННЫЙ экземпляр PostgreSQL 17
   в /tmp/verify-scheduled, порт 55433
2. Скормить ему всю копию целиком
3. Сверить данные с рабочими
4. Убрать временный экземпляр

Рабочие базы не затрагиваются вообще.

Почему так, а не извлечением одной базы

Способ Итог
Извлечение одной базы из общей копии давало 0 таблиц
Разворот всей копии целиком 40 баз, пароли совпали

Извлечение требовало разбора формата (\connect), и это оказалось ненадёжным. Разворот целиком формата не требует.

Две настоящие причины прежних провалов

1. PostgreSQL сменил формат копии

было:   -- Database: имя_базы
стало:  \connect имя_базы

Прежняя проверка искала по старому образцу — и падала всегда, даже когда копия хорошая.

2. Перебор брал не ту версию

/usr/lib/postgresql/14/bin   ← бралось это
/usr/lib/postgresql/17/bin   ← а нужно это

Копия сделана версией 17. Разворот в 14-й не работает. Всегда указывать версию ЯВНО.

Что проверяется

Баз восстановлено:        не меньше 30
vaultwarden: пользователи, пароли
matrix:      пользователи, комнаты
authentik:   пользователи
gitea:       репозитории
n8n:         процессы

ОТПЕЧАТОК ХЕШЕЙ ПАРОЛЕЙ — самое важное:
  md5(string_agg(password_hash,',' ORDER BY email))
  Должен совпасть точно.

Результат первого запуска

40 баз восстановлено за 22 секунды
ПАРОЛИ: отпечатки совпали ✅
Совпало 7 из 11 проверок

Расхождения — данные живые, копия от 02:00:
  gitea задач      352 → 351   (одна добавлена после)
  matrix событий  3314 → 3287  (переписка шла после копии)

Двойная защита от ложной тревоги

1. Совпадение отпечатка паролей — обязательное условие
2. Не меньше 5 совпадений по записям

Провал = только если ЧТО-ТО ДЕЙСТВИТЕЛЬНО НЕ ТАК.

Поведение при провале

1. Сообщение в Matrix и Telegram
2. Запись в «требующие подтверждения»
3. НАПОМИНАНИЕ каждый день, пока не подтвердят

Это главное исправление. 1 октября система сообщила о провале, уведомление дошло — и никто не отреагировал две недели. Тревога без повтора бесполезна.

Проверить вручную

/opt/buryan-hub/scripts/verify-backups.sh
tail -40 /var/log/buryan-hub/backups/verify-backups.log

Убрать тревогу после разбора

# Посмотреть
cat /var/log/buryan-hub/backups/pending-alerts.txt
# Убрать разобранную
sed -i '/текст тревоги/d' /var/log/buryan-hub/backups/pending-alerts.txt