Files
buryan-infra/ops/incidents/2026-11-10-RESTORE-DRILL.md
T

3.0 KiB
Raw Blame History

Проверка восстановления бэкапов (10.11.2026)

Что проверяли и зачем

Бэкапы сегодня стали полными (все 30 баз Postgres + CT151 в LXC). Но ни один не был проверен на восстановление. Непроверенный бэкап — это надежда, а не гарантия.

Ручная проверка (до правки скрипта)

Восстановил дампы в тестовые базы на 192.168.1.151:

База Таблиц Данных
vaultwarden_db 29 9 пользователей, 204 записи, 17 папок
authentik_db 230 12 пользователей, 68 провайдеров, 64 приложения

Восстановление с кодом 0, данные читаются.

Что было не так со старым drill

/usr/local/bin/hub-restore-drill.sh (ежемесячно, 1-е число 05:30):

  • восстанавливал только Immich и Paperless — то есть не проверял самое ценное: пароли и вход;
  • брал дампы из устаревшего пути /mnt/backups/postgresql/;
  • о провале не сообщал — только писал в лог.

Лог старого прогона 6 ноября показывает, что он молча не работал:

Immich: восстановлено таблиц: ОШИБКА
Paperless: документов в восстановленной БД: 1

Новый drill

Восстанавливает критичное и сверяет количество с живой базой:

vaultwarden_db: 204 = 204  ✓
authentik_db:    68 =  68  ✓
matrix_db:       35 =  35  ✓
gitea_db:         5 =   5  ✓
провалов: 0

Свойства:

  • берёт дампы из актуального /mnt/archive/backups/db;
  • сверяет восстановленное с живой базой (расхождение — отдельная строка в логе);
  • при провале шлёт critical в шину через /notify (source restore-drill);
  • код выхода равен числу провалов — systemd зафиксирует сбой;
  • после проверки удаляет тестовые базы.

Расписание: 1-е число каждого месяца, 05:30.

Проверка

systemctl start hub-restore-drill.service
tail -6 /var/log/hub-restore-drill.log

Ловушка

Restore-учения проверяют дампы, а не LXC-бэкапы. Это разные механизмы: если сломается только LXC-снимок, drill этого не покажет. Для полноты нужен второй сценарий — восстановление контейнера из vzdump на тестовый CT.