Files
buryan-infra/ops/incidents/2026-11-10-RESTORE-DRILL.md
T

70 lines
3.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Проверка восстановления бэкапов (10.11.2026)
## Что проверяли и зачем
Бэкапы сегодня стали полными (все 30 баз Postgres + CT151 в LXC). Но
**ни один не был проверен на восстановление**. Непроверенный бэкап —
это надежда, а не гарантия.
## Ручная проверка (до правки скрипта)
Восстановил дампы в тестовые базы на 192.168.1.151:
| База | Таблиц | Данных |
|---|---|---|
| `vaultwarden_db` | 29 | 9 пользователей, **204 записи**, 17 папок |
| `authentik_db` | 230 | 12 пользователей, 68 провайдеров, 64 приложения |
Восстановление с кодом 0, данные читаются.
## Что было не так со старым drill
`/usr/local/bin/hub-restore-drill.sh` (ежемесячно, 1-е число 05:30):
* восстанавливал только **Immich и Paperless** — то есть не проверял самое
ценное: пароли и вход;
* брал дампы из **устаревшего пути** `/mnt/backups/postgresql/`;
* о провале **не сообщал** — только писал в лог.
Лог старого прогона 6 ноября показывает, что он молча не работал:
```
Immich: восстановлено таблиц: ОШИБКА
Paperless: документов в восстановленной БД: 1
```
## Новый drill
Восстанавливает критичное и сверяет количество с живой базой:
```
vaultwarden_db: 204 = 204 ✓
authentik_db: 68 = 68 ✓
matrix_db: 35 = 35 ✓
gitea_db: 5 = 5 ✓
провалов: 0
```
Свойства:
* берёт дампы из актуального `/mnt/archive/backups/db`;
* сверяет восстановленное с живой базой (расхождение — отдельная строка в логе);
* при провале шлёт **critical** в шину через `/notify` (source `restore-drill`);
* код выхода равен числу провалов — systemd зафиксирует сбой;
* после проверки удаляет тестовые базы.
Расписание: **1-е число каждого месяца, 05:30**.
## Проверка
```
systemctl start hub-restore-drill.service
tail -6 /var/log/hub-restore-drill.log
```
## Ловушка
Restore-учения проверяют **дампы**, а не LXC-бэкапы. Это разные механизмы:
если сломается только LXC-снимок, drill этого не покажет. Для полноты нужен
второй сценарий — восстановление контейнера из `vzdump` на тестовый CT.