diff --git a/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md b/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md new file mode 100644 index 0000000..7c0d8fe --- /dev/null +++ b/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md @@ -0,0 +1,83 @@ +# Проверка бэкапов: все базы, а не 7 (ночной спринт, 15.11.2026) + +## Проблема + +`verify-backups.sh` (воскресенье 06:00) разворачивал копию, но сверял +только **7 точечных метрик** (vaultwarden users/ciphers, matrix users/rooms, +authentik users, gitea repos, n8n workflows). В отчёте так и было: +`ИТОГ: баз 48, сверено 7`. + +То есть 41 база восстанавливалась, но **никто не проверял**, что в ней +есть данные. + +## Что сделал + +### 1. Полная сверка каждой базы + +Теперь сверяется **каждая** восстановленная база: число таблиц в копии +против числа таблиц в живой базе. + +* совпало → ✅; +* в копии 0 таблиц → ❌ (база не восстановилась); +* недобор больше 10% → ❌ (копия неполная); +* базы нет в живой → пропуск (это ожидаемо для архивных). + +### 2. Исправлена архитектурная ошибка v1 + +В прежней версии временный кластер запускался отдельными вызовами +`pct exec`, и процесс не переживал между ними — поэтому полная сверка +и не работала. Теперь: + +* внутренний скрипт `verify-inside.sh` кладётся в CT151; +* дамп подаётся ему **через stdin** (`gunzip -c | pct exec ... bash`); +* весь цикл (initdb → restore → сверка → остановка → удаление) идёт + **в одном процессе**. + +### 3. Уведомление о результате + +Нашёл ещё одну тихую поломку: `notify.py` отправлял с приоритетом +`normal`, а после перехода на «в чат только критическое» отчёт уходил +в очередь и **не доходил**. Добавил флаг: + +``` +python3 notify.py --priority high "текст" +``` + +`verify-backups.sh` теперь шлёт отчёт с `--priority high`, и он приходит +в ALERT-комнату от `@secretary`. + +## Проверка (прогон вручную) + +``` +копия: pg_dump_all_20261115_020001.sql.gz, возраст 21 ч +✅ архив целый +баз восстановилось: 47 +── полная сверка по базам ── +совпало баз: 47, расхождений: 0, нет в живой: 0 +========== ИТОГ: баз 47, совпало 47, расхождений 0 ========== +отчёт отправлен (результат: True) +``` + +В Matrix: + +``` +23:39:18 ALERT @secretary **Проверка служб** — Тест: проверка копий пройдена +``` + +## Что осталось по бэкапам + +1. **`restore-test.sh`** (1-е число, 06:00) — раз в месяц, последняя + запись 01.11: `Passed: 5, Failed: 0`. Работает. +2. **`/mnt/backups` 76%** (70 из 98 ГБ) — ротация есть, но запас 23 ГБ; + при росте стоит уменьшить глубину хранения. +3. **Политика уведомлений**: теперь только `high`/`critical` идут в чат, + остальное — в журнал `notifications.log` и очередь дайджеста. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| временный кластер v1 | запускался отдельными `pct exec` и умирал между вызовами | +| цитирование в `pct exec` | `\"` внутри `bash -c` ломало SQL-запрос, список баз был пуст | +| `notify.py` всегда normal | после политики «только критическое» отчёты молча копились в очереди | +| дедуп одинаковых отчётов | повторный прогон с тем же текстом подавляется — это нормально |