[BACKUPS] Проверка копий: полная сверка всех баз вместо 7. v1 не работала — временный кластер запускался отдельными pct exec и умирал между вызовами; теперь внутренний скрипт в CT151, дамп через stdin, весь цикл в одном процессе. Результат прогона: баз 47, совпало 47, расхождений 0. Заодно notify.py получил --priority high (иначе отчёт уходил в очередь из-за политики «только критическое») — отчёт приходит в ALERT от @secretary

This commit is contained in:
root committed 2026-11-15 23:40:49 +03:00
1 parent 6d6401a417
commit 0b16e318ef
1 file changed
+83
@@ -0,0 +1,83 @@
# Проверка бэкапов: все базы, а не 7 (ночной спринт, 15.11.2026)
## Проблема
`verify-backups.sh` (воскресенье 06:00) разворачивал копию, но сверял
только **7 точечных метрик** (vaultwarden users/ciphers, matrix users/rooms,
authentik users, gitea repos, n8n workflows). В отчёте так и было:
`ИТОГ: баз 48, сверено 7`.
То есть 41 база восстанавливалась, но **никто не проверял**, что в ней
есть данные.
## Что сделал
### 1. Полная сверка каждой базы
Теперь сверяется **каждая** восстановленная база: число таблиц в копии
против числа таблиц в живой базе.
* совпало → ✅;
* в копии 0 таблиц → ❌ (база не восстановилась);
* недобор больше 10% → ❌ (копия неполная);
* базы нет в живой → пропуск (это ожидаемо для архивных).
### 2. Исправлена архитектурная ошибка v1
В прежней версии временный кластер запускался отдельными вызовами
`pct exec`, и процесс не переживал между ними — поэтому полная сверка
и не работала. Теперь:
* внутренний скрипт `verify-inside.sh` кладётся в CT151;
* дамп подаётся ему **через stdin** (`gunzip -c | pct exec ... bash`);
* весь цикл (initdb → restore → сверка → остановка → удаление) идёт
**в одном процессе**.
### 3. Уведомление о результате
Нашёл ещё одну тихую поломку: `notify.py` отправлял с приоритетом
`normal`, а после перехода на «в чат только критическое» отчёт уходил
в очередь и **не доходил**. Добавил флаг:
```
python3 notify.py --priority high "текст"
```
`verify-backups.sh` теперь шлёт отчёт с `--priority high`, и он приходит
в ALERT-комнату от `@secretary`.
## Проверка (прогон вручную)
```
копия: pg_dump_all_20261115_020001.sql.gz, возраст 21 ч
✅ архив целый
баз восстановилось: 47
── полная сверка по базам ──
совпало баз: 47, расхождений: 0, нет в живой: 0
========== ИТОГ: баз 47, совпало 47, расхождений 0 ==========
отчёт отправлен (результат: True)
```
В Matrix:
```
23:39:18 ALERT @secretary **Проверка служб** — Тест: проверка копий пройдена
```
## Что осталось по бэкапам
1. **`restore-test.sh`** (1-е число, 06:00) — раз в месяц, последняя
запись 01.11: `Passed: 5, Failed: 0`. Работает.
2. **`/mnt/backups` 76%** (70 из 98 ГБ) — ротация есть, но запас 23 ГБ;
при росте стоит уменьшить глубину хранения.
3. **Политика уведомлений**: теперь только `high`/`critical` идут в чат,
остальное — в журнал `notifications.log` и очередь дайджеста.
## Ловушки
| Ловушка | Что было |
|---|---|
| временный кластер v1 | запускался отдельными `pct exec` и умирал между вызовами |
| цитирование в `pct exec` | `\"` внутри `bash -c` ломало SQL-запрос, список баз был пуст |
| `notify.py` всегда normal | после политики «только критическое» отчёты молча копились в очереди |
| дедуп одинаковых отчётов | повторный прогон с тем же текстом подавляется — это нормально |