[BACKUPS] Проверка копий: полная сверка всех баз вместо 7. v1 не работала — временный кластер запускался отдельными pct exec и умирал между вызовами; теперь внутренний скрипт в CT151, дамп через stdin, весь цикл в одном процессе. Результат прогона: баз 47, совпало 47, расхождений 0. Заодно notify.py получил --priority high (иначе отчёт уходил в очередь из-за политики «только критическое») — отчёт приходит в ALERT от @secretary
This commit is contained in:
1 parent
6d6401a417
commit
0b16e318ef
1 file changed
+83
@@ -0,0 +1,83 @@
|
||||
# Проверка бэкапов: все базы, а не 7 (ночной спринт, 15.11.2026)
|
||||
|
||||
## Проблема
|
||||
|
||||
`verify-backups.sh` (воскресенье 06:00) разворачивал копию, но сверял
|
||||
только **7 точечных метрик** (vaultwarden users/ciphers, matrix users/rooms,
|
||||
authentik users, gitea repos, n8n workflows). В отчёте так и было:
|
||||
`ИТОГ: баз 48, сверено 7`.
|
||||
|
||||
То есть 41 база восстанавливалась, но **никто не проверял**, что в ней
|
||||
есть данные.
|
||||
|
||||
## Что сделал
|
||||
|
||||
### 1. Полная сверка каждой базы
|
||||
|
||||
Теперь сверяется **каждая** восстановленная база: число таблиц в копии
|
||||
против числа таблиц в живой базе.
|
||||
|
||||
* совпало → ✅;
|
||||
* в копии 0 таблиц → ❌ (база не восстановилась);
|
||||
* недобор больше 10% → ❌ (копия неполная);
|
||||
* базы нет в живой → пропуск (это ожидаемо для архивных).
|
||||
|
||||
### 2. Исправлена архитектурная ошибка v1
|
||||
|
||||
В прежней версии временный кластер запускался отдельными вызовами
|
||||
`pct exec`, и процесс не переживал между ними — поэтому полная сверка
|
||||
и не работала. Теперь:
|
||||
|
||||
* внутренний скрипт `verify-inside.sh` кладётся в CT151;
|
||||
* дамп подаётся ему **через stdin** (`gunzip -c | pct exec ... bash`);
|
||||
* весь цикл (initdb → restore → сверка → остановка → удаление) идёт
|
||||
**в одном процессе**.
|
||||
|
||||
### 3. Уведомление о результате
|
||||
|
||||
Нашёл ещё одну тихую поломку: `notify.py` отправлял с приоритетом
|
||||
`normal`, а после перехода на «в чат только критическое» отчёт уходил
|
||||
в очередь и **не доходил**. Добавил флаг:
|
||||
|
||||
```
|
||||
python3 notify.py --priority high "текст"
|
||||
```
|
||||
|
||||
`verify-backups.sh` теперь шлёт отчёт с `--priority high`, и он приходит
|
||||
в ALERT-комнату от `@secretary`.
|
||||
|
||||
## Проверка (прогон вручную)
|
||||
|
||||
```
|
||||
копия: pg_dump_all_20261115_020001.sql.gz, возраст 21 ч
|
||||
✅ архив целый
|
||||
баз восстановилось: 47
|
||||
── полная сверка по базам ──
|
||||
совпало баз: 47, расхождений: 0, нет в живой: 0
|
||||
========== ИТОГ: баз 47, совпало 47, расхождений 0 ==========
|
||||
отчёт отправлен (результат: True)
|
||||
```
|
||||
|
||||
В Matrix:
|
||||
|
||||
```
|
||||
23:39:18 ALERT @secretary **Проверка служб** — Тест: проверка копий пройдена
|
||||
```
|
||||
|
||||
## Что осталось по бэкапам
|
||||
|
||||
1. **`restore-test.sh`** (1-е число, 06:00) — раз в месяц, последняя
|
||||
запись 01.11: `Passed: 5, Failed: 0`. Работает.
|
||||
2. **`/mnt/backups` 76%** (70 из 98 ГБ) — ротация есть, но запас 23 ГБ;
|
||||
при росте стоит уменьшить глубину хранения.
|
||||
3. **Политика уведомлений**: теперь только `high`/`critical` идут в чат,
|
||||
остальное — в журнал `notifications.log` и очередь дайджеста.
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| временный кластер v1 | запускался отдельными `pct exec` и умирал между вызовами |
|
||||
| цитирование в `pct exec` | `\"` внутри `bash -c` ломало SQL-запрос, список баз был пуст |
|
||||
| `notify.py` всегда normal | после политики «только критическое» отчёты молча копились в очереди |
|
||||
| дедуп одинаковых отчётов | повторный прогон с тем же текстом подавляется — это нормально |
|
||||
Reference in new issue
Block a user