From 0b16e318ef51858a661cb4737ce6428a4b341b69 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sun, 15 Nov 2026 23:40:49 +0300 Subject: [PATCH] =?UTF-8?q?[BACKUPS]=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B5?= =?UTF-8?q?=D1=80=D0=BA=D0=B0=20=D0=BA=D0=BE=D0=BF=D0=B8=D0=B9:=20=D0=BF?= =?UTF-8?q?=D0=BE=D0=BB=D0=BD=D0=B0=D1=8F=20=D1=81=D0=B2=D0=B5=D1=80=D0=BA?= =?UTF-8?q?=D0=B0=20=D0=B2=D1=81=D0=B5=D1=85=20=D0=B1=D0=B0=D0=B7=20=D0=B2?= =?UTF-8?q?=D0=BC=D0=B5=D1=81=D1=82=D0=BE=207.=20v1=20=D0=BD=D0=B5=20?= =?UTF-8?q?=D1=80=D0=B0=D0=B1=D0=BE=D1=82=D0=B0=D0=BB=D0=B0=20=E2=80=94=20?= =?UTF-8?q?=D0=B2=D1=80=D0=B5=D0=BC=D0=B5=D0=BD=D0=BD=D1=8B=D0=B9=20=D0=BA?= =?UTF-8?q?=D0=BB=D0=B0=D1=81=D1=82=D0=B5=D1=80=20=D0=B7=D0=B0=D0=BF=D1=83?= =?UTF-8?q?=D1=81=D0=BA=D0=B0=D0=BB=D1=81=D1=8F=20=D0=BE=D1=82=D0=B4=D0=B5?= =?UTF-8?q?=D0=BB=D1=8C=D0=BD=D1=8B=D0=BC=D0=B8=20pct=20exec=20=D0=B8=20?= =?UTF-8?q?=D1=83=D0=BC=D0=B8=D1=80=D0=B0=D0=BB=20=D0=BC=D0=B5=D0=B6=D0=B4?= =?UTF-8?q?=D1=83=20=D0=B2=D1=8B=D0=B7=D0=BE=D0=B2=D0=B0=D0=BC=D0=B8;=20?= =?UTF-8?q?=D1=82=D0=B5=D0=BF=D0=B5=D1=80=D1=8C=20=D0=B2=D0=BD=D1=83=D1=82?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D0=BD=D0=B8=D0=B9=20=D1=81=D0=BA=D1=80=D0=B8?= =?UTF-8?q?=D0=BF=D1=82=20=D0=B2=20CT151,=20=D0=B4=D0=B0=D0=BC=D0=BF=20?= =?UTF-8?q?=D1=87=D0=B5=D1=80=D0=B5=D0=B7=20stdin,=20=D0=B2=D0=B5=D1=81?= =?UTF-8?q?=D1=8C=20=D1=86=D0=B8=D0=BA=D0=BB=20=D0=B2=20=D0=BE=D0=B4=D0=BD?= =?UTF-8?q?=D0=BE=D0=BC=20=D0=BF=D1=80=D0=BE=D1=86=D0=B5=D1=81=D1=81=D0=B5?= =?UTF-8?q?.=20=D0=A0=D0=B5=D0=B7=D1=83=D0=BB=D1=8C=D1=82=D0=B0=D1=82=20?= =?UTF-8?q?=D0=BF=D1=80=D0=BE=D0=B3=D0=BE=D0=BD=D0=B0:=20=D0=B1=D0=B0?= =?UTF-8?q?=D0=B7=2047,=20=D1=81=D0=BE=D0=B2=D0=BF=D0=B0=D0=BB=D0=BE=2047,?= =?UTF-8?q?=20=D1=80=D0=B0=D1=81=D1=85=D0=BE=D0=B6=D0=B4=D0=B5=D0=BD=D0=B8?= =?UTF-8?q?=D0=B9=200.=20=D0=97=D0=B0=D0=BE=D0=B4=D0=BD=D0=BE=20notify.py?= =?UTF-8?q?=20=D0=BF=D0=BE=D0=BB=D1=83=D1=87=D0=B8=D0=BB=20--priority=20hi?= =?UTF-8?q?gh=20(=D0=B8=D0=BD=D0=B0=D1=87=D0=B5=20=D0=BE=D1=82=D1=87=D1=91?= =?UTF-8?q?=D1=82=20=D1=83=D1=85=D0=BE=D0=B4=D0=B8=D0=BB=20=D0=B2=20=D0=BE?= =?UTF-8?q?=D1=87=D0=B5=D1=80=D0=B5=D0=B4=D1=8C=20=D0=B8=D0=B7-=D0=B7?= =?UTF-8?q?=D0=B0=20=D0=BF=D0=BE=D0=BB=D0=B8=D1=82=D0=B8=D0=BA=D0=B8=20?= =?UTF-8?q?=C2=AB=D1=82=D0=BE=D0=BB=D1=8C=D0=BA=D0=BE=20=D0=BA=D1=80=D0=B8?= =?UTF-8?q?=D1=82=D0=B8=D1=87=D0=B5=D1=81=D0=BA=D0=BE=D0=B5=C2=BB)=20?= =?UTF-8?q?=E2=80=94=20=D0=BE=D1=82=D1=87=D1=91=D1=82=20=D0=BF=D1=80=D0=B8?= =?UTF-8?q?=D1=85=D0=BE=D0=B4=D0=B8=D1=82=20=D0=B2=20ALERT=20=D0=BE=D1=82?= =?UTF-8?q?=20@secretary?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md | 83 +++++++++++++++++++++ 1 file changed, 83 insertions(+) create mode 100644 ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md diff --git a/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md b/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md new file mode 100644 index 0000000..7c0d8fe --- /dev/null +++ b/ops/audits/BACKUP-VERIFY-FULL-2026-11-15.md @@ -0,0 +1,83 @@ +# Проверка бэкапов: все базы, а не 7 (ночной спринт, 15.11.2026) + +## Проблема + +`verify-backups.sh` (воскресенье 06:00) разворачивал копию, но сверял +только **7 точечных метрик** (vaultwarden users/ciphers, matrix users/rooms, +authentik users, gitea repos, n8n workflows). В отчёте так и было: +`ИТОГ: баз 48, сверено 7`. + +То есть 41 база восстанавливалась, но **никто не проверял**, что в ней +есть данные. + +## Что сделал + +### 1. Полная сверка каждой базы + +Теперь сверяется **каждая** восстановленная база: число таблиц в копии +против числа таблиц в живой базе. + +* совпало → ✅; +* в копии 0 таблиц → ❌ (база не восстановилась); +* недобор больше 10% → ❌ (копия неполная); +* базы нет в живой → пропуск (это ожидаемо для архивных). + +### 2. Исправлена архитектурная ошибка v1 + +В прежней версии временный кластер запускался отдельными вызовами +`pct exec`, и процесс не переживал между ними — поэтому полная сверка +и не работала. Теперь: + +* внутренний скрипт `verify-inside.sh` кладётся в CT151; +* дамп подаётся ему **через stdin** (`gunzip -c | pct exec ... bash`); +* весь цикл (initdb → restore → сверка → остановка → удаление) идёт + **в одном процессе**. + +### 3. Уведомление о результате + +Нашёл ещё одну тихую поломку: `notify.py` отправлял с приоритетом +`normal`, а после перехода на «в чат только критическое» отчёт уходил +в очередь и **не доходил**. Добавил флаг: + +``` +python3 notify.py --priority high "текст" +``` + +`verify-backups.sh` теперь шлёт отчёт с `--priority high`, и он приходит +в ALERT-комнату от `@secretary`. + +## Проверка (прогон вручную) + +``` +копия: pg_dump_all_20261115_020001.sql.gz, возраст 21 ч +✅ архив целый +баз восстановилось: 47 +── полная сверка по базам ── +совпало баз: 47, расхождений: 0, нет в живой: 0 +========== ИТОГ: баз 47, совпало 47, расхождений 0 ========== +отчёт отправлен (результат: True) +``` + +В Matrix: + +``` +23:39:18 ALERT @secretary **Проверка служб** — Тест: проверка копий пройдена +``` + +## Что осталось по бэкапам + +1. **`restore-test.sh`** (1-е число, 06:00) — раз в месяц, последняя + запись 01.11: `Passed: 5, Failed: 0`. Работает. +2. **`/mnt/backups` 76%** (70 из 98 ГБ) — ротация есть, но запас 23 ГБ; + при росте стоит уменьшить глубину хранения. +3. **Политика уведомлений**: теперь только `high`/`critical` идут в чат, + остальное — в журнал `notifications.log` и очередь дайджеста. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| временный кластер v1 | запускался отдельными `pct exec` и умирал между вызовами | +| цитирование в `pct exec` | `\"` внутри `bash -c` ломало SQL-запрос, список баз был пуст | +| `notify.py` всегда normal | после политики «только критическое» отчёты молча копились в очереди | +| дедуп одинаковых отчётов | повторный прогон с тем же текстом подавляется — это нормально |