[B-19] Учения восстановления баз: 4/4, автоматизация 3-го числа

This commit is contained in:
buryan-agent committed 2026-10-22 05:11:23 +03:00
1 parent a14138b266
commit 999f7d860c
2 files changed
+47 -1

No files matched your search

+1 -1
View File
@@ -34,7 +34,7 @@
| B-16 | Заполнить шаблонные карточки сервисов реальными описаниями | документация |
| B-17 | n8n: убрать `hub-login`, перейти на OIDC | единый вход |
| B-18 | Immich: автоальбомы по датам и местам | порядок в фото |
| B-19 | Бэкапы | ✅ 31 цель + логические дампы 4 баз (`ops/backup/DB-DUMPS.md`) | — |
| B-19 | Бэкапы | ✅ 31 цель, 4 дампа, учения восстановления 4/4 (`ops/backup/RESTORE-DRILL.md`) | — |
| B-20 | Агенты: включить класс B без сухого прогона | меньше ручной чистки |
| B-21 | Агенты: обучение и подсказки | ✅ дедуп причин, словарь решений `ops/agents/LEARNING.md` | — |
| B-22 | Алерты Prometheus → Matrix | ✅ `/alert` + вебхук Alertmanager | — |
+46
View File
@@ -0,0 +1,46 @@
# Учения восстановления баз (автоматические)
## Что делает
Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает
`/opt/hub-core/restore_drill.py`:
1. Берёт самый свежий дамп каждой базы.
2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере.
3. Заливает дамп, считает таблицы и ошибки.
4. Удаляет черновую базу — рабочие не трогаются.
Если хоть одна база не восстановилась — уведомление с пометкой `high`.
## Результат прогона 22.10
```
учения восстановления: 4/4
✅ netbox: таблиц 208, ошибок 0
✅ authentik: таблиц 165, ошибок 0
✅ monica: таблиц 95, ошибок 0
✅ nextcloud: таблиц 204, ошибок 0
```
Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`.
## Ловушки (все пойманы на практике)
1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER`
содержит `authentik_user`, но **такой роли нет** — рабочая роль
называется `authentik`. Проверять `select current_user`.
2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь
задаётся при инициализации и может называться иначе.
3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** —
пароль нужно подставлять литералом, читая его из `docker inspect`.
4. **Права:** пользователь БД может не иметь права `CREATE DATABASE`
(Monica, Nextcloud) — создавать черновую базу надо под root.
5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c`
ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными
кавычками вокруг всего запроса.
## Ручной прогон
```bash
/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py
```