diff --git a/ops/BACKLOG.md b/ops/BACKLOG.md index 1605141..003fe7f 100644 --- a/ops/BACKLOG.md +++ b/ops/BACKLOG.md @@ -34,7 +34,7 @@ | B-16 | Заполнить шаблонные карточки сервисов реальными описаниями | документация | | B-17 | n8n: убрать `hub-login`, перейти на OIDC | единый вход | | B-18 | Immich: автоальбомы по датам и местам | порядок в фото | -| B-19 | Бэкапы | ✅ 31 цель + логические дампы 4 баз (`ops/backup/DB-DUMPS.md`) | — | +| B-19 | Бэкапы | ✅ 31 цель, 4 дампа, учения восстановления 4/4 (`ops/backup/RESTORE-DRILL.md`) | — | | B-20 | Агенты: включить класс B без сухого прогона | меньше ручной чистки | | B-21 | Агенты: обучение и подсказки | ✅ дедуп причин, словарь решений `ops/agents/LEARNING.md` | — | | B-22 | Алерты Prometheus → Matrix | ✅ `/alert` + вебхук Alertmanager | — | diff --git a/ops/backup/RESTORE-DRILL.md b/ops/backup/RESTORE-DRILL.md new file mode 100644 index 0000000..fc4ec26 --- /dev/null +++ b/ops/backup/RESTORE-DRILL.md @@ -0,0 +1,46 @@ +# Учения восстановления баз (автоматические) + +## Что делает + +Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает +`/opt/hub-core/restore_drill.py`: + +1. Берёт самый свежий дамп каждой базы. +2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере. +3. Заливает дамп, считает таблицы и ошибки. +4. Удаляет черновую базу — рабочие не трогаются. + +Если хоть одна база не восстановилась — уведомление с пометкой `high`. + +## Результат прогона 22.10 + +``` +учения восстановления: 4/4 + ✅ netbox: таблиц 208, ошибок 0 + ✅ authentik: таблиц 165, ошибок 0 + ✅ monica: таблиц 95, ошибок 0 + ✅ nextcloud: таблиц 204, ошибок 0 +``` + +Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`. + +## Ловушки (все пойманы на практике) + +1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER` + содержит `authentik_user`, но **такой роли нет** — рабочая роль + называется `authentik`. Проверять `select current_user`. +2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь + задаётся при инициализации и может называться иначе. +3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** — + пароль нужно подставлять литералом, читая его из `docker inspect`. +4. **Права:** пользователь БД может не иметь права `CREATE DATABASE` + (Monica, Nextcloud) — создавать черновую базу надо под root. +5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c` + ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными + кавычками вокруг всего запроса. + +## Ручной прогон + +```bash +/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py +```