Files
buryan-wiki/Restore.md
T

139 lines
5.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Учения восстановления баз (автоматические)
## Что делает
Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает
`/opt/hub-core/restore_drill.py`:
1. Берёт самый свежий дамп каждой базы.
2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере.
3. Заливает дамп, считает таблицы и ошибки.
4. Удаляет черновую базу — рабочие не трогаются.
Если хоть одна база не восстановилась — уведомление с пометкой `high`.
## Результат прогона 22.10
```
учения восстановления: 4/4
✅ netbox: таблиц 208, ошибок 0
✅ authentik: таблиц 165, ошибок 0
✅ monica: таблиц 95, ошибок 0
✅ nextcloud: таблиц 204, ошибок 0
```
Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`.
## Ловушки (все пойманы на практике)
1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER`
содержит `authentik_user`, но **такой роли нет** — рабочая роль
называется `authentik`. Проверять `select current_user`.
2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь
задаётся при инициализации и может называться иначе.
3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** —
пароль нужно подставлять литералом, читая его из `docker inspect`.
4. **Права:** пользователь БД может не иметь права `CREATE DATABASE`
(Monica, Nextcloud) — создавать черновую базу надо под root.
5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c`
ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными
кавычками вокруг всего запроса.
## Ручной прогон
```bash
/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py
```
---
# Бэкапы: как делать и как восстанавливать
## Что где лежит
| Что | Где | Расписание | Хранение |
|---|---|---|---|
| Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя |
| Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней |
| Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней |
## Проверить состояние
```bash
# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups
# важно: тонкий пул
lvs -o lv_name,data_percent pve/data
```
**Тонкий пул — критичное место.** Он общий для дисков гостей и для
LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump
перестанет создавать снапшоты.
## Если пул выше 85%
1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5`
2. Освободить место:
```bash
# удалить самые старые архивы (по одному!)
ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
fstrim -v /mnt/backups
```
3. Если не помогает — `pct fstrim <id>` на всех CT:
```bash
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
```
## Ручной бэкап одного гостя
```bash
vzdump 140 --storage backups --compress zstd --mode snapshot
```
## Восстановить гостя из архива
```bash
# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head
# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm
```
## Восстановить базу из дампа
```bash
gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica
```
## Проверить, что бэкап читается
```bash
# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"
```
## Сторож пула
На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд
смотрит занятость пула и при 88% удаляет самый старый архив, чтобы
гости не встали. Журнал: `/var/log/thin-watch.log`.
## Ловушки (проверено на практике)
1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают
в 100 ГБ LV.
2. **fstrim освобождает место только если ФС примонтирована с discard**
или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`.
3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов.
4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если
ядро старое, команда молча вернёт ошибку.