Files
buryan-infra/ops/backup/RUNBOOK.md
T

116 lines
4.9 KiB
Markdown

# Бэкапы: как делать и как восстанавливать
## Что где лежит
| Что | Где | Расписание | Хранение |
|---|---|---|---|
| Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя |
| Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней |
| Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней |
## Проверить состояние
```bash
# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups
# важно: тонкий пул
lvs -o lv_name,data_percent pve/data
```
**Тонкий пул — критичное место.** Он общий для дисков гостей и для
LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump
перестанет создавать снапшоты.
## Если пул выше 85%
1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5`
2. Освободить место:
```bash
# удалить самые старые архивы (по одному!)
ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
fstrim -v /mnt/backups
```
3. Если не помогает — `pct fstrim <id>` на всех CT:
```bash
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
```
## Ручной бэкап одного гостя
```bash
vzdump 140 --storage backups --compress zstd --mode snapshot
```
## Восстановить гостя из архива
```bash
# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head
# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm
```
## Восстановить базу из дампа
```bash
gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica
```
## Проверить, что бэкап читается
```bash
# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"
```
## Проверка целостности
Раз в неделю (вс 05:30) `hub-integrity.timer` прогоняет:
| Что | Команда |
|---|---|
| архивы гостей | `zstd -t` |
| дампы баз | `gzip -t` |
| конфиги | `tar -tzf` |
Результат: `/var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json`,
при битых файлах — уведомление. Прогон 22.10: **58 файлов, битых 0**.
## Сторож пула
На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд
смотрит занятость пула и при 88% удаляет самый старый архив, чтобы
гости не встали. Журнал: `/var/log/thin-watch.log`.
## Ловушки (проверено на практике)
1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают
в 100 ГБ LV.
2. **fstrim освобождает место только если ФС примонтирована с discard**
или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`.
3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов.
4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если
ядро старое, команда молча вернёт ошибку.
## Возврат места в пул (важно!)
**Удаление файлов внутри CT не освобождает место в тонком пуле.**
Нужен явный `fstrim` внутри контейнера.
| Когда | Что делает |
|---|---|
| ежедневно 01:45 | `pre_prune.py`: удаляет старые архивы, затем `pct fstrim` по всем CT |
| еженедельно вс 04:30 | `ct_cleanup.py`: висячие образы Docker, кэш сборки, журналы, `pct fstrim` |
Без этого пул растёт монотонно. 22–23.10 он дошёл до **81%**, и vzdump
перестал создавать снапшоты: бэкап сделал только **9 гостей из 33**.
Ручной `pct fstrim` вернул **58 ГБ**, пул упал до 63.8%, после догона — 76.5%.