Files
buryan-infra/ops/backup/RUNBOOK.md

4.9 KiB

Бэкапы: как делать и как восстанавливать

Что где лежит

Что Где Расписание Хранение
Образы гостей (vzdump) /mnt/backups/dump 02:00 ежедневно 1 копия на гостя
Конфиги сервисов /mnt/backups/configs 03:45 14 дней
Дампы баз (SQL) /mnt/backups/db 03:15 14 дней

Проверить состояние

# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups

# важно: тонкий пул
lvs -o lv_name,data_percent pve/data

Тонкий пул — критичное место. Он общий для дисков гостей и для LV backups (100 ГБ). Если пул заполнится, гости зависнут, а vzdump перестанет создавать снапшоты.

Если пул выше 85%

  1. Проверить, не идёт ли бэкап: pvesh get /nodes/pve/tasks --limit 5
  2. Освободить место:
    # удалить самые старые архивы (по одному!)
    ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
    fstrim -v /mnt/backups
    
  3. Если не помогает — pct fstrim <id> на всех CT:
    for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
    

Ручной бэкап одного гостя

vzdump 140 --storage backups --compress zstd --mode snapshot

Восстановить гостя из архива

# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head

# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm

Восстановить базу из дампа

gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
  pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
  pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica

Проверить, что бэкап читается

# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"

Проверка целостности

Раз в неделю (вс 05:30) hub-integrity.timer прогоняет:

Что Команда
архивы гостей zstd -t
дампы баз gzip -t
конфиги tar -tzf

Результат: /var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json, при битых файлах — уведомление. Прогон 22.10: 58 файлов, битых 0.

Сторож пула

На время ночного бэкапа запускается thin_watch.py: каждые 30 секунд смотрит занятость пула и при 88% удаляет самый старый архив, чтобы гости не встали. Журнал: /var/log/thin-watch.log.

Ловушки (проверено на практике)

  1. prune-backups keep-last=1 — иначе 34 гостя × 2 копии не влезают в 100 ГБ LV.
  2. fstrim освобождает место только если ФС примонтирована с discard или вызван явно; после удаления архивов нужно fstrim /mnt/backups.
  3. Снапшот требует свободного места в пуле, а не только в LV бэкапов.
  4. pct fstrim работает не на всех ФС — на 33 CT прошёл, но если ядро старое, команда молча вернёт ошибку.

Возврат места в пул (важно!)

Удаление файлов внутри CT не освобождает место в тонком пуле. Нужен явный fstrim внутри контейнера.

Когда Что делает
ежедневно 01:45 pre_prune.py: удаляет старые архивы, затем pct fstrim по всем CT
еженедельно вс 04:30 ct_cleanup.py: висячие образы Docker, кэш сборки, журналы, pct fstrim

Без этого пул растёт монотонно. 22–23.10 он дошёл до 81%, и vzdump перестал создавать снапшоты: бэкап сделал только 9 гостей из 33. Ручной pct fstrim вернул 58 ГБ, пул упал до 63.8%, после догона — 76.5%.