Files
buryan-wiki/Restore.md
T

5.9 KiB
Raw Blame History

Учения восстановления баз (автоматические)

Что делает

Таймер hub-restore-drill.timer, 3-го числа в 05:00 запускает /opt/hub-core/restore_drill.py:

  1. Берёт самый свежий дамп каждой базы.
  2. Создаёт черновую базу (<имя>_drill) на том же сервере.
  3. Заливает дамп, считает таблицы и ошибки.
  4. Удаляет черновую базу — рабочие не трогаются.

Если хоть одна база не восстановилась — уведомление с пометкой high.

Результат прогона 22.10

учения восстановления: 4/4
  ✅ netbox:    таблиц 208, ошибок 0
  ✅ authentik: таблиц 165, ошибок 0
  ✅ monica:    таблиц  95, ошибок 0
  ✅ nextcloud: таблиц 204, ошибок 0

Отчёт: /var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json.

Ловушки (все пойманы на практике)

  1. Postgres в контейнере Authentik: переменная POSTGRES_USER содержит authentik_user, но такой роли нет — рабочая роль называется authentik. Проверять select current_user.
  2. В контейнере postgres нет роли postgres — суперпользователь задаётся при инициализации и может называться иначе.
  3. MariaDB: -p$VAR внутри pct exec ... sh -c не раскрывается — пароль нужно подставлять литералом, читая его из docker inspect.
  4. Права: пользователь БД может не иметь права CREATE DATABASE (Monica, Nextcloud) — создавать черновую базу надо под root.
  5. Подсчёт таблиц: кавычки в SQL внутри вложенных sh -c ломаются; надёжнее запускать psql/mariadb с -c и двойными кавычками вокруг всего запроса.

Ручной прогон

/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py

Бэкапы: как делать и как восстанавливать

Что где лежит

Что Где Расписание Хранение
Образы гостей (vzdump) /mnt/backups/dump 02:00 ежедневно 1 копия на гостя
Конфиги сервисов /mnt/backups/configs 03:45 14 дней
Дампы баз (SQL) /mnt/backups/db 03:15 14 дней

Проверить состояние

# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups

# важно: тонкий пул
lvs -o lv_name,data_percent pve/data

Тонкий пул — критичное место. Он общий для дисков гостей и для LV backups (100 ГБ). Если пул заполнится, гости зависнут, а vzdump перестанет создавать снапшоты.

Если пул выше 85%

  1. Проверить, не идёт ли бэкап: pvesh get /nodes/pve/tasks --limit 5
  2. Освободить место:
    # удалить самые старые архивы (по одному!)
    ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
    fstrim -v /mnt/backups
    
  3. Если не помогает — pct fstrim <id> на всех CT:
    for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
    

Ручной бэкап одного гостя

vzdump 140 --storage backups --compress zstd --mode snapshot

Восстановить гостя из архива

# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head

# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm

Восстановить базу из дампа

gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
  pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
  pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica

Проверить, что бэкап читается

# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"

Сторож пула

На время ночного бэкапа запускается thin_watch.py: каждые 30 секунд смотрит занятость пула и при 88% удаляет самый старый архив, чтобы гости не встали. Журнал: /var/log/thin-watch.log.

Ловушки (проверено на практике)

  1. prune-backups keep-last=1 — иначе 34 гостя × 2 копии не влезают в 100 ГБ LV.
  2. fstrim освобождает место только если ФС примонтирована с discard или вызван явно; после удаления архивов нужно fstrim /mnt/backups.
  3. Снапшот требует свободного места в пуле, а не только в LV бэкапов.
  4. pct fstrim работает не на всех ФС — на 33 CT прошёл, но если ядро старое, команда молча вернёт ошибку.