8.1 KiB
Учения восстановления баз (автоматические)
Что делает
Таймер hub-restore-drill.timer, 3-го числа в 05:00 запускает
/opt/hub-core/restore_drill.py:
- Берёт самый свежий дамп каждой базы.
- Создаёт черновую базу (
<имя>_drill) на том же сервере. - Заливает дамп, считает таблицы и ошибки.
- Удаляет черновую базу — рабочие не трогаются.
Если хоть одна база не восстановилась — уведомление с пометкой high.
Результат прогона 22.10
учения восстановления: 4/4
✅ netbox: таблиц 208, ошибок 0
✅ authentik: таблиц 165, ошибок 0
✅ monica: таблиц 95, ошибок 0
✅ nextcloud: таблиц 204, ошибок 0
✅ docmost: таблиц 48, ошибок 0
Отчёт: /var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json.
Ловушки (все пойманы на практике)
- Postgres в контейнере Authentik: переменная
POSTGRES_USERсодержитauthentik_user, но такой роли нет — рабочая роль называетсяauthentik. Проверятьselect current_user. - В контейнере
postgresнет ролиpostgres— суперпользователь задаётся при инициализации и может называться иначе. - MariaDB:
-p$VARвнутриpct exec ... sh -cне раскрывается — пароль нужно подставлять литералом, читая его изdocker inspect. - Права: пользователь БД может не иметь права
CREATE DATABASE(Monica, Nextcloud) — создавать черновую базу надо под root. - Подсчёт таблиц: кавычки в SQL внутри вложенных
sh -cломаются; надёжнее запускатьpsql/mariadbс-cи двойными кавычками вокруг всего запроса.
Ручной прогон
/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py
Учения по конфигам (22.10, 05:50)
Развернул последний архив конфигов во временный каталог и проверил читаемость вложенных архивов.
архив: configs-20261022-0532.tar.gz (244 МБ)
распаковано: 121 файл
вложенных .tgz: 62, битых 0
Ключевые цели на месте:
| Файл | Есть |
|---|---|
| homeassistant-config.tgz | ✅ (16 yaml внутри) |
| gitea-conf.tgz | ✅ |
| grocy-config.tgz | ✅ |
| memos-data.tgz | ✅ |
| beszel-data.tgz | ✅ |
| vikunja-db.tgz | ✅ |
| docmost-data.tgz | ✅ |
Вывод: архив конфигов не только создаётся, но и разворачивается целиком, все вложенные архивы читаются.
Бэкапы: как делать и как восстанавливать
Что где лежит
| Что | Где | Расписание | Хранение |
|---|---|---|---|
| Образы гостей (vzdump) | /mnt/backups/dump |
02:00 ежедневно | 1 копия на гостя |
| Конфиги сервисов | /mnt/backups/configs |
03:45 | 14 дней |
| Дампы баз (SQL) | /mnt/backups/db |
03:15 | 14 дней |
Проверить состояние
# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups
# важно: тонкий пул
lvs -o lv_name,data_percent pve/data
Тонкий пул — критичное место. Он общий для дисков гостей и для
LV backups (100 ГБ). Если пул заполнится, гости зависнут, а vzdump
перестанет создавать снапшоты.
Если пул выше 85%
- Проверить, не идёт ли бэкап:
pvesh get /nodes/pve/tasks --limit 5 - Освободить место:
# удалить самые старые архивы (по одному!) ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f fstrim -v /mnt/backups - Если не помогает —
pct fstrim <id>на всех CT:for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
Ручной бэкап одного гостя
vzdump 140 --storage backups --compress zstd --mode snapshot
Восстановить гостя из архива
# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head
# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm
Восстановить базу из дампа
gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica
Проверить, что бэкап читается
# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"
Проверка целостности
Раз в неделю (вс 05:30) hub-integrity.timer прогоняет:
| Что | Команда |
|---|---|
| архивы гостей | zstd -t |
| дампы баз | gzip -t |
| конфиги | tar -tzf |
Результат: /var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json,
при битых файлах — уведомление. Прогон 22.10: 58 файлов, битых 0.
Сторож пула
На время ночного бэкапа запускается thin_watch.py: каждые 30 секунд
смотрит занятость пула и при 88% удаляет самый старый архив, чтобы
гости не встали. Журнал: /var/log/thin-watch.log.
Ловушки (проверено на практике)
prune-backups keep-last=1— иначе 34 гостя × 2 копии не влезают в 100 ГБ LV.- fstrim освобождает место только если ФС примонтирована с discard
или вызван явно; после удаления архивов нужно
fstrim /mnt/backups. - Снапшот требует свободного места в пуле, а не только в LV бэкапов.
pct fstrimработает не на всех ФС — на 33 CT прошёл, но если ядро старое, команда молча вернёт ошибку.
Возврат места в пул (важно!)
Удаление файлов внутри CT не освобождает место в тонком пуле.
Нужен явный fstrim внутри контейнера.
| Когда | Что делает |
|---|---|
| ежедневно 01:45 | pre_prune.py: удаляет старые архивы, затем pct fstrim по всем CT |
| еженедельно вс 04:30 | ct_cleanup.py: висячие образы Docker, кэш сборки, журналы, pct fstrim |
Без этого пул растёт монотонно. 22–23.10 он дошёл до 81%, и vzdump
перестал создавать снапшоты: бэкап сделал только 9 гостей из 33.
Ручной pct fstrim вернул 58 ГБ, пул упал до 63.8%, после догона — 76.5%.