# Учения восстановления баз (автоматические) ## Что делает Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает `/opt/hub-core/restore_drill.py`: 1. Берёт самый свежий дамп каждой базы. 2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере. 3. Заливает дамп, считает таблицы и ошибки. 4. Удаляет черновую базу — рабочие не трогаются. Если хоть одна база не восстановилась — уведомление с пометкой `high`. ## Результат прогона 22.10 ``` учения восстановления: 4/4 ✅ netbox: таблиц 208, ошибок 0 ✅ authentik: таблиц 165, ошибок 0 ✅ monica: таблиц 95, ошибок 0 ✅ nextcloud: таблиц 204, ошибок 0 ✅ docmost: таблиц 48, ошибок 0 ``` Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`. ## Ловушки (все пойманы на практике) 1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER` содержит `authentik_user`, но **такой роли нет** — рабочая роль называется `authentik`. Проверять `select current_user`. 2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь задаётся при инициализации и может называться иначе. 3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** — пароль нужно подставлять литералом, читая его из `docker inspect`. 4. **Права:** пользователь БД может не иметь права `CREATE DATABASE` (Monica, Nextcloud) — создавать черновую базу надо под root. 5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c` ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными кавычками вокруг всего запроса. ## Ручной прогон ```bash /opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py ``` --- ## Учения по конфигам (22.10, 05:50) Развернул последний архив конфигов во временный каталог и проверил читаемость вложенных архивов. ``` архив: configs-20261022-0532.tar.gz (244 МБ) распаковано: 121 файл вложенных .tgz: 62, битых 0 ``` Ключевые цели на месте: | Файл | Есть | |---|---| | homeassistant-config.tgz | ✅ (16 yaml внутри) | | gitea-conf.tgz | ✅ | | grocy-config.tgz | ✅ | | memos-data.tgz | ✅ | | beszel-data.tgz | ✅ | | vikunja-db.tgz | ✅ | | docmost-data.tgz | ✅ | **Вывод**: архив конфигов не только создаётся, но и разворачивается целиком, все вложенные архивы читаются. --- # Бэкапы: как делать и как восстанавливать ## Что где лежит | Что | Где | Расписание | Хранение | |---|---|---|---| | Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя | | Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней | | Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней | ## Проверить состояние ```bash # сколько копий и сколько места ls -lh /mnt/backups/dump | tail -5 df -h /mnt/backups # важно: тонкий пул lvs -o lv_name,data_percent pve/data ``` **Тонкий пул — критичное место.** Он общий для дисков гостей и для LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump перестанет создавать снапшоты. ## Если пул выше 85% 1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5` 2. Освободить место: ```bash # удалить самые старые архивы (по одному!) ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f fstrim -v /mnt/backups ``` 3. Если не помогает — `pct fstrim ` на всех CT: ```bash for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done ``` ## Ручной бэкап одного гостя ```bash vzdump 140 --storage backups --compress zstd --mode snapshot ``` ## Восстановить гостя из архива ```bash # посмотреть содержимое zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head # восстановить под новым ID (безопасно, не затирает старый) pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm ``` ## Восстановить базу из дампа ```bash gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \ pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox gunzip -c /mnt/backups/db/monica-*.sql.gz | \ pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica ``` ## Проверить, что бэкап читается ```bash # целостность архива zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst # дампа gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок" ``` ## Проверка целостности Раз в неделю (вс 05:30) `hub-integrity.timer` прогоняет: | Что | Команда | |---|---| | архивы гостей | `zstd -t` | | дампы баз | `gzip -t` | | конфиги | `tar -tzf` | Результат: `/var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json`, при битых файлах — уведомление. Прогон 22.10: **58 файлов, битых 0**. ## Сторож пула На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд смотрит занятость пула и при 88% удаляет самый старый архив, чтобы гости не встали. Журнал: `/var/log/thin-watch.log`. ## Ловушки (проверено на практике) 1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают в 100 ГБ LV. 2. **fstrim освобождает место только если ФС примонтирована с discard** или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`. 3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов. 4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если ядро старое, команда молча вернёт ошибку. ## Возврат места в пул (важно!) **Удаление файлов внутри CT не освобождает место в тонком пуле.** Нужен явный `fstrim` внутри контейнера. | Когда | Что делает | |---|---| | ежедневно 01:45 | `pre_prune.py`: удаляет старые архивы, затем `pct fstrim` по всем CT | | еженедельно вс 04:30 | `ct_cleanup.py`: висячие образы Docker, кэш сборки, журналы, `pct fstrim` | Без этого пул растёт монотонно. 22–23.10 он дошёл до **81%**, и vzdump перестал создавать снапшоты: бэкап сделал только **9 гостей из 33**. Ручной `pct fstrim` вернул **58 ГБ**, пул упал до 63.8%, после догона — 76.5%.