195 lines
8.1 KiB
Markdown
195 lines
8.1 KiB
Markdown
# Учения восстановления баз (автоматические)
|
||
|
||
## Что делает
|
||
|
||
Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает
|
||
`/opt/hub-core/restore_drill.py`:
|
||
|
||
1. Берёт самый свежий дамп каждой базы.
|
||
2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере.
|
||
3. Заливает дамп, считает таблицы и ошибки.
|
||
4. Удаляет черновую базу — рабочие не трогаются.
|
||
|
||
Если хоть одна база не восстановилась — уведомление с пометкой `high`.
|
||
|
||
## Результат прогона 22.10
|
||
|
||
```
|
||
учения восстановления: 4/4
|
||
✅ netbox: таблиц 208, ошибок 0
|
||
✅ authentik: таблиц 165, ошибок 0
|
||
✅ monica: таблиц 95, ошибок 0
|
||
✅ nextcloud: таблиц 204, ошибок 0
|
||
✅ docmost: таблиц 48, ошибок 0
|
||
```
|
||
|
||
Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`.
|
||
|
||
## Ловушки (все пойманы на практике)
|
||
|
||
1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER`
|
||
содержит `authentik_user`, но **такой роли нет** — рабочая роль
|
||
называется `authentik`. Проверять `select current_user`.
|
||
2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь
|
||
задаётся при инициализации и может называться иначе.
|
||
3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** —
|
||
пароль нужно подставлять литералом, читая его из `docker inspect`.
|
||
4. **Права:** пользователь БД может не иметь права `CREATE DATABASE`
|
||
(Monica, Nextcloud) — создавать черновую базу надо под root.
|
||
5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c`
|
||
ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными
|
||
кавычками вокруг всего запроса.
|
||
|
||
## Ручной прогон
|
||
|
||
```bash
|
||
/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py
|
||
```
|
||
|
||
---
|
||
|
||
## Учения по конфигам (22.10, 05:50)
|
||
|
||
Развернул последний архив конфигов во временный каталог и проверил
|
||
читаемость вложенных архивов.
|
||
|
||
```
|
||
архив: configs-20261022-0532.tar.gz (244 МБ)
|
||
распаковано: 121 файл
|
||
вложенных .tgz: 62, битых 0
|
||
```
|
||
|
||
Ключевые цели на месте:
|
||
|
||
| Файл | Есть |
|
||
|---|---|
|
||
| homeassistant-config.tgz | ✅ (16 yaml внутри) |
|
||
| gitea-conf.tgz | ✅ |
|
||
| grocy-config.tgz | ✅ |
|
||
| memos-data.tgz | ✅ |
|
||
| beszel-data.tgz | ✅ |
|
||
| vikunja-db.tgz | ✅ |
|
||
| docmost-data.tgz | ✅ |
|
||
|
||
**Вывод**: архив конфигов не только создаётся, но и разворачивается
|
||
целиком, все вложенные архивы читаются.
|
||
|
||
|
||
---
|
||
|
||
# Бэкапы: как делать и как восстанавливать
|
||
|
||
## Что где лежит
|
||
|
||
| Что | Где | Расписание | Хранение |
|
||
|---|---|---|---|
|
||
| Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя |
|
||
| Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней |
|
||
| Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней |
|
||
|
||
## Проверить состояние
|
||
|
||
```bash
|
||
# сколько копий и сколько места
|
||
ls -lh /mnt/backups/dump | tail -5
|
||
df -h /mnt/backups
|
||
|
||
# важно: тонкий пул
|
||
lvs -o lv_name,data_percent pve/data
|
||
```
|
||
|
||
**Тонкий пул — критичное место.** Он общий для дисков гостей и для
|
||
LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump
|
||
перестанет создавать снапшоты.
|
||
|
||
## Если пул выше 85%
|
||
|
||
1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5`
|
||
2. Освободить место:
|
||
```bash
|
||
# удалить самые старые архивы (по одному!)
|
||
ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
|
||
fstrim -v /mnt/backups
|
||
```
|
||
3. Если не помогает — `pct fstrim <id>` на всех CT:
|
||
```bash
|
||
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
|
||
```
|
||
|
||
## Ручной бэкап одного гостя
|
||
|
||
```bash
|
||
vzdump 140 --storage backups --compress zstd --mode snapshot
|
||
```
|
||
|
||
## Восстановить гостя из архива
|
||
|
||
```bash
|
||
# посмотреть содержимое
|
||
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head
|
||
|
||
# восстановить под новым ID (безопасно, не затирает старый)
|
||
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm
|
||
```
|
||
|
||
## Восстановить базу из дампа
|
||
|
||
```bash
|
||
gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
|
||
pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
|
||
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
|
||
pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica
|
||
```
|
||
|
||
## Проверить, что бэкап читается
|
||
|
||
```bash
|
||
# целостность архива
|
||
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
|
||
# дампа
|
||
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"
|
||
```
|
||
|
||
## Проверка целостности
|
||
|
||
Раз в неделю (вс 05:30) `hub-integrity.timer` прогоняет:
|
||
|
||
| Что | Команда |
|
||
|---|---|
|
||
| архивы гостей | `zstd -t` |
|
||
| дампы баз | `gzip -t` |
|
||
| конфиги | `tar -tzf` |
|
||
|
||
Результат: `/var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json`,
|
||
при битых файлах — уведомление. Прогон 22.10: **58 файлов, битых 0**.
|
||
|
||
## Сторож пула
|
||
|
||
На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд
|
||
смотрит занятость пула и при 88% удаляет самый старый архив, чтобы
|
||
гости не встали. Журнал: `/var/log/thin-watch.log`.
|
||
|
||
## Ловушки (проверено на практике)
|
||
|
||
1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают
|
||
в 100 ГБ LV.
|
||
2. **fstrim освобождает место только если ФС примонтирована с discard**
|
||
или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`.
|
||
3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов.
|
||
4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если
|
||
ядро старое, команда молча вернёт ошибку.
|
||
|
||
## Возврат места в пул (важно!)
|
||
|
||
**Удаление файлов внутри CT не освобождает место в тонком пуле.**
|
||
Нужен явный `fstrim` внутри контейнера.
|
||
|
||
| Когда | Что делает |
|
||
|---|---|
|
||
| ежедневно 01:45 | `pre_prune.py`: удаляет старые архивы, затем `pct fstrim` по всем CT |
|
||
| еженедельно вс 04:30 | `ct_cleanup.py`: висячие образы Docker, кэш сборки, журналы, `pct fstrim` |
|
||
|
||
Без этого пул растёт монотонно. 22–23.10 он дошёл до **81%**, и vzdump
|
||
перестал создавать снапшоты: бэкап сделал только **9 гостей из 33**.
|
||
Ручной `pct fstrim` вернул **58 ГБ**, пул упал до 63.8%, после догона — 76.5%.
|