Files

195 lines
8.1 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Учения восстановления баз (автоматические)
## Что делает
Таймер **`hub-restore-drill.timer`, 3-го числа в 05:00** запускает
`/opt/hub-core/restore_drill.py`:
1. Берёт самый свежий дамп каждой базы.
2. Создаёт **черновую** базу (`<имя>_drill`) на том же сервере.
3. Заливает дамп, считает таблицы и ошибки.
4. Удаляет черновую базу — рабочие не трогаются.
Если хоть одна база не восстановилась — уведомление с пометкой `high`.
## Результат прогона 22.10
```
учения восстановления: 4/4
✅ netbox: таблиц 208, ошибок 0
✅ authentik: таблиц 165, ошибок 0
✅ monica: таблиц 95, ошибок 0
✅ nextcloud: таблиц 204, ошибок 0
✅ docmost: таблиц 48, ошибок 0
```
Отчёт: `/var/lib/hub-agents/journal/YYYY-MM-DD-restore-drill.json`.
## Ловушки (все пойманы на практике)
1. **Postgres в контейнере Authentik:** переменная `POSTGRES_USER`
содержит `authentik_user`, но **такой роли нет** — рабочая роль
называется `authentik`. Проверять `select current_user`.
2. **В контейнере `postgres` нет роли `postgres`** — суперпользователь
задаётся при инициализации и может называться иначе.
3. **MariaDB: `-p$VAR` внутри `pct exec ... sh -c` не раскрывается** —
пароль нужно подставлять литералом, читая его из `docker inspect`.
4. **Права:** пользователь БД может не иметь права `CREATE DATABASE`
(Monica, Nextcloud) — создавать черновую базу надо под root.
5. **Подсчёт таблиц**: кавычки в SQL внутри вложенных `sh -c`
ломаются; надёжнее запускать `psql/mariadb` с `-c` и двойными
кавычками вокруг всего запроса.
## Ручной прогон
```bash
/opt/music-tools/venv/bin/python /opt/hub-core/restore_drill.py
```
---
## Учения по конфигам (22.10, 05:50)
Развернул последний архив конфигов во временный каталог и проверил
читаемость вложенных архивов.
```
архив: configs-20261022-0532.tar.gz (244 МБ)
распаковано: 121 файл
вложенных .tgz: 62, битых 0
```
Ключевые цели на месте:
| Файл | Есть |
|---|---|
| homeassistant-config.tgz | ✅ (16 yaml внутри) |
| gitea-conf.tgz | ✅ |
| grocy-config.tgz | ✅ |
| memos-data.tgz | ✅ |
| beszel-data.tgz | ✅ |
| vikunja-db.tgz | ✅ |
| docmost-data.tgz | ✅ |
**Вывод**: архив конфигов не только создаётся, но и разворачивается
целиком, все вложенные архивы читаются.
---
# Бэкапы: как делать и как восстанавливать
## Что где лежит
| Что | Где | Расписание | Хранение |
|---|---|---|---|
| Образы гостей (vzdump) | `/mnt/backups/dump` | 02:00 ежедневно | **1 копия** на гостя |
| Конфиги сервисов | `/mnt/backups/configs` | 03:45 | 14 дней |
| Дампы баз (SQL) | `/mnt/backups/db` | 03:15 | 14 дней |
## Проверить состояние
```bash
# сколько копий и сколько места
ls -lh /mnt/backups/dump | tail -5
df -h /mnt/backups
# важно: тонкий пул
lvs -o lv_name,data_percent pve/data
```
**Тонкий пул — критичное место.** Он общий для дисков гостей и для
LV `backups` (100 ГБ). Если пул заполнится, гости зависнут, а vzdump
перестанет создавать снапшоты.
## Если пул выше 85%
1. Проверить, не идёт ли бэкап: `pvesh get /nodes/pve/tasks --limit 5`
2. Освободить место:
```bash
# удалить самые старые архивы (по одному!)
ls -t /mnt/backups/dump/*.zst | tail -1 | xargs rm -f
fstrim -v /mnt/backups
```
3. Если не помогает — `pct fstrim <id>` на всех CT:
```bash
for id in $(pct list | awk 'NR>1{print $1}'); do pct fstrim $id; done
```
## Ручной бэкап одного гостя
```bash
vzdump 140 --storage backups --compress zstd --mode snapshot
```
## Восстановить гостя из архива
```bash
# посмотреть содержимое
zstd -dc /mnt/backups/dump/vzdump-lxc-140-YYYY_MM_DD-HH_MM_SS.tar.zst | tar -tf - | head
# восстановить под новым ID (безопасно, не затирает старый)
pct restore 240 /mnt/backups/dump/vzdump-lxc-140-*.tar.zst --storage local-lvm
```
## Восстановить базу из дампа
```bash
gunzip -c /mnt/backups/db/netbox-YYYYMMDD-HHMM.sql.gz | \
pct exec 103 -- docker exec -i netbox-postgres psql -U netbox -d netbox
gunzip -c /mnt/backups/db/monica-*.sql.gz | \
pct exec 110 -- docker exec -i monica-db mariadb -umonica -pMonicaPwd2026 monica
```
## Проверить, что бэкап читается
```bash
# целостность архива
zstd -t /mnt/backups/dump/vzdump-lxc-140-*.zst
# дампа
gunzip -t /mnt/backups/db/*.sql.gz && echo "дампы ок"
```
## Проверка целостности
Раз в неделю (вс 05:30) `hub-integrity.timer` прогоняет:
| Что | Команда |
|---|---|
| архивы гостей | `zstd -t` |
| дампы баз | `gzip -t` |
| конфиги | `tar -tzf` |
Результат: `/var/lib/hub-agents/journal/YYYY-MM-DD-integrity.json`,
при битых файлах — уведомление. Прогон 22.10: **58 файлов, битых 0**.
## Сторож пула
На время ночного бэкапа запускается `thin_watch.py`: каждые 30 секунд
смотрит занятость пула и при 88% удаляет самый старый архив, чтобы
гости не встали. Журнал: `/var/log/thin-watch.log`.
## Ловушки (проверено на практике)
1. **`prune-backups keep-last=1`** — иначе 34 гостя × 2 копии не влезают
в 100 ГБ LV.
2. **fstrim освобождает место только если ФС примонтирована с discard**
или вызван явно; после удаления архивов нужно `fstrim /mnt/backups`.
3. **Снапшот требует свободного места в пуле**, а не только в LV бэкапов.
4. **`pct fstrim` работает не на всех ФС** — на 33 CT прошёл, но если
ядро старое, команда молча вернёт ошибку.
## Возврат места в пул (важно!)
**Удаление файлов внутри CT не освобождает место в тонком пуле.**
Нужен явный `fstrim` внутри контейнера.
| Когда | Что делает |
|---|---|
| ежедневно 01:45 | `pre_prune.py`: удаляет старые архивы, затем `pct fstrim` по всем CT |
| еженедельно вс 04:30 | `ct_cleanup.py`: висячие образы Docker, кэш сборки, журналы, `pct fstrim` |
Без этого пул растёт монотонно. 22–23.10 он дошёл до **81%**, и vzdump
перестал создавать снапшоты: бэкап сделал только **9 гостей из 33**.
Ручной `pct fstrim` вернул **58 ГБ**, пул упал до 63.8%, после догона — 76.5%.