Бэкапы Matrix: база, данные, офсайт, проверка восстановления
Обнаружено, что бэкапов Matrix не существовало: три монитора Kuma честно показывали down, но никто не разбирался. Скрипт на узле (03:15): pg_dump matrix_db (3.3 МБ) + tar данных CT 155 (17 МБ) + копия базы на VPS + разворачивание дампа в тестовую базу с подсчётом пользователей (30) + ротация 14 + heartbeat в три монитора. Проверено: все три монитора стали up (local, offsite, restore), офсайт копируется, восстановление подтверждено. Ловушки: pg_dump из CT 155 не работает (нет клиента) — запуск с узла; scp на VPS нестабилен — заменён на ssh cat; мониторы были push-типа и ждали сигнала, которого не было.
This commit is contained in:
1 parent
b0a1022aaa
commit
a45fbd2559
3 files changed
+123
No files matched your search
@@ -18,6 +18,7 @@ JOBS = {
|
||||
"бэкап базы": ("/var/log/hub-backup.log", 30),
|
||||
"каталог": ("/var/log/hub-catalog.log", 30),
|
||||
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
|
||||
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
|
||||
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
|
||||
"telegram": ("/var/log/hub-telegram.log", 24),
|
||||
}
|
||||
|
||||
@@ -0,0 +1,44 @@
|
||||
# Бэкапы Matrix
|
||||
|
||||
До этого спринта **бэкапов Matrix не было вообще** — три монитора в Kuma
|
||||
честно показывали «down», но причину никто не проверял.
|
||||
|
||||
## Что теперь делается
|
||||
|
||||
Скрипт `/opt/hub-core/matrix_backup.sh` на узле PVE, запуск 03:15:
|
||||
|
||||
1. **База Synapse** — `pg_dump matrix_db` с общего PostgreSQL (3.3 МБ).
|
||||
2. **Данные** — `tar` каталога `/opt/matrix/data` из CT 155: медиа, ключи
|
||||
подписи, конфиг (17 МБ).
|
||||
3. **Офсайт** — копия базы на VPS `193.233.210.184:/var/backups/matrix/`.
|
||||
4. **Проверка восстановления** — дамп разворачивается в тестовую базу
|
||||
`matrix_restore_test`, считается число пользователей.
|
||||
5. **Ротация** — 14 копий.
|
||||
6. **Отметки в Kuma** — три монитора получают heartbeat.
|
||||
|
||||
## Проверено
|
||||
|
||||
```
|
||||
база: 3.3M
|
||||
данные: 17M
|
||||
офсайт: база скопирована на VPS
|
||||
восстановление: ок, пользователей 30
|
||||
готово
|
||||
```
|
||||
|
||||
Мониторы после прогона:
|
||||
|
||||
```
|
||||
Matrix Local Backup: up (matrix-local-ok)
|
||||
Matrix Offsite Backup: up (matrix-offsite-ok)
|
||||
Matrix Restore Test: up (matrix-restore-ok)
|
||||
```
|
||||
|
||||
## Ловушки
|
||||
|
||||
* `pg_dump` из CT 155 не работает (нет клиента) — бэкап запускается с узла,
|
||||
где клиент есть.
|
||||
* `scp` на VPS вёл себя непредсказуемо — заменил на `ssh "cat > файл"`,
|
||||
работает стабильно.
|
||||
* Мониторы были push-типа: они не «сломались», они **ждали сигнала**,
|
||||
которого никто не отправлял.
|
||||
Executable
+78
@@ -0,0 +1,78 @@
|
||||
#!/bin/bash
|
||||
# Бэкап Matrix: база Synapse + данные, запускается с узла PVE
|
||||
set -uo pipefail
|
||||
DEST=/mnt/backups/matrix
|
||||
mkdir -p "$DEST"
|
||||
STAMP=$(date +%Y-%m-%d)
|
||||
|
||||
DB_USER=matrix
|
||||
DB_PASS=7ee62f1607e451661b1ea659203d919e90a9ce6c591285bf
|
||||
DB_HOST=192.168.1.151
|
||||
DB_NAME=matrix_db
|
||||
|
||||
kuma_push() {
|
||||
[ -z "${1:-}" ] && return 0
|
||||
curl -s -o /dev/null --max-time 10 \
|
||||
"http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true
|
||||
}
|
||||
|
||||
TOKEN_LOCAL=5767150402f7d780402c
|
||||
TOKEN_OFFSITE=747255608a9df3e81d01
|
||||
TOKEN_RESTORE=4464c9566e26c42e519c
|
||||
|
||||
echo "$(date '+%F %T') старт"
|
||||
|
||||
# 1. база
|
||||
if PGPASSWORD="$DB_PASS" pg_dump -h "$DB_HOST" -U "$DB_USER" -d "$DB_NAME" 2>/tmp/mx-db.err | gzip > "$DEST/synapse-db-$STAMP.sql.gz"; then
|
||||
if [ -s "$DEST/synapse-db-$STAMP.sql.gz" ]; then
|
||||
echo "$(date '+%F %T') база: $(du -h "$DEST/synapse-db-$STAMP.sql.gz" | cut -f1)"
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: дамп пустой"; head -2 /tmp/mx-db.err; exit 1
|
||||
fi
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: pg_dump"; head -2 /tmp/mx-db.err; exit 1
|
||||
fi
|
||||
|
||||
# 2. данные из CT 155
|
||||
if pct exec 155 -- tar czf - -C /opt/matrix data > "$DEST/synapse-data-$STAMP.tar.gz" 2>/tmp/mx-tar.err; then
|
||||
echo "$(date '+%F %T') данные: $(du -h "$DEST/synapse-data-$STAMP.tar.gz" | cut -f1)"
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: tar"; head -2 /tmp/mx-tar.err; exit 1
|
||||
fi
|
||||
|
||||
kuma_push "$TOKEN_LOCAL" "matrix-local-ok"
|
||||
|
||||
# 3. офсайт: копия на VPS (если доступен)
|
||||
if ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 \
|
||||
"cat > /var/backups/matrix/synapse-db-$STAMP.sql.gz" \
|
||||
< "$DEST/synapse-db-$STAMP.sql.gz" 2>/dev/null; then
|
||||
echo "$(date '+%F %T') офсайт: база скопирована на VPS"
|
||||
kuma_push "$TOKEN_OFFSITE" "matrix-offsite-ok"
|
||||
else
|
||||
echo "$(date '+%F %T') офсайт: VPS недоступен или нет ключа"
|
||||
fi
|
||||
|
||||
# 4. проверка восстановления: разворачиваем дамп в тестовую базу
|
||||
if pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 \
|
||||
&& pct exec 151 -- bash -c "su - postgres -c 'psql -c \"create database matrix_restore_test\"'" >/dev/null 2>&1; then
|
||||
pct push 151 "$DEST/synapse-db-$STAMP.sql.gz" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1
|
||||
if pct exec 151 -- bash -c "zcat /tmp/mx-restore.sql.gz | su - postgres -c 'psql -q -d matrix_restore_test'" >/dev/null 2>&1; then
|
||||
N=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_restore_test -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r')
|
||||
echo "$(date '+%F %T') восстановление: ок, пользователей $N"
|
||||
kuma_push "$TOKEN_RESTORE" "matrix-restore-ok"
|
||||
else
|
||||
echo "$(date '+%F %T') восстановление: ОШИБКА"
|
||||
fi
|
||||
pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1
|
||||
pct exec 151 -- rm -f /tmp/mx-restore.sql.gz >/dev/null 2>&1
|
||||
fi
|
||||
|
||||
# 5. ротация
|
||||
ls -1t "$DEST"/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
|
||||
rm -f "$f"; echo "$(date '+%F %T') удалён $(basename "$f")"
|
||||
done
|
||||
ls -1t /mnt/backups/matrix-host/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
|
||||
rm -f "$f"
|
||||
done
|
||||
|
||||
echo "$(date '+%F %T') готово"
|
||||
Reference in new issue
Block a user