Бэкапы Matrix: база, данные, офсайт, проверка восстановления

Обнаружено, что бэкапов Matrix не существовало: три монитора Kuma честно
показывали down, но никто не разбирался.

Скрипт на узле (03:15): pg_dump matrix_db (3.3 МБ) + tar данных CT 155
(17 МБ) + копия базы на VPS + разворачивание дампа в тестовую базу с
подсчётом пользователей (30) + ротация 14 + heartbeat в три монитора.

Проверено: все три монитора стали up (local, offsite, restore), офсайт
копируется, восстановление подтверждено.

Ловушки: pg_dump из CT 155 не работает (нет клиента) — запуск с узла;
scp на VPS нестабилен — заменён на ssh cat; мониторы были push-типа и
ждали сигнала, которого не было.
This commit is contained in:
buryan-agent committed 2026-10-19 20:29:22 +03:00
1 parent b0a1022aaa
commit a45fbd2559
3 files changed
+123

No files matched your search

+1
View File
@@ -18,6 +18,7 @@ JOBS = {
"бэкап базы": ("/var/log/hub-backup.log", 30),
"каталог": ("/var/log/hub-catalog.log", 30),
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
"telegram": ("/var/log/hub-telegram.log", 24),
}
+44
View File
@@ -0,0 +1,44 @@
# Бэкапы Matrix
До этого спринта **бэкапов Matrix не было вообще** — три монитора в Kuma
честно показывали «down», но причину никто не проверял.
## Что теперь делается
Скрипт `/opt/hub-core/matrix_backup.sh` на узле PVE, запуск 03:15:
1. **База Synapse** — `pg_dump matrix_db` с общего PostgreSQL (3.3 МБ).
2. **Данные** — `tar` каталога `/opt/matrix/data` из CT 155: медиа, ключи
подписи, конфиг (17 МБ).
3. **Офсайт** — копия базы на VPS `193.233.210.184:/var/backups/matrix/`.
4. **Проверка восстановления** — дамп разворачивается в тестовую базу
`matrix_restore_test`, считается число пользователей.
5. **Ротация** — 14 копий.
6. **Отметки в Kuma** — три монитора получают heartbeat.
## Проверено
```
база: 3.3M
данные: 17M
офсайт: база скопирована на VPS
восстановление: ок, пользователей 30
готово
```
Мониторы после прогона:
```
Matrix Local Backup: up (matrix-local-ok)
Matrix Offsite Backup: up (matrix-offsite-ok)
Matrix Restore Test: up (matrix-restore-ok)
```
## Ловушки
* `pg_dump` из CT 155 не работает (нет клиента) — бэкап запускается с узла,
где клиент есть.
* `scp` на VPS вёл себя непредсказуемо — заменил на `ssh "cat > файл"`,
работает стабильно.
* Мониторы были push-типа: они не «сломались», они **ждали сигнала**,
которого никто не отправлял.
+78
View File
@@ -0,0 +1,78 @@
#!/bin/bash
# Бэкап Matrix: база Synapse + данные, запускается с узла PVE
set -uo pipefail
DEST=/mnt/backups/matrix
mkdir -p "$DEST"
STAMP=$(date +%Y-%m-%d)
DB_USER=matrix
DB_PASS=7ee62f1607e451661b1ea659203d919e90a9ce6c591285bf
DB_HOST=192.168.1.151
DB_NAME=matrix_db
kuma_push() {
[ -z "${1:-}" ] && return 0
curl -s -o /dev/null --max-time 10 \
"http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true
}
TOKEN_LOCAL=5767150402f7d780402c
TOKEN_OFFSITE=747255608a9df3e81d01
TOKEN_RESTORE=4464c9566e26c42e519c
echo "$(date '+%F %T') старт"
# 1. база
if PGPASSWORD="$DB_PASS" pg_dump -h "$DB_HOST" -U "$DB_USER" -d "$DB_NAME" 2>/tmp/mx-db.err | gzip > "$DEST/synapse-db-$STAMP.sql.gz"; then
if [ -s "$DEST/synapse-db-$STAMP.sql.gz" ]; then
echo "$(date '+%F %T') база: $(du -h "$DEST/synapse-db-$STAMP.sql.gz" | cut -f1)"
else
echo "$(date '+%F %T') ОШИБКА: дамп пустой"; head -2 /tmp/mx-db.err; exit 1
fi
else
echo "$(date '+%F %T') ОШИБКА: pg_dump"; head -2 /tmp/mx-db.err; exit 1
fi
# 2. данные из CT 155
if pct exec 155 -- tar czf - -C /opt/matrix data > "$DEST/synapse-data-$STAMP.tar.gz" 2>/tmp/mx-tar.err; then
echo "$(date '+%F %T') данные: $(du -h "$DEST/synapse-data-$STAMP.tar.gz" | cut -f1)"
else
echo "$(date '+%F %T') ОШИБКА: tar"; head -2 /tmp/mx-tar.err; exit 1
fi
kuma_push "$TOKEN_LOCAL" "matrix-local-ok"
# 3. офсайт: копия на VPS (если доступен)
if ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 \
"cat > /var/backups/matrix/synapse-db-$STAMP.sql.gz" \
< "$DEST/synapse-db-$STAMP.sql.gz" 2>/dev/null; then
echo "$(date '+%F %T') офсайт: база скопирована на VPS"
kuma_push "$TOKEN_OFFSITE" "matrix-offsite-ok"
else
echo "$(date '+%F %T') офсайт: VPS недоступен или нет ключа"
fi
# 4. проверка восстановления: разворачиваем дамп в тестовую базу
if pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 \
&& pct exec 151 -- bash -c "su - postgres -c 'psql -c \"create database matrix_restore_test\"'" >/dev/null 2>&1; then
pct push 151 "$DEST/synapse-db-$STAMP.sql.gz" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1
if pct exec 151 -- bash -c "zcat /tmp/mx-restore.sql.gz | su - postgres -c 'psql -q -d matrix_restore_test'" >/dev/null 2>&1; then
N=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_restore_test -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r')
echo "$(date '+%F %T') восстановление: ок, пользователей $N"
kuma_push "$TOKEN_RESTORE" "matrix-restore-ok"
else
echo "$(date '+%F %T') восстановление: ОШИБКА"
fi
pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1
pct exec 151 -- rm -f /tmp/mx-restore.sql.gz >/dev/null 2>&1
fi
# 5. ротация
ls -1t "$DEST"/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
rm -f "$f"; echo "$(date '+%F %T') удалён $(basename "$f")"
done
ls -1t /mnt/backups/matrix-host/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
rm -f "$f"
done
echo "$(date '+%F %T') готово"