diff --git a/ops/hub-core/cron_guard.py b/ops/hub-core/cron_guard.py index c8a9d8d..3bd67ae 100644 --- a/ops/hub-core/cron_guard.py +++ b/ops/hub-core/cron_guard.py @@ -18,6 +18,7 @@ JOBS = { "бэкап базы": ("/var/log/hub-backup.log", 30), "каталог": ("/var/log/hub-catalog.log", 30), "недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8), + "бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30), "продолжить просмотр": ("/var/log/hub-resume.log", 30), "telegram": ("/var/log/hub-telegram.log", 24), } diff --git a/ops/matrix/BACKUP.md b/ops/matrix/BACKUP.md new file mode 100644 index 0000000..1db3964 --- /dev/null +++ b/ops/matrix/BACKUP.md @@ -0,0 +1,44 @@ +# Бэкапы Matrix + +До этого спринта **бэкапов Matrix не было вообще** — три монитора в Kuma +честно показывали «down», но причину никто не проверял. + +## Что теперь делается + +Скрипт `/opt/hub-core/matrix_backup.sh` на узле PVE, запуск 03:15: + +1. **База Synapse** — `pg_dump matrix_db` с общего PostgreSQL (3.3 МБ). +2. **Данные** — `tar` каталога `/opt/matrix/data` из CT 155: медиа, ключи + подписи, конфиг (17 МБ). +3. **Офсайт** — копия базы на VPS `193.233.210.184:/var/backups/matrix/`. +4. **Проверка восстановления** — дамп разворачивается в тестовую базу + `matrix_restore_test`, считается число пользователей. +5. **Ротация** — 14 копий. +6. **Отметки в Kuma** — три монитора получают heartbeat. + +## Проверено + +``` +база: 3.3M +данные: 17M +офсайт: база скопирована на VPS +восстановление: ок, пользователей 30 +готово +``` + +Мониторы после прогона: + +``` +Matrix Local Backup: up (matrix-local-ok) +Matrix Offsite Backup: up (matrix-offsite-ok) +Matrix Restore Test: up (matrix-restore-ok) +``` + +## Ловушки + +* `pg_dump` из CT 155 не работает (нет клиента) — бэкап запускается с узла, + где клиент есть. +* `scp` на VPS вёл себя непредсказуемо — заменил на `ssh "cat > файл"`, + работает стабильно. +* Мониторы были push-типа: они не «сломались», они **ждали сигнала**, + которого никто не отправлял. diff --git a/ops/matrix/backup.sh b/ops/matrix/backup.sh new file mode 100755 index 0000000..d83b5a7 --- /dev/null +++ b/ops/matrix/backup.sh @@ -0,0 +1,78 @@ +#!/bin/bash +# Бэкап Matrix: база Synapse + данные, запускается с узла PVE +set -uo pipefail +DEST=/mnt/backups/matrix +mkdir -p "$DEST" +STAMP=$(date +%Y-%m-%d) + +DB_USER=matrix +DB_PASS=7ee62f1607e451661b1ea659203d919e90a9ce6c591285bf +DB_HOST=192.168.1.151 +DB_NAME=matrix_db + +kuma_push() { + [ -z "${1:-}" ] && return 0 + curl -s -o /dev/null --max-time 10 \ + "http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true +} + +TOKEN_LOCAL=5767150402f7d780402c +TOKEN_OFFSITE=747255608a9df3e81d01 +TOKEN_RESTORE=4464c9566e26c42e519c + +echo "$(date '+%F %T') старт" + +# 1. база +if PGPASSWORD="$DB_PASS" pg_dump -h "$DB_HOST" -U "$DB_USER" -d "$DB_NAME" 2>/tmp/mx-db.err | gzip > "$DEST/synapse-db-$STAMP.sql.gz"; then + if [ -s "$DEST/synapse-db-$STAMP.sql.gz" ]; then + echo "$(date '+%F %T') база: $(du -h "$DEST/synapse-db-$STAMP.sql.gz" | cut -f1)" + else + echo "$(date '+%F %T') ОШИБКА: дамп пустой"; head -2 /tmp/mx-db.err; exit 1 + fi +else + echo "$(date '+%F %T') ОШИБКА: pg_dump"; head -2 /tmp/mx-db.err; exit 1 +fi + +# 2. данные из CT 155 +if pct exec 155 -- tar czf - -C /opt/matrix data > "$DEST/synapse-data-$STAMP.tar.gz" 2>/tmp/mx-tar.err; then + echo "$(date '+%F %T') данные: $(du -h "$DEST/synapse-data-$STAMP.tar.gz" | cut -f1)" +else + echo "$(date '+%F %T') ОШИБКА: tar"; head -2 /tmp/mx-tar.err; exit 1 +fi + +kuma_push "$TOKEN_LOCAL" "matrix-local-ok" + +# 3. офсайт: копия на VPS (если доступен) +if ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 \ + "cat > /var/backups/matrix/synapse-db-$STAMP.sql.gz" \ + < "$DEST/synapse-db-$STAMP.sql.gz" 2>/dev/null; then + echo "$(date '+%F %T') офсайт: база скопирована на VPS" + kuma_push "$TOKEN_OFFSITE" "matrix-offsite-ok" +else + echo "$(date '+%F %T') офсайт: VPS недоступен или нет ключа" +fi + +# 4. проверка восстановления: разворачиваем дамп в тестовую базу +if pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 \ + && pct exec 151 -- bash -c "su - postgres -c 'psql -c \"create database matrix_restore_test\"'" >/dev/null 2>&1; then + pct push 151 "$DEST/synapse-db-$STAMP.sql.gz" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1 + if pct exec 151 -- bash -c "zcat /tmp/mx-restore.sql.gz | su - postgres -c 'psql -q -d matrix_restore_test'" >/dev/null 2>&1; then + N=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_restore_test -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r') + echo "$(date '+%F %T') восстановление: ок, пользователей $N" + kuma_push "$TOKEN_RESTORE" "matrix-restore-ok" + else + echo "$(date '+%F %T') восстановление: ОШИБКА" + fi + pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 + pct exec 151 -- rm -f /tmp/mx-restore.sql.gz >/dev/null 2>&1 +fi + +# 5. ротация +ls -1t "$DEST"/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do + rm -f "$f"; echo "$(date '+%F %T') удалён $(basename "$f")" +done +ls -1t /mnt/backups/matrix-host/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do + rm -f "$f" +done + +echo "$(date '+%F %T') готово"