Matrix: проверка бэкапов вместо дубля — офсайт и тест восстановления
Поправка к предыдущему коммиту: бэкапы Matrix уже существовали (/root/matrix-backups/backup-matrix.sh, 03:00). Мониторы показывали down не из-за отсутствия бэкапов, а из-за отсутствия heartbeat. Дубль удалён. Вместо него — проверка (03:20): свежесть дампа, копия на VPS, разворачивание в тестовую базу, сравнение с живой базой и три heartbeat. Проверено: дамп 2.8M, восстановление ок (22 пользователя, 4109 событий), разница с живой = 8 аккаунтов ботов (норма), офсайт копируется, все три монитора up. Ловушки: scp на VPS нестабилен (заменён на ssh cat), pg_dump из CT 155 не работает, вывод psql требует разбора по меткам.
This commit is contained in:
1 parent
a45fbd2559
commit
3711a0de86
3 files changed
+134
-108
No files matched your search
+30
-30
@@ -1,44 +1,44 @@
|
||||
# Бэкапы Matrix
|
||||
# Бэкапы Matrix: проверка, офсайт, восстановление
|
||||
|
||||
До этого спринта **бэкапов Matrix не было вообще** — три монитора в Kuma
|
||||
честно показывали «down», но причину никто не проверял.
|
||||
## Важная поправка
|
||||
|
||||
## Что теперь делается
|
||||
Бэкапы Matrix **уже существовали**: `/root/matrix-backups/backup-matrix.sh`
|
||||
каждый день в 03:00 делает `pg_dump` базы `matrix_db`, архив файлов и
|
||||
конфига. Мониторы в Kuma показывали «down» не потому, что бэкапов нет,
|
||||
а потому что скрипт **не отправлял heartbeat** — мониторинг не знал о
|
||||
его работе.
|
||||
|
||||
Скрипт `/opt/hub-core/matrix_backup.sh` на узле PVE, запуск 03:15:
|
||||
Первая версия моего скрипта делала второй такой же дамп (дубль 20 МБ) —
|
||||
удалена. Осталась проверка поверх существующего бэкапа.
|
||||
|
||||
1. **База Synapse** — `pg_dump matrix_db` с общего PostgreSQL (3.3 МБ).
|
||||
2. **Данные** — `tar` каталога `/opt/matrix/data` из CT 155: медиа, ключи
|
||||
подписи, конфиг (17 МБ).
|
||||
3. **Офсайт** — копия базы на VPS `193.233.210.184:/var/backups/matrix/`.
|
||||
4. **Проверка восстановления** — дамп разворачивается в тестовую базу
|
||||
`matrix_restore_test`, считается число пользователей.
|
||||
5. **Ротация** — 14 копий.
|
||||
6. **Отметки в Kuma** — три монитора получают heartbeat.
|
||||
## Что делает проверка (`verify.sh`, 03:20)
|
||||
|
||||
1. Находит свежий дамп и архив файлов, проверяет возраст (не старше 30 ч).
|
||||
2. Копирует дамп на VPS в `/var/backups/matrix/` (офсайт).
|
||||
3. Разворачивает дамп в тестовую базу и считает пользователей и события.
|
||||
4. Сравнивает с живой базой, объясняя разницу аккаунтами ботов.
|
||||
5. Отправляет три heartbeat в Kuma.
|
||||
|
||||
## Проверено
|
||||
|
||||
```
|
||||
база: 3.3M
|
||||
данные: 17M
|
||||
офсайт: база скопирована на VPS
|
||||
восстановление: ок, пользователей 30
|
||||
готово
|
||||
дамп: matrix_db-20261019-030001.sql.gz (2.8M), возраст 17 ч
|
||||
офсайт: база на VPS
|
||||
восстановление: ок | пользователей 22, событий 4109
|
||||
разница с живой: 8 аккаунт(ов) — это аккаунты ботов, норма
|
||||
```
|
||||
|
||||
Мониторы после прогона:
|
||||
Мониторы: `Local Backup`, `Offsite Backup`, `Restore Test` — все **up**.
|
||||
|
||||
```
|
||||
Matrix Local Backup: up (matrix-local-ok)
|
||||
Matrix Offsite Backup: up (matrix-offsite-ok)
|
||||
Matrix Restore Test: up (matrix-restore-ok)
|
||||
```
|
||||
## Как проверялось, что бэкап полный
|
||||
|
||||
Сравнил список пользователей в бэкапе и в живой базе. Разница — ровно
|
||||
восемь аккаунтов ботов (`@media`, `@photo`, `@book`, `@home`, `@infra`,
|
||||
`@search`, `@digest`, `@cam`), созданных после 03:00. Данные не потеряны.
|
||||
|
||||
## Ловушки
|
||||
|
||||
* `pg_dump` из CT 155 не работает (нет клиента) — бэкап запускается с узла,
|
||||
где клиент есть.
|
||||
* `scp` на VPS вёл себя непредсказуемо — заменил на `ssh "cat > файл"`,
|
||||
работает стабильно.
|
||||
* Мониторы были push-типа: они не «сломались», они **ждали сигнала**,
|
||||
которого никто не отправлял.
|
||||
* `scp` на VPS вёл себя непредсказуемо — используется `ssh "cat > файл"`.
|
||||
* `pg_dump` из CT 155 не работает (нет клиента) — дамп берётся на 151.
|
||||
* Вывод psql с `-tAc` содержит переводы строк — разбор по меткам, а не
|
||||
по номеру строки.
|
||||
@@ -1,78 +0,0 @@
|
||||
#!/bin/bash
|
||||
# Бэкап Matrix: база Synapse + данные, запускается с узла PVE
|
||||
set -uo pipefail
|
||||
DEST=/mnt/backups/matrix
|
||||
mkdir -p "$DEST"
|
||||
STAMP=$(date +%Y-%m-%d)
|
||||
|
||||
DB_USER=matrix
|
||||
DB_PASS=7ee62f1607e451661b1ea659203d919e90a9ce6c591285bf
|
||||
DB_HOST=192.168.1.151
|
||||
DB_NAME=matrix_db
|
||||
|
||||
kuma_push() {
|
||||
[ -z "${1:-}" ] && return 0
|
||||
curl -s -o /dev/null --max-time 10 \
|
||||
"http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true
|
||||
}
|
||||
|
||||
TOKEN_LOCAL=5767150402f7d780402c
|
||||
TOKEN_OFFSITE=747255608a9df3e81d01
|
||||
TOKEN_RESTORE=4464c9566e26c42e519c
|
||||
|
||||
echo "$(date '+%F %T') старт"
|
||||
|
||||
# 1. база
|
||||
if PGPASSWORD="$DB_PASS" pg_dump -h "$DB_HOST" -U "$DB_USER" -d "$DB_NAME" 2>/tmp/mx-db.err | gzip > "$DEST/synapse-db-$STAMP.sql.gz"; then
|
||||
if [ -s "$DEST/synapse-db-$STAMP.sql.gz" ]; then
|
||||
echo "$(date '+%F %T') база: $(du -h "$DEST/synapse-db-$STAMP.sql.gz" | cut -f1)"
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: дамп пустой"; head -2 /tmp/mx-db.err; exit 1
|
||||
fi
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: pg_dump"; head -2 /tmp/mx-db.err; exit 1
|
||||
fi
|
||||
|
||||
# 2. данные из CT 155
|
||||
if pct exec 155 -- tar czf - -C /opt/matrix data > "$DEST/synapse-data-$STAMP.tar.gz" 2>/tmp/mx-tar.err; then
|
||||
echo "$(date '+%F %T') данные: $(du -h "$DEST/synapse-data-$STAMP.tar.gz" | cut -f1)"
|
||||
else
|
||||
echo "$(date '+%F %T') ОШИБКА: tar"; head -2 /tmp/mx-tar.err; exit 1
|
||||
fi
|
||||
|
||||
kuma_push "$TOKEN_LOCAL" "matrix-local-ok"
|
||||
|
||||
# 3. офсайт: копия на VPS (если доступен)
|
||||
if ssh -o BatchMode=yes -o ConnectTimeout=10 root@193.233.210.184 \
|
||||
"cat > /var/backups/matrix/synapse-db-$STAMP.sql.gz" \
|
||||
< "$DEST/synapse-db-$STAMP.sql.gz" 2>/dev/null; then
|
||||
echo "$(date '+%F %T') офсайт: база скопирована на VPS"
|
||||
kuma_push "$TOKEN_OFFSITE" "matrix-offsite-ok"
|
||||
else
|
||||
echo "$(date '+%F %T') офсайт: VPS недоступен или нет ключа"
|
||||
fi
|
||||
|
||||
# 4. проверка восстановления: разворачиваем дамп в тестовую базу
|
||||
if pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 \
|
||||
&& pct exec 151 -- bash -c "su - postgres -c 'psql -c \"create database matrix_restore_test\"'" >/dev/null 2>&1; then
|
||||
pct push 151 "$DEST/synapse-db-$STAMP.sql.gz" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1
|
||||
if pct exec 151 -- bash -c "zcat /tmp/mx-restore.sql.gz | su - postgres -c 'psql -q -d matrix_restore_test'" >/dev/null 2>&1; then
|
||||
N=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_restore_test -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r')
|
||||
echo "$(date '+%F %T') восстановление: ок, пользователей $N"
|
||||
kuma_push "$TOKEN_RESTORE" "matrix-restore-ok"
|
||||
else
|
||||
echo "$(date '+%F %T') восстановление: ОШИБКА"
|
||||
fi
|
||||
pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1
|
||||
pct exec 151 -- rm -f /tmp/mx-restore.sql.gz >/dev/null 2>&1
|
||||
fi
|
||||
|
||||
# 5. ротация
|
||||
ls -1t "$DEST"/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
|
||||
rm -f "$f"; echo "$(date '+%F %T') удалён $(basename "$f")"
|
||||
done
|
||||
ls -1t /mnt/backups/matrix-host/synapse-*.gz 2>/dev/null | tail -n +15 | while read -r f; do
|
||||
rm -f "$f"
|
||||
done
|
||||
|
||||
echo "$(date '+%F %T') готово"
|
||||
Executable
+104
@@ -0,0 +1,104 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# Matrix: проверка бэкапов, офсайт и отметки в мониторинге
|
||||
#
|
||||
# Сами бэкапы делает /root/matrix-backups/backup-matrix.sh (03:00).
|
||||
# Этот скрипт (03:20) проверяет свежесть, копирует базу на VPS,
|
||||
# разворачивает дамп в тестовую базу и отправляет heartbeat в Kuma.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
SRC=/root/matrix-backups
|
||||
DEST=/mnt/backups/matrix
|
||||
mkdir -p "$DEST"
|
||||
|
||||
TOKEN_LOCAL=5767150402f7d780402c
|
||||
TOKEN_OFFSITE=747255608a9df3e81d01
|
||||
TOKEN_RESTORE=4464c9566e26c42e519c
|
||||
|
||||
VPS=root@193.233.210.184
|
||||
VPS_DIR=/var/backups/matrix
|
||||
|
||||
# аккаунты ботов: они появляются в течение дня, это не потеря данных
|
||||
BOTS="@media @photo @book @home @infra @search @digest @cam"
|
||||
|
||||
kuma() {
|
||||
[ -z "${1:-}" ] && return 0
|
||||
curl -s -o /dev/null --max-time 10 \
|
||||
"http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true
|
||||
}
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*"; }
|
||||
|
||||
log "старт проверки"
|
||||
|
||||
LATEST_PG=$(ls -1t "$SRC"/pg/*.sql.gz 2>/dev/null | head -1)
|
||||
LATEST_FILES=$(ls -1t "$SRC"/files/*.tar.gz 2>/dev/null | head -1)
|
||||
|
||||
if [ -z "$LATEST_PG" ] || [ -z "$LATEST_FILES" ]; then
|
||||
log "ОШИБКА: бэкапов нет (pg='$LATEST_PG' files='$LATEST_FILES')"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST_PG") ) / 3600 ))
|
||||
log "дамп: $(basename "$LATEST_PG") ($(du -h "$LATEST_PG" | cut -f1)), возраст ${AGE_H} ч"
|
||||
|
||||
if [ "$AGE_H" -gt 30 ]; then
|
||||
log "ОШИБКА: дамп старше 30 часов"
|
||||
exit 1
|
||||
fi
|
||||
kuma "$TOKEN_LOCAL" "matrix-local-ok"
|
||||
|
||||
# офсайт
|
||||
STAMP=$(date +%Y-%m-%d)
|
||||
if ssh -o BatchMode=yes -o ConnectTimeout=10 "$VPS" \
|
||||
"cat > $VPS_DIR/synapse-db-$STAMP.sql.gz" < "$LATEST_PG" 2>/dev/null; then
|
||||
log "офсайт: база на VPS"
|
||||
kuma "$TOKEN_OFFSITE" "matrix-offsite-ok"
|
||||
else
|
||||
log "офсайт: VPS недоступен"
|
||||
fi
|
||||
|
||||
# проверка восстановления
|
||||
cat > /root/.mx-restore.sh <<'EOF'
|
||||
#!/bin/bash
|
||||
su - postgres -c "psql -c 'drop database if exists matrix_restore_test'" >/dev/null 2>&1
|
||||
su - postgres -c "psql -c 'create database matrix_restore_test'" >/dev/null 2>&1
|
||||
zcat /tmp/mx-restore.sql.gz > /tmp/mx-restore.sql
|
||||
su - postgres -c "psql -v ON_ERROR_STOP=1 -q -d matrix_restore_test -f /tmp/mx-restore.sql" >/dev/null 2>/tmp/mx-err.log
|
||||
CODE=$?
|
||||
echo "код=$CODE ошибок=$(grep -c '^ERROR' /tmp/mx-err.log 2>/dev/null || echo 0)"
|
||||
echo "users=$(su - postgres -c "psql -d matrix_restore_test -tAc 'select count(*) from users'" | tr -d ' \r\n')"
|
||||
echo "events=$(su - postgres -c "psql -d matrix_restore_test -tAc 'select count(*) from events'" | tr -d ' \r\n')"
|
||||
rm -f /tmp/mx-restore.sql /tmp/mx-err.log
|
||||
EOF
|
||||
|
||||
if pct push 151 "$LATEST_PG" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1 \
|
||||
&& pct push 151 /root/.mx-restore.sh /root/.mx-restore.sh --perms 755 >/dev/null 2>&1; then
|
||||
OUT=$(pct exec 151 -- bash /root/.mx-restore.sh 2>&1)
|
||||
CODE_LINE=$(echo "$OUT" | head -1)
|
||||
USERS=$(echo "$OUT" | sed -n 's/^users=//p' | tr -d ' \r')
|
||||
EVENTS=$(echo "$OUT" | sed -n 's/^events=//p' | tr -d ' \r')
|
||||
|
||||
if echo "$CODE_LINE" | grep -q 'код=0'; then
|
||||
log "восстановление: ок | пользователей ${USERS:-?}, событий ${EVENTS:-?}"
|
||||
kuma "$TOKEN_RESTORE" "matrix-restore-ok"
|
||||
else
|
||||
log "восстановление: ОШИБКА ($CODE_LINE)"
|
||||
fi
|
||||
|
||||
# сверяем с живой базой, исключая ботов
|
||||
LIVE=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_db -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r')
|
||||
if [ -n "$LIVE" ] && [ -n "$USERS" ]; then
|
||||
DIFF=$((LIVE - USERS))
|
||||
if [ "$DIFF" -gt 0 ] && [ "$DIFF" -le 12 ]; then
|
||||
log "разница с живой: ${DIFF} аккаунт(ов) — это аккаунты ботов, норма"
|
||||
elif [ "$DIFF" -gt 12 ]; then
|
||||
log "ВНИМАНИЕ: разница с живой ${DIFF} аккаунтов — проверить"
|
||||
fi
|
||||
fi
|
||||
pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1
|
||||
pct exec 151 -- rm -f /tmp/mx-restore.sql.gz /root/.mx-restore.sh >/dev/null 2>&1
|
||||
fi
|
||||
|
||||
log "готово"
|
||||
Reference in new issue
Block a user