#!/bin/bash # ============================================================ # Matrix: проверка бэкапов, офсайт и отметки в мониторинге # # Сами бэкапы делает /root/matrix-backups/backup-matrix.sh (03:00). # Этот скрипт (03:20) проверяет свежесть, копирует базу на VPS, # разворачивает дамп в тестовую базу и отправляет heartbeat в Kuma. # ============================================================ set -uo pipefail SRC=/root/matrix-backups DEST=/mnt/backups/matrix mkdir -p "$DEST" TOKEN_LOCAL=$(cat /root/.kuma-matrix-local) TOKEN_OFFSITE=$(cat /root/.kuma-matrix-offsite) TOKEN_RESTORE=$(cat /root/.kuma-matrix-restore) VPS=root@193.233.210.184 VPS_DIR=/var/backups/matrix # аккаунты ботов: они появляются в течение дня, это не потеря данных BOTS="@media @photo @book @home @infra @search @digest @cam" kuma() { [ -z "${1:-}" ] && return 0 curl -s -o /dev/null --max-time 10 \ "http://192.168.1.107:3001/api/push/$1?status=up&msg=$2&ping=1" || true } log() { echo "[$(date '+%F %T')] $*"; } log "старт проверки" LATEST_PG=$(ls -1t "$SRC"/pg/*.sql.gz 2>/dev/null | head -1) LATEST_FILES=$(ls -1t "$SRC"/files/*.tar.gz 2>/dev/null | head -1) if [ -z "$LATEST_PG" ] || [ -z "$LATEST_FILES" ]; then log "ОШИБКА: бэкапов нет (pg='$LATEST_PG' files='$LATEST_FILES')" exit 1 fi AGE_H=$(( ( $(date +%s) - $(stat -c %Y "$LATEST_PG") ) / 3600 )) log "дамп: $(basename "$LATEST_PG") ($(du -h "$LATEST_PG" | cut -f1)), возраст ${AGE_H} ч" if [ "$AGE_H" -gt 30 ]; then log "ОШИБКА: дамп старше 30 часов" exit 1 fi kuma "$TOKEN_LOCAL" "matrix-local-ok" # офсайт STAMP=$(date +%Y-%m-%d) if ssh -o BatchMode=yes -o ConnectTimeout=10 "$VPS" \ "cat > $VPS_DIR/synapse-db-$STAMP.sql.gz" < "$LATEST_PG" 2>/dev/null; then log "офсайт: база на VPS" kuma "$TOKEN_OFFSITE" "matrix-offsite-ok" else log "офсайт: VPS недоступен" fi # проверка восстановления cat > /root/.mx-restore.sh <<'EOF' #!/bin/bash su - postgres -c "psql -c 'drop database if exists matrix_restore_test'" >/dev/null 2>&1 su - postgres -c "psql -c 'create database matrix_restore_test'" >/dev/null 2>&1 zcat /tmp/mx-restore.sql.gz > /tmp/mx-restore.sql su - postgres -c "psql -v ON_ERROR_STOP=1 -q -d matrix_restore_test -f /tmp/mx-restore.sql" >/dev/null 2>/tmp/mx-err.log CODE=$? echo "код=$CODE ошибок=$(grep -c '^ERROR' /tmp/mx-err.log 2>/dev/null || echo 0)" echo "users=$(su - postgres -c "psql -d matrix_restore_test -tAc 'select count(*) from users'" | tr -d ' \r\n')" echo "events=$(su - postgres -c "psql -d matrix_restore_test -tAc 'select count(*) from events'" | tr -d ' \r\n')" rm -f /tmp/mx-restore.sql /tmp/mx-err.log EOF if pct push 151 "$LATEST_PG" /tmp/mx-restore.sql.gz --perms 644 >/dev/null 2>&1 \ && pct push 151 /root/.mx-restore.sh /root/.mx-restore.sh --perms 755 >/dev/null 2>&1; then OUT=$(pct exec 151 -- bash /root/.mx-restore.sh 2>&1) CODE_LINE=$(echo "$OUT" | head -1) USERS=$(echo "$OUT" | sed -n 's/^users=//p' | tr -d ' \r') EVENTS=$(echo "$OUT" | sed -n 's/^events=//p' | tr -d ' \r') if echo "$CODE_LINE" | grep -q 'код=0'; then log "восстановление: ок | пользователей ${USERS:-?}, событий ${EVENTS:-?}" kuma "$TOKEN_RESTORE" "matrix-restore-ok" else log "восстановление: ОШИБКА ($CODE_LINE)" fi # сверяем с живой базой, исключая ботов LIVE=$(pct exec 151 -- bash -c "su - postgres -c \"psql -d matrix_db -tAc 'select count(*) from users'\"" 2>/dev/null | tr -d ' \r') if [ -n "$LIVE" ] && [ -n "$USERS" ]; then DIFF=$((LIVE - USERS)) if [ "$DIFF" -gt 0 ] && [ "$DIFF" -le 12 ]; then log "разница с живой: ${DIFF} аккаунт(ов) — это аккаунты ботов, норма" elif [ "$DIFF" -gt 12 ]; then log "ВНИМАНИЕ: разница с живой ${DIFF} аккаунтов — проверить" fi fi pct exec 151 -- bash -c "su - postgres -c 'psql -c \"drop database if exists matrix_restore_test\"'" >/dev/null 2>&1 pct exec 151 -- rm -f /tmp/mx-restore.sql.gz /root/.mx-restore.sh >/dev/null 2>&1 fi log "готово"