diff --git a/ops/scripts/fix-offsite-backup.sh b/ops/scripts/fix-offsite-backup.sh new file mode 100755 index 0000000..014576f --- /dev/null +++ b/ops/scripts/fix-offsite-backup.sh @@ -0,0 +1,131 @@ +#!/bin/bash +# ============================================================ +# fix-offsite-backup.sh — устранение ложного успеха во внешних копиях +# ============================================================ +# Что нашлось 14.10.2026: +# +# 1. Для n8n указан путь-заглушка /path/to/n8n/data — его не существует. +# Функция копирования контейнеров не проверяла наличие пути: tar молча +# отдавал пустой поток, restic создавал ПУСТОЙ снимок и писал +# «snapshot saved». В журнале при этом «processed 0 files, 0 B». +# +# 2. Никакой проверки, что в снимок что-то попало, не было. +# +# Это тот же род ошибки, что и весь сегодняшний день: отчёт об успехе +# при отсутствии результата. +# +# Скрипт правит проверки и делает резервную копию самого скрипта. +# +# Запуск: bash fix-offsite-backup.sh +# ============================================================ +set -uo pipefail + +SRC=/opt/buryan-hub/scripts/offsite-backup.sh +STAMP=$(date +%Y%m%d-%H%M%S) + +echo "=== 1. ПРОВЕРЯЮ, СУЩЕСТВУЮТ ЛИ ПУТИ ===" +printf ' %-42s %s\n' ПУТЬ СОСТОЯНИЕ +for pair in '108 /path/to/n8n/data' '108 /opt/automation-lxc/n8n' '109 /opt/files-lxc/vaultwarden/data' '140 /opt/gitea' '140 /opt/gitea/gitea'; do + set -- $pair + ct=$1; p=$2 + if pct exec "$ct" -- test -e "$p" 2>/dev/null; then + printf ' %-42s есть (CT %s)\n' "$p" "$ct" + else + printf ' %-42s НЕТ (CT %s)\n' "$p" "$ct" + fi +done +for p in /opt/buryan-hub /etc/pve /mnt/backups/postgresql /root/backups/db /root/matrix-backups; do + if [ -e "$p" ]; then printf ' %-42s есть\n' "$p"; else printf ' %-42s НЕТ\n' "$p"; fi +done + +echo +echo "=== 2. СОХРАНЯЮ КОПИЮ СКРИПТА ===" +cp "$SRC" "$SRC.bak-$STAMP" && echo " $SRC.bak-$STAMP" + +echo +echo "=== 3. ПРАВЛЮ ПРОВЕРКИ ===" +python3 - "$SRC" <<'PYEOF' +import re +import sys + +path = sys.argv[1] +src = open(path).read() + +# 1. Функция копирования контейнера: добавить проверку пути и результата +old_fn = '''backup_lxc() { + local vmid=$1 + local path=$2 + local tag=$3 + log "Бэкап LXC $vmid:$path (tag=$tag)" + pct exec $vmid -- tar -c -C / "${path#/}" 2>/dev/null | \\ + restic backup --stdin \\ + --stdin-filename "lxc-${vmid}-$(basename $path).tar" \\ + --tag "$tag" 2>&1 | tail -3 | tee -a "$LOG_FILE" +}''' + +new_fn = '''backup_lxc() { + local vmid=$1 + local path=$2 + local tag=$3 + + # Проверка существования пути обязательна. Без неё tar молча отдаёт + # пустой поток, restic создаёт ПУСТОЙ снимок и сообщает об успехе: + # в журнале «processed 0 files, 0 B», а копии нет. + if ! pct exec "$vmid" -- test -e "$path" 2>/dev/null; then + log "ОШИБКА: путь $path в LXC $vmid не существует — копия НЕ создана" + FAILED=$((FAILED + 1)) + return 1 + fi + + log "Бэкап LXC $vmid:$path (tag=$tag)" + local out + out=$(pct exec $vmid -- tar -c -C / "${path#/}" 2>/dev/null | \\ + restic backup --stdin \\ + --stdin-filename "lxc-${vmid}-$(basename $path).tar" \\ + --tag "$tag" 2>&1) + echo "$out" | tail -3 | tee -a "$LOG_FILE" + + # Проверка, что в снимок действительно что-то попало + if ! echo "$out" | grep -qE 'processed [1-9][0-9]* files'; then + log "ОШИБКА: в снимок $tag не попало ни одного файла" + FAILED=$((FAILED + 1)) + return 1 + fi +}''' + +if old_fn in src: + src = src.replace(old_fn, new_fn) + print(" функция backup_lxc заменена") +else: + print(" ВНИМАНИЕ: не нашёл функцию backup_lxc в ожидаемом виде") + +# 2. Путь-заглушка для n8n +if '/path/to/n8n/data' in src: + src = src.replace( + 'backup_lxc 108 "/path/to/n8n/data" "lxc-n8n"', + '# данные n8n переехали в центральную базу и попадают в её выгрузку;\n' + '# здесь копируем каталог целиком — там настройки и файлы\n' + 'backup_lxc 108 "/opt/automation-lxc/n8n" "lxc-n8n"') + print(" путь-заглушка n8n заменён на существующий") + +# 3. Счётчик ошибок и итог +if 'FAILED=' not in src: + src = src.replace('log "=== Начало offsite бэкапа ==="', + 'FAILED=0\n\nlog "=== Начало offsite бэкапа ==="') + src = src.replace('log "=== Offsite бэкап завершён ==="', + 'if [ "$FAILED" -gt 0 ]; then\n' + ' log "=== Offsite бэкап завершён С ОШИБКАМИ: $FAILED ==="\n' + ' exit 1\n' + 'fi\n' + 'log "=== Offsite бэкап завершён успешно ==="') + print(" добавлен подсчёт ошибок и код возврата") + +open(path, 'w').write(src) +PYEOF + +echo +echo "=== 4. ПРОВЕРКА СИНТАКСИСА ===" +bash -n "$SRC" && echo " синтаксис OK" +echo " --- как теперь выглядит проверка ---" +grep -A4 'Проверка существования пути' "$SRC" | head -8 +grep -n 'backup_lxc 108' "$SRC" diff --git a/ops/scripts/offsite-backup.sh b/ops/scripts/offsite-backup.sh new file mode 100755 index 0000000..06e7320 --- /dev/null +++ b/ops/scripts/offsite-backup.sh @@ -0,0 +1,81 @@ +#!/bin/bash +# offsite-backup.sh - ежедневный offsite бэкап через restic (Tailscale) +set -euo pipefail + +LOG_FILE="/var/log/offsite-backup.log" +export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" +export RESTIC_PASSWORD_FILE="/root/.restic-password" + +log() { echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG_FILE"; } + +log "=== Начало offsite бэкапа ===" + +backup_local() { + local path=$1 + local tag=$2 + if [ -d "$path" ]; then + log "Бэкап $path (tag=$tag)" + restic backup "$path" --tag "$tag" \ + --exclude="*.log" --exclude="tmp" --exclude=".cache" \ + --exclude=".git/objects" 2>&1 | tail -3 | tee -a "$LOG_FILE" + else + log "WARN: $path не существует" + fi +} + +backup_lxc() { + local vmid=$1 + local path=$2 + local tag=$3 + + # Проверка существования пути обязательна. Без неё tar молча отдаёт + # пустой поток, restic создаёт ПУСТОЙ снимок и сообщает об успехе: + # в журнале «processed 0 files, 0 B», а копии нет. + if ! pct exec "$vmid" -- test -e "$path" 2>/dev/null; then + log "ОШИБКА: путь $path в LXC $vmid не существует — копия НЕ создана" + FAILED=$((FAILED + 1)) + return 1 + fi + + log "Бэкап LXC $vmid:$path (tag=$tag)" + local out + out=$(pct exec $vmid -- tar -c -C / "${path#/}" 2>/dev/null | \ + restic backup --stdin \ + --stdin-filename "lxc-${vmid}-$(basename $path).tar" \ + --tag "$tag" 2>&1) + echo "$out" | tail -3 | tee -a "$LOG_FILE" + + # Проверка, что в снимок действительно что-то попало + if ! echo "$out" | grep -qE 'processed [1-9][0-9]* files'; then + log "ОШИБКА: в снимок $tag не попало ни одного файла" + FAILED=$((FAILED + 1)) + return 1 + fi +} + +# PVE данные +backup_local "/opt/buryan-hub" "pve-code" +backup_local "/etc/pve" "pve-config" +backup_local "/mnt/backups/postgresql" "pve-postgres-dumps" +backup_local "/root/backups/db" "pve-db-backups" +backup_local "/root/matrix-backups" "pve-matrix-backups" + +# LXC данные (критичные) +# данные n8n переехали в центральную базу и попадают в её выгрузку; +# здесь копируем каталог целиком — там настройки и файлы +backup_lxc 108 "/opt/automation-lxc/n8n" "lxc-n8n" +backup_lxc 109 "/opt/files-lxc/vaultwarden/data" "lxc-vaultwarden" +backup_lxc 140 "/opt/gitea" "lxc-gitea" + +# Ротация снапшотов +log "=== Ротация снапшотов ===" +restic forget \ + --keep-daily 7 \ + --keep-weekly 4 \ + --keep-monthly 12 \ + --prune 2>&1 | tee -a "$LOG_FILE" + +log "=== Статистика ===" +restic stats 2>&1 | tail -5 | tee -a "$LOG_FILE" + +log "=== Offsite бэкап завершён ==="