offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по времени, проверяет что последний не старше 48 часов, затем restic check на 2% данных. Результат — событие backup.done/backup.failed. Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет. Задача запускается ежедневно в 04:00 (94 запуска в журнале). Ложная тревога и причина: первая версия показала «136 ч назад» из-за того, что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот. Теперь сортировка по time вручную.
77 lines
2.6 KiB
Bash
Executable File
77 lines
2.6 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# Проверка офсайт-бэкапа (restic на удалённом узле через Tailscale)
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
|
|
export RESTIC_PASSWORD_FILE="/root/.restic-password"
|
|
|
|
TOKEN=""
|
|
log() { echo "[$(date '+%F %T')] $*"; }
|
|
|
|
notify() {
|
|
local type=$1 detail=$2
|
|
BODY=$(printf '{"source":"offsite-verify","type":"%s","entity":{"kind":"бэкап","key":"offsite","title":"Офсайт"},"payload":{"detail":"%s"}}' \
|
|
"$type" "$detail")
|
|
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
|
|
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
|
|
}
|
|
|
|
log "старт проверки офсайта"
|
|
|
|
# 1. доступность и свежесть
|
|
SNAPS=$(restic snapshots --json 2>/dev/null)
|
|
LATEST_TIME=$(echo "$SNAPS" | python3 -c "
|
|
import json, sys
|
|
try:
|
|
d = json.load(sys.stdin)
|
|
except Exception:
|
|
print('')
|
|
raise SystemExit(0)
|
|
if not d:
|
|
print('')
|
|
raise SystemExit(0)
|
|
d.sort(key=lambda s: s['time'], reverse=True)
|
|
print(d[0]['time'][:19])
|
|
" 2>/dev/null)
|
|
|
|
COUNT=$(echo "$SNAPS" | python3 -c "
|
|
import json, sys
|
|
try:
|
|
print(len(json.load(sys.stdin)))
|
|
except Exception:
|
|
print(0)
|
|
" 2>/dev/null)
|
|
|
|
if [ -z "$LATEST_TIME" ]; then
|
|
log "ОШИБКА: репозиторий недоступен или пуст"
|
|
notify backup.failed "репозиторий недоступен или пуст"
|
|
exit 1
|
|
fi
|
|
|
|
log "снапшотов: ${COUNT:-?}, последний: ${LATEST_TIME}"
|
|
|
|
AGE_H=$(( ( $(date +%s) - $(date -d "$LATEST_TIME" +%s) ) / 3600 ))
|
|
log "возраст последнего: ${AGE_H} ч"
|
|
if [ "$AGE_H" -gt 48 ]; then
|
|
log "ОШИБКА: свежий снапшот старше 48 часов"
|
|
notify backup.failed "последний снапшот ${AGE_H} ч назад"
|
|
exit 1
|
|
fi
|
|
|
|
# 2. проверка целостности (часть данных)
|
|
log "проверка целостности (2% данных)..."
|
|
CHECK=$(restic check --read-data-subset=2% 2>&1)
|
|
if echo "$CHECK" | grep -q "no errors were found"; then
|
|
log "целостность: ошибок нет"
|
|
notify backup.done "снапшотов ${COUNT:-?}, последний ${LATEST_TIME}, проверка 2% данных пройдена"
|
|
log "готово"
|
|
exit 0
|
|
else
|
|
log "ОШИБКА целостности:"
|
|
echo "$CHECK" | tail -3 | sed 's/^/ /'
|
|
notify backup.failed "проверка целостности не пройдена"
|
|
exit 1
|
|
fi
|