Files
buryan-infra/ops/hub-core/offsite_verify.sh
T
buryan-agent a1f0bf4ee3 Проверка офсайт-бэкапа restic: свежесть и целостность
offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.

Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).

Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
2026-10-19 20:58:11 +03:00

77 lines
2.6 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# Проверка офсайт-бэкапа (restic на удалённом узле через Tailscale)
# ============================================================
set -uo pipefail
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
TOKEN=""
log() { echo "[$(date '+%F %T')] $*"; }
notify() {
local type=$1 detail=$2
BODY=$(printf '{"source":"offsite-verify","type":"%s","entity":{"kind":"бэкап","key":"offsite","title":"Офсайт"},"payload":{"detail":"%s"}}' \
"$type" "$detail")
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
}
log "старт проверки офсайта"
# 1. доступность и свежесть
SNAPS=$(restic snapshots --json 2>/dev/null)
LATEST_TIME=$(echo "$SNAPS" | python3 -c "
import json, sys
try:
d = json.load(sys.stdin)
except Exception:
print('')
raise SystemExit(0)
if not d:
print('')
raise SystemExit(0)
d.sort(key=lambda s: s['time'], reverse=True)
print(d[0]['time'][:19])
" 2>/dev/null)
COUNT=$(echo "$SNAPS" | python3 -c "
import json, sys
try:
print(len(json.load(sys.stdin)))
except Exception:
print(0)
" 2>/dev/null)
if [ -z "$LATEST_TIME" ]; then
log "ОШИБКА: репозиторий недоступен или пуст"
notify backup.failed "репозиторий недоступен или пуст"
exit 1
fi
log "снапшотов: ${COUNT:-?}, последний: ${LATEST_TIME}"
AGE_H=$(( ( $(date +%s) - $(date -d "$LATEST_TIME" +%s) ) / 3600 ))
log "возраст последнего: ${AGE_H} ч"
if [ "$AGE_H" -gt 48 ]; then
log "ОШИБКА: свежий снапшот старше 48 часов"
notify backup.failed "последний снапшот ${AGE_H} ч назад"
exit 1
fi
# 2. проверка целостности (часть данных)
log "проверка целостности (2% данных)..."
CHECK=$(restic check --read-data-subset=2% 2>&1)
if echo "$CHECK" | grep -q "no errors were found"; then
log "целостность: ошибок нет"
notify backup.done "снапшотов ${COUNT:-?}, последний ${LATEST_TIME}, проверка 2% данных пройдена"
log "готово"
exit 0
else
log "ОШИБКА целостности:"
echo "$CHECK" | tail -3 | sed 's/^/ /'
notify backup.failed "проверка целостности не пройдена"
exit 1
fi