Проверка офсайт-бэкапа restic: свежесть и целостность

offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.

Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).

Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
This commit is contained in:
buryan-agent committed 2026-10-19 20:58:11 +03:00
1 parent 6d843b0c60
commit a1f0bf4ee3
3 files changed
+114

No files matched your search

+37
View File
@@ -0,0 +1,37 @@
# Проверка офсайт-бэкапа (restic)
Офсайт делается nightly в 04:00: `restic` в репозиторий на удалённом узле
через Tailscale (`sftp:root@100.64.0.2:/backup/restic-repo`).
Проверка (воскресенье 06:00) делает две вещи:
1. **Свежесть** — берёт все снапшоты, сортирует по времени, проверяет что
последний не старше 48 часов.
2. **Целостность** — `restic check --read-data-subset=2%`: читает часть
данных и убеждается, что они не повреждены.
Результат — событие `backup.done` / `backup.failed` в ядро.
## Проверено
```
снапшотов: 96, последний: 2026-10-19T20:47:57
возраст последнего: 0 ч
проверка целостности (2% данных)...
целостность: ошибок нет
```
Отдельно подтверждено, что задача запускается каждый день в 04:00 —
в журнале 94 запуска, последние 16, 17, 18, 19 октября.
## Ложная тревога (и её причина)
Первая версия проверки сообщила «последний снапшот 136 ч назад» — и это
было ошибкой проверки, а не бэкапа. Причина: `restic snapshots --latest 1`
возвращает не самый новый по времени снапшот. Исправлено: список
сортируется по `time` вручную, поэтому свежесть считается честно.
## Что осталось
Проверка читает только 2% данных (полная — слишком долго для недельной).
Для полной проверки можно раз в месяц запускать `--read-data`.
+1
View File
@@ -21,6 +21,7 @@ JOBS = {
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
"проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8),
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
"telegram": ("/var/log/hub-telegram.log", 24),
}
+76
View File
@@ -0,0 +1,76 @@
#!/bin/bash
# ============================================================
# Проверка офсайт-бэкапа (restic на удалённом узле через Tailscale)
# ============================================================
set -uo pipefail
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
TOKEN=""
log() { echo "[$(date '+%F %T')] $*"; }
notify() {
local type=$1 detail=$2
BODY=$(printf '{"source":"offsite-verify","type":"%s","entity":{"kind":"бэкап","key":"offsite","title":"Офсайт"},"payload":{"detail":"%s"}}' \
"$type" "$detail")
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
}
log "старт проверки офсайта"
# 1. доступность и свежесть
SNAPS=$(restic snapshots --json 2>/dev/null)
LATEST_TIME=$(echo "$SNAPS" | python3 -c "
import json, sys
try:
d = json.load(sys.stdin)
except Exception:
print('')
raise SystemExit(0)
if not d:
print('')
raise SystemExit(0)
d.sort(key=lambda s: s['time'], reverse=True)
print(d[0]['time'][:19])
" 2>/dev/null)
COUNT=$(echo "$SNAPS" | python3 -c "
import json, sys
try:
print(len(json.load(sys.stdin)))
except Exception:
print(0)
" 2>/dev/null)
if [ -z "$LATEST_TIME" ]; then
log "ОШИБКА: репозиторий недоступен или пуст"
notify backup.failed "репозиторий недоступен или пуст"
exit 1
fi
log "снапшотов: ${COUNT:-?}, последний: ${LATEST_TIME}"
AGE_H=$(( ( $(date +%s) - $(date -d "$LATEST_TIME" +%s) ) / 3600 ))
log "возраст последнего: ${AGE_H} ч"
if [ "$AGE_H" -gt 48 ]; then
log "ОШИБКА: свежий снапшот старше 48 часов"
notify backup.failed "последний снапшот ${AGE_H} ч назад"
exit 1
fi
# 2. проверка целостности (часть данных)
log "проверка целостности (2% данных)..."
CHECK=$(restic check --read-data-subset=2% 2>&1)
if echo "$CHECK" | grep -q "no errors were found"; then
log "целостность: ошибок нет"
notify backup.done "снапшотов ${COUNT:-?}, последний ${LATEST_TIME}, проверка 2% данных пройдена"
log "готово"
exit 0
else
log "ОШИБКА целостности:"
echo "$CHECK" | tail -3 | sed 's/^/ /'
notify backup.failed "проверка целостности не пройдена"
exit 1
fi