Проверка офсайт-бэкапа restic: свежесть и целостность
offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по времени, проверяет что последний не старше 48 часов, затем restic check на 2% данных. Результат — событие backup.done/backup.failed. Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет. Задача запускается ежедневно в 04:00 (94 запуска в журнале). Ложная тревога и причина: первая версия показала «136 ч назад» из-за того, что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот. Теперь сортировка по time вручную.
This commit is contained in:
1 parent
6d843b0c60
commit
a1f0bf4ee3
3 files changed
+114
No files matched your search
@@ -0,0 +1,37 @@
|
||||
# Проверка офсайт-бэкапа (restic)
|
||||
|
||||
Офсайт делается nightly в 04:00: `restic` в репозиторий на удалённом узле
|
||||
через Tailscale (`sftp:root@100.64.0.2:/backup/restic-repo`).
|
||||
|
||||
Проверка (воскресенье 06:00) делает две вещи:
|
||||
|
||||
1. **Свежесть** — берёт все снапшоты, сортирует по времени, проверяет что
|
||||
последний не старше 48 часов.
|
||||
2. **Целостность** — `restic check --read-data-subset=2%`: читает часть
|
||||
данных и убеждается, что они не повреждены.
|
||||
|
||||
Результат — событие `backup.done` / `backup.failed` в ядро.
|
||||
|
||||
## Проверено
|
||||
|
||||
```
|
||||
снапшотов: 96, последний: 2026-10-19T20:47:57
|
||||
возраст последнего: 0 ч
|
||||
проверка целостности (2% данных)...
|
||||
целостность: ошибок нет
|
||||
```
|
||||
|
||||
Отдельно подтверждено, что задача запускается каждый день в 04:00 —
|
||||
в журнале 94 запуска, последние 16, 17, 18, 19 октября.
|
||||
|
||||
## Ложная тревога (и её причина)
|
||||
|
||||
Первая версия проверки сообщила «последний снапшот 136 ч назад» — и это
|
||||
было ошибкой проверки, а не бэкапа. Причина: `restic snapshots --latest 1`
|
||||
возвращает не самый новый по времени снапшот. Исправлено: список
|
||||
сортируется по `time` вручную, поэтому свежесть считается честно.
|
||||
|
||||
## Что осталось
|
||||
|
||||
Проверка читает только 2% данных (полная — слишком долго для недельной).
|
||||
Для полной проверки можно раз в месяц запускать `--read-data`.
|
||||
@@ -21,6 +21,7 @@ JOBS = {
|
||||
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
|
||||
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
|
||||
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
|
||||
"проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8),
|
||||
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
|
||||
"telegram": ("/var/log/hub-telegram.log", 24),
|
||||
}
|
||||
|
||||
Executable
+76
@@ -0,0 +1,76 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# Проверка офсайт-бэкапа (restic на удалённом узле через Tailscale)
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
|
||||
export RESTIC_PASSWORD_FILE="/root/.restic-password"
|
||||
|
||||
TOKEN=""
|
||||
log() { echo "[$(date '+%F %T')] $*"; }
|
||||
|
||||
notify() {
|
||||
local type=$1 detail=$2
|
||||
BODY=$(printf '{"source":"offsite-verify","type":"%s","entity":{"kind":"бэкап","key":"offsite","title":"Офсайт"},"payload":{"detail":"%s"}}' \
|
||||
"$type" "$detail")
|
||||
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
|
||||
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
|
||||
}
|
||||
|
||||
log "старт проверки офсайта"
|
||||
|
||||
# 1. доступность и свежесть
|
||||
SNAPS=$(restic snapshots --json 2>/dev/null)
|
||||
LATEST_TIME=$(echo "$SNAPS" | python3 -c "
|
||||
import json, sys
|
||||
try:
|
||||
d = json.load(sys.stdin)
|
||||
except Exception:
|
||||
print('')
|
||||
raise SystemExit(0)
|
||||
if not d:
|
||||
print('')
|
||||
raise SystemExit(0)
|
||||
d.sort(key=lambda s: s['time'], reverse=True)
|
||||
print(d[0]['time'][:19])
|
||||
" 2>/dev/null)
|
||||
|
||||
COUNT=$(echo "$SNAPS" | python3 -c "
|
||||
import json, sys
|
||||
try:
|
||||
print(len(json.load(sys.stdin)))
|
||||
except Exception:
|
||||
print(0)
|
||||
" 2>/dev/null)
|
||||
|
||||
if [ -z "$LATEST_TIME" ]; then
|
||||
log "ОШИБКА: репозиторий недоступен или пуст"
|
||||
notify backup.failed "репозиторий недоступен или пуст"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
log "снапшотов: ${COUNT:-?}, последний: ${LATEST_TIME}"
|
||||
|
||||
AGE_H=$(( ( $(date +%s) - $(date -d "$LATEST_TIME" +%s) ) / 3600 ))
|
||||
log "возраст последнего: ${AGE_H} ч"
|
||||
if [ "$AGE_H" -gt 48 ]; then
|
||||
log "ОШИБКА: свежий снапшот старше 48 часов"
|
||||
notify backup.failed "последний снапшот ${AGE_H} ч назад"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# 2. проверка целостности (часть данных)
|
||||
log "проверка целостности (2% данных)..."
|
||||
CHECK=$(restic check --read-data-subset=2% 2>&1)
|
||||
if echo "$CHECK" | grep -q "no errors were found"; then
|
||||
log "целостность: ошибок нет"
|
||||
notify backup.done "снапшотов ${COUNT:-?}, последний ${LATEST_TIME}, проверка 2% данных пройдена"
|
||||
log "готово"
|
||||
exit 0
|
||||
else
|
||||
log "ОШИБКА целостности:"
|
||||
echo "$CHECK" | tail -3 | sed 's/^/ /'
|
||||
notify backup.failed "проверка целостности не пройдена"
|
||||
exit 1
|
||||
fi
|
||||
Reference in new issue
Block a user