diff --git a/ops/hub-core/OFFSITE-VERIFY.md b/ops/hub-core/OFFSITE-VERIFY.md new file mode 100644 index 0000000..bdbca29 --- /dev/null +++ b/ops/hub-core/OFFSITE-VERIFY.md @@ -0,0 +1,37 @@ +# Проверка офсайт-бэкапа (restic) + +Офсайт делается nightly в 04:00: `restic` в репозиторий на удалённом узле +через Tailscale (`sftp:root@100.64.0.2:/backup/restic-repo`). + +Проверка (воскресенье 06:00) делает две вещи: + +1. **Свежесть** — берёт все снапшоты, сортирует по времени, проверяет что + последний не старше 48 часов. +2. **Целостность** — `restic check --read-data-subset=2%`: читает часть + данных и убеждается, что они не повреждены. + +Результат — событие `backup.done` / `backup.failed` в ядро. + +## Проверено + +``` +снапшотов: 96, последний: 2026-10-19T20:47:57 +возраст последнего: 0 ч +проверка целостности (2% данных)... +целостность: ошибок нет +``` + +Отдельно подтверждено, что задача запускается каждый день в 04:00 — +в журнале 94 запуска, последние 16, 17, 18, 19 октября. + +## Ложная тревога (и её причина) + +Первая версия проверки сообщила «последний снапшот 136 ч назад» — и это +было ошибкой проверки, а не бэкапа. Причина: `restic snapshots --latest 1` +возвращает не самый новый по времени снапшот. Исправлено: список +сортируется по `time` вручную, поэтому свежесть считается честно. + +## Что осталось + +Проверка читает только 2% данных (полная — слишком долго для недельной). +Для полной проверки можно раз в месяц запускать `--read-data`. diff --git a/ops/hub-core/cron_guard.py b/ops/hub-core/cron_guard.py index e81b9e8..101dbf8 100644 --- a/ops/hub-core/cron_guard.py +++ b/ops/hub-core/cron_guard.py @@ -21,6 +21,7 @@ JOBS = { "бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30), "проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30), "проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30), + "проверка офсайта": ("/var/log/hub-offsite-verify.log", 24 * 8), "продолжить просмотр": ("/var/log/hub-resume.log", 30), "telegram": ("/var/log/hub-telegram.log", 24), } diff --git a/ops/hub-core/offsite_verify.sh b/ops/hub-core/offsite_verify.sh new file mode 100755 index 0000000..5896402 --- /dev/null +++ b/ops/hub-core/offsite_verify.sh @@ -0,0 +1,76 @@ +#!/bin/bash +# ============================================================ +# Проверка офсайт-бэкапа (restic на удалённом узле через Tailscale) +# ============================================================ +set -uo pipefail + +export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" +export RESTIC_PASSWORD_FILE="/root/.restic-password" + +TOKEN="" +log() { echo "[$(date '+%F %T')] $*"; } + +notify() { + local type=$1 detail=$2 + BODY=$(printf '{"source":"offsite-verify","type":"%s","entity":{"kind":"бэкап","key":"offsite","title":"Офсайт"},"payload":{"detail":"%s"}}' \ + "$type" "$detail") + curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \ + -d "$BODY" http://127.0.0.1:9120/event 2>/dev/null +} + +log "старт проверки офсайта" + +# 1. доступность и свежесть +SNAPS=$(restic snapshots --json 2>/dev/null) +LATEST_TIME=$(echo "$SNAPS" | python3 -c " +import json, sys +try: + d = json.load(sys.stdin) +except Exception: + print('') + raise SystemExit(0) +if not d: + print('') + raise SystemExit(0) +d.sort(key=lambda s: s['time'], reverse=True) +print(d[0]['time'][:19]) +" 2>/dev/null) + +COUNT=$(echo "$SNAPS" | python3 -c " +import json, sys +try: + print(len(json.load(sys.stdin))) +except Exception: + print(0) +" 2>/dev/null) + +if [ -z "$LATEST_TIME" ]; then + log "ОШИБКА: репозиторий недоступен или пуст" + notify backup.failed "репозиторий недоступен или пуст" + exit 1 +fi + +log "снапшотов: ${COUNT:-?}, последний: ${LATEST_TIME}" + +AGE_H=$(( ( $(date +%s) - $(date -d "$LATEST_TIME" +%s) ) / 3600 )) +log "возраст последнего: ${AGE_H} ч" +if [ "$AGE_H" -gt 48 ]; then + log "ОШИБКА: свежий снапшот старше 48 часов" + notify backup.failed "последний снапшот ${AGE_H} ч назад" + exit 1 +fi + +# 2. проверка целостности (часть данных) +log "проверка целостности (2% данных)..." +CHECK=$(restic check --read-data-subset=2% 2>&1) +if echo "$CHECK" | grep -q "no errors were found"; then + log "целостность: ошибок нет" + notify backup.done "снапшотов ${COUNT:-?}, последний ${LATEST_TIME}, проверка 2% данных пройдена" + log "готово" + exit 0 +else + log "ОШИБКА целостности:" + echo "$CHECK" | tail -3 | sed 's/^/ /' + notify backup.failed "проверка целостности не пройдена" + exit 1 +fi