diff --git a/docs/BACKUPS-STATUS.md b/docs/BACKUPS-STATUS.md new file mode 100644 index 0000000..273a517 --- /dev/null +++ b/docs/BACKUPS-STATUS.md @@ -0,0 +1,32 @@ +# Бэкапы: что есть и что проверено + +Дата: 19.10.2026. + +| Бэкап | Когда | Куда | Проверка восстановления | +|---|---|---|---| +| PostgreSQL (все базы) | 02:00 | `/mnt/backups/postgresql` | **есть** — сверка таблиц с живой базой (02:40) | +| База ядра `hub_core` | 02:30 | `/mnt/backups/hub-core` | **есть** — разворот в тестовую базу, 68 карточек | +| Данные ботов | 02:45 | `/mnt/backups/hub-bots` | **есть** — распаковка, целостность индекса (03:05) | +| Matrix: база, файлы, конфиг | 03:00 | `/root/matrix-backups` (существовал до спринта) | **есть** — разворот в тестовую базу (03:20) | +| Matrix: офсайт | 03:20 | VPS `/var/backups/matrix` | копия проверяется наличием на VPS | +| LXC-контейнеры | 01:00 | по расписанию `lxc-backup.sh` | не проверялось | +| vzdump | 06:30 | ротация `vzdump-rotate.sh` | не проверялось | +| Офсайт важного | 04:00 | `/mnt/backups/offsite-important` | не проверялось | + +## Как устроены уведомления + +Результат каждой проверки уходит событием в ядро: + +* `backup.done` — бэкап на месте и восстанавливается; +* `backup.failed` — есть проблема. + +Дальше маршрутизация отправляет это боту Инфраструктура. Плюс сторож +расписаний следит, что сами проверки не перестали запускаться. + +## Что осталось непроверенным + +* LXC-контейнеры (vzdump/lxc-backup) — восстановление не тестировалось; +* офсайт важного — только наличие файлов. + +Это следующие кандидаты: проверка восстановления контейнера в отдельный +CT — самая дорогая по времени, но и самая ценная. diff --git a/ops/hub-core/bots_verify.sh b/ops/hub-core/bots_verify.sh new file mode 100755 index 0000000..5f71894 --- /dev/null +++ b/ops/hub-core/bots_verify.sh @@ -0,0 +1,76 @@ +#!/bin/bash +# Проверка бэкапа данных ботов: разворачиваем архив и проверяем содержимое +set -uo pipefail + +SRC=/mnt/backups/hub-bots +TMP=/tmp/bots-restore-$$ +LATEST=$(ls -1t "$SRC"/hub-bots-*.tar.gz 2>/dev/null | head -1) + +if [ -z "$LATEST" ]; then + echo "нет архивов в $SRC" + exit 1 +fi + +echo "архив: $(basename "$LATEST") ($(du -h "$LATEST" | cut -f1))" +mkdir -p "$TMP" + +if ! tar xzf "$LATEST" -C "$TMP" 2>/dev/null; then + echo "ОШИБКА: архив не распаковывается" + rm -rf "$TMP" + exit 1 +fi + +FILES=$(find "$TMP" -type f | wc -l) +echo "файлов в архиве: $FILES" + +# индекс ботов — sqlite, проверяем целостность +INDEX=$(find "$TMP" -name 'index.db' | head -1) +INDEX_INFO="нет индекса" +if [ -n "$INDEX" ]; then + CHECK=$(python3 - "$INDEX" <<'PY' +import sqlite3, sys +try: + c = sqlite3.connect(sys.argv[1]) + ok = c.execute("pragma integrity_check").fetchone()[0] + try: + n = c.execute("select count(*) from items").fetchone()[0] + except Exception: + n = "?" + print(f"{ok} | документов: {n}") +except Exception as e: + print(f"ошибка: {e}") +PY +) + INDEX_INFO="$CHECK" +fi +echo "индекс: $INDEX_INFO" + +# журналы и входящие +DIALOG=$(find "$TMP" -name 'dialog.jsonl' | head -1) +INBOX=$(find "$TMP" -name '*.jsonl' -path '*inbox*' | head -1) +echo "журнал диалогов: $([ -n "$DIALOG" ] && echo "есть ($(wc -l < "$DIALOG") строк)" || echo "нет")" +echo "входящие: $([ -n "$INBOX" ] && echo "есть" || echo "нет")" + +# итог +OK=1 +[ "$FILES" -lt 1 ] && OK=0 +echo "$INDEX_INFO" | grep -q '^ok' || [ "$INDEX_INFO" = "нет индекса" ] || OK=0 + +rm -rf "$TMP" + +if [ "$OK" -eq 1 ]; then + echo "ИТОГ: восстановление в порядке" + TYPE=backup.done + TITLE="Бэкап данных ботов в порядке" +else + echo "ИТОГ: есть проблемы" + TYPE=backup.failed + TITLE="Проблема в бэкапе данных ботов" +fi + +BODY=$(printf '{"source":"bots-verify","type":"%s","entity":{"kind":"бэкап","key":"bots","title":"Данные ботов"},"payload":{"detail":"%s | файлов %s | индекс: %s"}}' \ + "$TYPE" "$(basename "$LATEST")" "$FILES" "$INDEX_INFO") +curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \ + -d "$BODY" http://127.0.0.1:9120/event 2>/dev/null + +exit $((1 - OK)) diff --git a/ops/hub-core/cron_guard.py b/ops/hub-core/cron_guard.py index 3bd67ae..e81b9e8 100644 --- a/ops/hub-core/cron_guard.py +++ b/ops/hub-core/cron_guard.py @@ -19,6 +19,8 @@ JOBS = { "каталог": ("/var/log/hub-catalog.log", 30), "недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8), "бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30), + "проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30), + "проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30), "продолжить просмотр": ("/var/log/hub-resume.log", 30), "telegram": ("/var/log/hub-telegram.log", 24), }