Проверка бэкапа данных ботов + сводка по всем бэкапам

bots_verify.sh разворачивает архив ботов во временный каталог, проверяет
целостность sqlite-индекса, наличие журнала диалогов и входящих, затем
отправляет backup.done/backup.failed в ядро. Расписание 03:05.

Сторож расписаний дополнен двумя проверками (PG и боты).

docs/BACKUPS-STATUS.md — таблица: что бэкапится, когда, куда и что из этого
проверено на восстановление. Отдельно отмечено непроверенное: LXC-контейнеры,
vzdump, офсайт важного.

Проверено: архив ботов распаковался (4 файла), индекс ok, журнал и входящие
на месте, событие backup.done записано.
This commit is contained in:
buryan-agent committed 2026-10-19 20:35:38 +03:00
1 parent 9b94c24e6f
commit 6f603a11b9
3 files changed
+110

No files matched your search

+32
View File
@@ -0,0 +1,32 @@
# Бэкапы: что есть и что проверено
Дата: 19.10.2026.
| Бэкап | Когда | Куда | Проверка восстановления |
|---|---|---|---|
| PostgreSQL (все базы) | 02:00 | `/mnt/backups/postgresql` | **есть** — сверка таблиц с живой базой (02:40) |
| База ядра `hub_core` | 02:30 | `/mnt/backups/hub-core` | **есть** — разворот в тестовую базу, 68 карточек |
| Данные ботов | 02:45 | `/mnt/backups/hub-bots` | **есть** — распаковка, целостность индекса (03:05) |
| Matrix: база, файлы, конфиг | 03:00 | `/root/matrix-backups` (существовал до спринта) | **есть** — разворот в тестовую базу (03:20) |
| Matrix: офсайт | 03:20 | VPS `/var/backups/matrix` | копия проверяется наличием на VPS |
| LXC-контейнеры | 01:00 | по расписанию `lxc-backup.sh` | не проверялось |
| vzdump | 06:30 | ротация `vzdump-rotate.sh` | не проверялось |
| Офсайт важного | 04:00 | `/mnt/backups/offsite-important` | не проверялось |
## Как устроены уведомления
Результат каждой проверки уходит событием в ядро:
* `backup.done` — бэкап на месте и восстанавливается;
* `backup.failed` — есть проблема.
Дальше маршрутизация отправляет это боту Инфраструктура. Плюс сторож
расписаний следит, что сами проверки не перестали запускаться.
## Что осталось непроверенным
* LXC-контейнеры (vzdump/lxc-backup) — восстановление не тестировалось;
* офсайт важного — только наличие файлов.
Это следующие кандидаты: проверка восстановления контейнера в отдельный
CT — самая дорогая по времени, но и самая ценная.
+76
View File
@@ -0,0 +1,76 @@
#!/bin/bash
# Проверка бэкапа данных ботов: разворачиваем архив и проверяем содержимое
set -uo pipefail
SRC=/mnt/backups/hub-bots
TMP=/tmp/bots-restore-$$
LATEST=$(ls -1t "$SRC"/hub-bots-*.tar.gz 2>/dev/null | head -1)
if [ -z "$LATEST" ]; then
echo "нет архивов в $SRC"
exit 1
fi
echo "архив: $(basename "$LATEST") ($(du -h "$LATEST" | cut -f1))"
mkdir -p "$TMP"
if ! tar xzf "$LATEST" -C "$TMP" 2>/dev/null; then
echo "ОШИБКА: архив не распаковывается"
rm -rf "$TMP"
exit 1
fi
FILES=$(find "$TMP" -type f | wc -l)
echo "файлов в архиве: $FILES"
# индекс ботов — sqlite, проверяем целостность
INDEX=$(find "$TMP" -name 'index.db' | head -1)
INDEX_INFO="нет индекса"
if [ -n "$INDEX" ]; then
CHECK=$(python3 - "$INDEX" <<'PY'
import sqlite3, sys
try:
c = sqlite3.connect(sys.argv[1])
ok = c.execute("pragma integrity_check").fetchone()[0]
try:
n = c.execute("select count(*) from items").fetchone()[0]
except Exception:
n = "?"
print(f"{ok} | документов: {n}")
except Exception as e:
print(f"ошибка: {e}")
PY
)
INDEX_INFO="$CHECK"
fi
echo "индекс: $INDEX_INFO"
# журналы и входящие
DIALOG=$(find "$TMP" -name 'dialog.jsonl' | head -1)
INBOX=$(find "$TMP" -name '*.jsonl' -path '*inbox*' | head -1)
echo "журнал диалогов: $([ -n "$DIALOG" ] && echo "есть ($(wc -l < "$DIALOG") строк)" || echo "нет")"
echo "входящие: $([ -n "$INBOX" ] && echo "есть" || echo "нет")"
# итог
OK=1
[ "$FILES" -lt 1 ] && OK=0
echo "$INDEX_INFO" | grep -q '^ok' || [ "$INDEX_INFO" = "нет индекса" ] || OK=0
rm -rf "$TMP"
if [ "$OK" -eq 1 ]; then
echo "ИТОГ: восстановление в порядке"
TYPE=backup.done
TITLE="Бэкап данных ботов в порядке"
else
echo "ИТОГ: есть проблемы"
TYPE=backup.failed
TITLE="Проблема в бэкапе данных ботов"
fi
BODY=$(printf '{"source":"bots-verify","type":"%s","entity":{"kind":"бэкап","key":"bots","title":"Данные ботов"},"payload":{"detail":"%s | файлов %s | индекс: %s"}}' \
"$TYPE" "$(basename "$LATEST")" "$FILES" "$INDEX_INFO")
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
exit $((1 - OK))
+2
View File
@@ -19,6 +19,8 @@ JOBS = {
"каталог": ("/var/log/hub-catalog.log", 30),
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
"telegram": ("/var/log/hub-telegram.log", 24),
}