Проверка бэкапа данных ботов + сводка по всем бэкапам
bots_verify.sh разворачивает архив ботов во временный каталог, проверяет целостность sqlite-индекса, наличие журнала диалогов и входящих, затем отправляет backup.done/backup.failed в ядро. Расписание 03:05. Сторож расписаний дополнен двумя проверками (PG и боты). docs/BACKUPS-STATUS.md — таблица: что бэкапится, когда, куда и что из этого проверено на восстановление. Отдельно отмечено непроверенное: LXC-контейнеры, vzdump, офсайт важного. Проверено: архив ботов распаковался (4 файла), индекс ok, журнал и входящие на месте, событие backup.done записано.
This commit is contained in:
1 parent
9b94c24e6f
commit
6f603a11b9
3 files changed
+110
No files matched your search
@@ -0,0 +1,32 @@
|
||||
# Бэкапы: что есть и что проверено
|
||||
|
||||
Дата: 19.10.2026.
|
||||
|
||||
| Бэкап | Когда | Куда | Проверка восстановления |
|
||||
|---|---|---|---|
|
||||
| PostgreSQL (все базы) | 02:00 | `/mnt/backups/postgresql` | **есть** — сверка таблиц с живой базой (02:40) |
|
||||
| База ядра `hub_core` | 02:30 | `/mnt/backups/hub-core` | **есть** — разворот в тестовую базу, 68 карточек |
|
||||
| Данные ботов | 02:45 | `/mnt/backups/hub-bots` | **есть** — распаковка, целостность индекса (03:05) |
|
||||
| Matrix: база, файлы, конфиг | 03:00 | `/root/matrix-backups` (существовал до спринта) | **есть** — разворот в тестовую базу (03:20) |
|
||||
| Matrix: офсайт | 03:20 | VPS `/var/backups/matrix` | копия проверяется наличием на VPS |
|
||||
| LXC-контейнеры | 01:00 | по расписанию `lxc-backup.sh` | не проверялось |
|
||||
| vzdump | 06:30 | ротация `vzdump-rotate.sh` | не проверялось |
|
||||
| Офсайт важного | 04:00 | `/mnt/backups/offsite-important` | не проверялось |
|
||||
|
||||
## Как устроены уведомления
|
||||
|
||||
Результат каждой проверки уходит событием в ядро:
|
||||
|
||||
* `backup.done` — бэкап на месте и восстанавливается;
|
||||
* `backup.failed` — есть проблема.
|
||||
|
||||
Дальше маршрутизация отправляет это боту Инфраструктура. Плюс сторож
|
||||
расписаний следит, что сами проверки не перестали запускаться.
|
||||
|
||||
## Что осталось непроверенным
|
||||
|
||||
* LXC-контейнеры (vzdump/lxc-backup) — восстановление не тестировалось;
|
||||
* офсайт важного — только наличие файлов.
|
||||
|
||||
Это следующие кандидаты: проверка восстановления контейнера в отдельный
|
||||
CT — самая дорогая по времени, но и самая ценная.
|
||||
Executable
+76
@@ -0,0 +1,76 @@
|
||||
#!/bin/bash
|
||||
# Проверка бэкапа данных ботов: разворачиваем архив и проверяем содержимое
|
||||
set -uo pipefail
|
||||
|
||||
SRC=/mnt/backups/hub-bots
|
||||
TMP=/tmp/bots-restore-$$
|
||||
LATEST=$(ls -1t "$SRC"/hub-bots-*.tar.gz 2>/dev/null | head -1)
|
||||
|
||||
if [ -z "$LATEST" ]; then
|
||||
echo "нет архивов в $SRC"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
echo "архив: $(basename "$LATEST") ($(du -h "$LATEST" | cut -f1))"
|
||||
mkdir -p "$TMP"
|
||||
|
||||
if ! tar xzf "$LATEST" -C "$TMP" 2>/dev/null; then
|
||||
echo "ОШИБКА: архив не распаковывается"
|
||||
rm -rf "$TMP"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
FILES=$(find "$TMP" -type f | wc -l)
|
||||
echo "файлов в архиве: $FILES"
|
||||
|
||||
# индекс ботов — sqlite, проверяем целостность
|
||||
INDEX=$(find "$TMP" -name 'index.db' | head -1)
|
||||
INDEX_INFO="нет индекса"
|
||||
if [ -n "$INDEX" ]; then
|
||||
CHECK=$(python3 - "$INDEX" <<'PY'
|
||||
import sqlite3, sys
|
||||
try:
|
||||
c = sqlite3.connect(sys.argv[1])
|
||||
ok = c.execute("pragma integrity_check").fetchone()[0]
|
||||
try:
|
||||
n = c.execute("select count(*) from items").fetchone()[0]
|
||||
except Exception:
|
||||
n = "?"
|
||||
print(f"{ok} | документов: {n}")
|
||||
except Exception as e:
|
||||
print(f"ошибка: {e}")
|
||||
PY
|
||||
)
|
||||
INDEX_INFO="$CHECK"
|
||||
fi
|
||||
echo "индекс: $INDEX_INFO"
|
||||
|
||||
# журналы и входящие
|
||||
DIALOG=$(find "$TMP" -name 'dialog.jsonl' | head -1)
|
||||
INBOX=$(find "$TMP" -name '*.jsonl' -path '*inbox*' | head -1)
|
||||
echo "журнал диалогов: $([ -n "$DIALOG" ] && echo "есть ($(wc -l < "$DIALOG") строк)" || echo "нет")"
|
||||
echo "входящие: $([ -n "$INBOX" ] && echo "есть" || echo "нет")"
|
||||
|
||||
# итог
|
||||
OK=1
|
||||
[ "$FILES" -lt 1 ] && OK=0
|
||||
echo "$INDEX_INFO" | grep -q '^ok' || [ "$INDEX_INFO" = "нет индекса" ] || OK=0
|
||||
|
||||
rm -rf "$TMP"
|
||||
|
||||
if [ "$OK" -eq 1 ]; then
|
||||
echo "ИТОГ: восстановление в порядке"
|
||||
TYPE=backup.done
|
||||
TITLE="Бэкап данных ботов в порядке"
|
||||
else
|
||||
echo "ИТОГ: есть проблемы"
|
||||
TYPE=backup.failed
|
||||
TITLE="Проблема в бэкапе данных ботов"
|
||||
fi
|
||||
|
||||
BODY=$(printf '{"source":"bots-verify","type":"%s","entity":{"kind":"бэкап","key":"bots","title":"Данные ботов"},"payload":{"detail":"%s | файлов %s | индекс: %s"}}' \
|
||||
"$TYPE" "$(basename "$LATEST")" "$FILES" "$INDEX_INFO")
|
||||
curl -s -o /dev/null --max-time 15 -X POST -H 'Content-Type: application/json' \
|
||||
-d "$BODY" http://127.0.0.1:9120/event 2>/dev/null
|
||||
|
||||
exit $((1 - OK))
|
||||
@@ -19,6 +19,8 @@ JOBS = {
|
||||
"каталог": ("/var/log/hub-catalog.log", 30),
|
||||
"недельный отчёт": ("/var/log/hub-weekly-core.log", 24 * 8),
|
||||
"бэкап Matrix": ("/var/log/hub-matrix-backup.log", 30),
|
||||
"проверка бэкапа PG": ("/var/log/hub-pg-verify.log", 30),
|
||||
"проверка бэкапа ботов": ("/var/log/hub-bots-verify.log", 30),
|
||||
"продолжить просмотр": ("/var/log/hub-resume.log", 30),
|
||||
"telegram": ("/var/log/hub-telegram.log", 24),
|
||||
}
|
||||
|
||||
Reference in new issue
Block a user