offsite_verify.sh (воскресенье 06:00): берёт все снапшоты, сортирует по
времени, проверяет что последний не старше 48 часов, затем restic check на
2% данных. Результат — событие backup.done/backup.failed.
Проверено: 96 снапшотов, последний свежий, целостность — ошибок нет.
Задача запускается ежедневно в 04:00 (94 запуска в журнале).
Ложная тревога и причина: первая версия показала «136 ч назад» из-за того,
что restic snapshots --latest 1 отдаёт не самый новый по времени снапшот.
Теперь сортировка по time вручную.
bots_verify.sh разворачивает архив ботов во временный каталог, проверяет
целостность sqlite-индекса, наличие журнала диалогов и входящих, затем
отправляет backup.done/backup.failed в ядро. Расписание 03:05.
Сторож расписаний дополнен двумя проверками (PG и боты).
docs/BACKUPS-STATUS.md — таблица: что бэкапится, когда, куда и что из этого
проверено на восстановление. Отдельно отмечено непроверенное: LXC-контейнеры,
vzdump, офсайт важного.
Проверено: архив ботов распаковался (4 файла), индекс ok, журнал и входящие
на месте, событие backup.done записано.
Обнаружено, что бэкапов Matrix не существовало: три монитора Kuma честно
показывали down, но никто не разбирался.
Скрипт на узле (03:15): pg_dump matrix_db (3.3 МБ) + tar данных CT 155
(17 МБ) + копия базы на VPS + разворачивание дампа в тестовую базу с
подсчётом пользователей (30) + ротация 14 + heartbeat в три монитора.
Проверено: все три монитора стали up (local, offsite, restore), офсайт
копируется, восстановление подтверждено.
Ловушки: pg_dump из CT 155 не работает (нет клиента) — запуск с узла;
scp на VPS нестабилен — заменён на ssh cat; мониторы были push-типа и
ждали сигнала, которого не было.
GET /services — источники с числом событий и временем последнего,
GET /service/<имя> — история по одному сервису.
cron_guard.py проверяет, что задачи реально отрабатывают: смотрит время
последней записи в журналах и отправляет service.stale боту Инфраструктура.
Подключён к ночной сверке.
Проверено: все десять задач прогнаны как cron и записали журналы, сторож
показывает 10 в порядке, 0 просрочено; telegram честно помечен «ещё не
запускался» (нет ключей).