Files
buryan-infra/ops/audits/DIGEST-BACKUPS-2026-11-17.md
T

3.0 KiB
Raw Blame History

Утренняя сводка и мониторинг бэкапов (17.11.2026)

Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений.

1. Утренняя сводка стала полнее

Добавлено в morning_digest.py:

  • Postgres: соединения 56/200 (28%) — видно приближение к лимиту;
  • LLM за сутки: вызовы, доля фолбэков, топ моделей;
  • RAG: число чанков и время последнего обновления.

Чтобы LLM-статистика была по суткам, в /var/log/hub/llm-fallback.log появилась метка ts.

Также в ночной разбор добавлен известный шум overlayfs (does not support file handles) — он больше не считается «новым».

2. Найден и исправлен провал в бэкапах (важное)

restore-test показал 4/5: не прошла проверка Restic офсайт-репозитория.

Причина: все restic-скрипты ходили на мёртвый Tailscale-адрес root@100.64.0.2 (Tailscale-пир VDS недоступен). WG работает, но скрипты об этом не знали.

Следствия (проверено по логам):

  • offsite-backup.sh — ошибки 16.11 и 17.11, последние снапшоты 8 ноября;
  • photos-backup.sh — «копия НЕ сделана» каждую ночь;
  • offsite_verify.sh — проверял недоступный репозиторий.

Исправлено во всех скриптах: sftp:root@100.64.0.2 → sftp:root@10.88.0.1 (WG):

  • restore-test.sh, photos-backup.sh, offsite-backup.sh, offsite_verify.sh (+ копия в репозитории).

Проверка:

restore-test:  5/5 PASSED (включая Restic offsite)
photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ
offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД
restic check:  «no errors were found», 137 снапшотов

Что это значит

Офсайт-копии 9 дней не обновлялись (с 8 ноября), кроме второго контура (он ходил по WG и работал). Теперь оба офсайт-канала снова живые.

Ловушки

Ловушка Что было
Tailscale в скриптах адрес 100.64.0.2 не удалён после перехода на WG
restore-test проверял restic и падал, но раз в месяц — незаметно
photos-backup ошибки уходили в /dev/null, в логах копились Fatal
llm-fallback в журнале не было времени — нельзя было считать «за сутки»