3.0 KiB
Утренняя сводка и мониторинг бэкапов (17.11.2026)
Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений.
1. Утренняя сводка стала полнее
Добавлено в morning_digest.py:
- Postgres: соединения
56/200 (28%)— видно приближение к лимиту; - LLM за сутки: вызовы, доля фолбэков, топ моделей;
- RAG: число чанков и время последнего обновления.
Чтобы LLM-статистика была по суткам, в /var/log/hub/llm-fallback.log
появилась метка ts.
Также в ночной разбор добавлен известный шум overlayfs
(does not support file handles) — он больше не считается «новым».
2. Найден и исправлен провал в бэкапах (важное)
restore-test показал 4/5: не прошла проверка Restic офсайт-репозитория.
Причина: все restic-скрипты ходили на мёртвый Tailscale-адрес
root@100.64.0.2 (Tailscale-пир VDS недоступен). WG работает, но скрипты
об этом не знали.
Следствия (проверено по логам):
offsite-backup.sh— ошибки 16.11 и 17.11, последние снапшоты 8 ноября;photos-backup.sh— «копия НЕ сделана» каждую ночь;offsite_verify.sh— проверял недоступный репозиторий.
Исправлено во всех скриптах: sftp:root@100.64.0.2 → sftp:root@10.88.0.1 (WG):
restore-test.sh,photos-backup.sh,offsite-backup.sh,offsite_verify.sh(+ копия в репозитории).
Проверка:
restore-test: 5/5 PASSED (включая Restic offsite)
photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ
offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД
restic check: «no errors were found», 137 снапшотов
Что это значит
Офсайт-копии 9 дней не обновлялись (с 8 ноября), кроме второго контура (он ходил по WG и работал). Теперь оба офсайт-канала снова живые.
Ловушки
| Ловушка | Что было |
|---|---|
| Tailscale в скриптах | адрес 100.64.0.2 не удалён после перехода на WG |
| restore-test | проверял restic и падал, но раз в месяц — незаметно |
| photos-backup | ошибки уходили в /dev/null, в логах копились Fatal |
| llm-fallback | в журнале не было времени — нельзя было считать «за сутки» |