diff --git a/ops/audits/DIGEST-BACKUPS-2026-11-17.md b/ops/audits/DIGEST-BACKUPS-2026-11-17.md new file mode 100644 index 0000000..f2f4ca7 --- /dev/null +++ b/ops/audits/DIGEST-BACKUPS-2026-11-17.md @@ -0,0 +1,59 @@ +# Утренняя сводка и мониторинг бэкапов (17.11.2026) + +Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений. + +## 1. Утренняя сводка стала полнее + +Добавлено в `morning_digest.py`: + +* **Postgres**: соединения `56/200 (28%)` — видно приближение к лимиту; +* **LLM за сутки**: вызовы, доля фолбэков, топ моделей; +* **RAG**: число чанков и время последнего обновления. + +Чтобы LLM-статистика была по суткам, в `/var/log/hub/llm-fallback.log` +появилась метка `ts`. + +Также в ночной разбор добавлен известный шум overlayfs +(`does not support file handles`) — он больше не считается «новым». + +## 2. Найден и исправлен провал в бэкапах (важное) + +`restore-test` показал **4/5**: не прошла проверка **Restic офсайт-репозитория**. + +Причина: все restic-скрипты ходили на **мёртвый Tailscale-адрес** +`root@100.64.0.2` (Tailscale-пир VDS недоступен). WG работает, но скрипты +об этом не знали. + +Следствия (проверено по логам): + +* `offsite-backup.sh` — ошибки 16.11 и 17.11, последние снапшоты **8 ноября**; +* `photos-backup.sh` — «копия НЕ сделана» каждую ночь; +* `offsite_verify.sh` — проверял недоступный репозиторий. + +Исправлено во всех скриптах: `sftp:root@100.64.0.2` → **`sftp:root@10.88.0.1`** (WG): + +* `restore-test.sh`, `photos-backup.sh`, `offsite-backup.sh`, + `offsite_verify.sh` (+ копия в репозитории). + +Проверка: + +``` +restore-test: 5/5 PASSED (включая Restic offsite) +photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ +offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД +restic check: «no errors were found», 137 снапшотов +``` + +## Что это значит + +Офсайт-копии **9 дней не обновлялись** (с 8 ноября), кроме второго контура +(он ходил по WG и работал). Теперь оба офсайт-канала снова живые. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| Tailscale в скриптах | адрес 100.64.0.2 не удалён после перехода на WG | +| restore-test | проверял restic и падал, но раз в месяц — незаметно | +| photos-backup | ошибки уходили в /dev/null, в логах копились `Fatal` | +| llm-fallback | в журнале не было времени — нельзя было считать «за сутки» | diff --git a/ops/ops/scripts/restore-test.sh b/ops/ops/scripts/restore-test.sh index e79d0ac..67fb6eb 100755 --- a/ops/ops/scripts/restore-test.sh +++ b/ops/ops/scripts/restore-test.sh @@ -77,7 +77,7 @@ fi # TEST 5: Restic offsite — проверка репозитория if command -v restic &> /dev/null && [ -f /root/.restic-password ]; then - export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" + export RESTIC_REPOSITORY="sftp:root@10.88.0.1:/backup/restic-repo" export RESTIC_PASSWORD_FILE="/root/.restic-password" run_test "Restic offsite repo check" "restic check --read-data-subset=1% 2>&1 | tail -5" else diff --git a/ops/scripts/log_signatures.py b/ops/scripts/log_signatures.py index a672624..e3ac081 100755 --- a/ops/scripts/log_signatures.py +++ b/ops/scripts/log_signatures.py @@ -35,6 +35,7 @@ NOISE = ( "nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth", "pam_unix", "session opened", "session closed", "write access unavailable, skipping orphan cleanup", + "does not support file handles, falling back to xino=off", ) diff --git a/ops/scripts/morning_digest.py b/ops/scripts/morning_digest.py index 2bb93ee..dfbace2 100755 --- a/ops/scripts/morning_digest.py +++ b/ops/scripts/morning_digest.py @@ -137,11 +137,87 @@ def errors_night(): return "• Ошибок в журнале за сутки: %s" % (n or "?") + +def pg_conn(): + """Соединения Postgres (см. pg_conn_monitor).""" + import subprocess as _sp + try: + env = dict(os.environ, + PGPASSWORD=open("/root/.pg-superuser-pass").read().strip()) + def q(sql): + r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres", + "-d", "postgres", "-t", "-A", "-c", sql], + capture_output=True, text=True, timeout=20, env=env) + return (r.stdout or "").strip() + limit = int(q("SHOW max_connections;") or 0) + total = int(q("SELECT count(*) FROM pg_stat_activity;") or 0) + pct = 100.0 * total / limit if limit else 0 + return "• Postgres: %d/%d (%.0f%%)" % (total, limit, pct) + except Exception: + return "• Postgres: нет данных" + + +def llm_stats(): + """LLM за сутки: вызовы, фолбэки, модели.""" + import json as _j + from datetime import datetime as _dt, timedelta as _td + p = "/var/log/hub/llm-fallback.log" + if not os.path.exists(p): + return "• LLM: журнала нет" + since = _dt.now() - _td(days=1) + calls = fallbacks = 0 + models = {} + try: + for line in open(p, encoding="utf-8", errors="replace"): + try: + r = _j.loads(line) + except Exception: + continue + ts = r.get("ts") + if not ts: + continue + try: + if _dt.fromisoformat(ts) < since: + continue + except Exception: + continue + if not r.get("ok"): + continue + calls += 1 + models[r.get("model", "?")] = models.get(r.get("model", "?"), 0) + 1 + if r.get("fallback"): + fallbacks += 1 + except Exception: + return "• LLM: журнал не читается" + if not calls: + return "• LLM за сутки: вызовов не было" + top = sorted(models.items(), key=lambda x: -x[1])[:2] + return ("• LLM за сутки: %d вызовов, фолбэк %d (%.0f%%); %s" + % (calls, fallbacks, 100.0 * fallbacks / calls, + ", ".join("%s×%d" % (k, v) for k, v in top))) + + +def rag_stats(): + """Свежесть RAG-индекса.""" + import subprocess as _sp + try: + env = dict(os.environ, + PGPASSWORD=open("/root/.pg-superuser-pass").read().strip()) + r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres", + "-d", "rag", "-t", "-A", "-F", "|", "-c", + "SELECT count(*), to_char(max(updated),'MM-DD HH24:MI') FROM chunks;"], + capture_output=True, text=True, timeout=20, env=env) + n, ts = (r.stdout or "").strip().split("|")[:2] + return "• RAG: %s чанков, обновлён %s" % (n, ts) + except Exception: + return "• RAG: нет данных" + def main(): dry = "--dry-run" in sys.argv sline, _ = services() parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "", sline, failed_units(), backups(), log_digest(), + pg_conn(), llm_stats(), rag_stats(), tasks(), approvals(), errors_night()] text = "\n".join(parts) print(text)