From cd911d7d9f8f3b0e172f88f185d54779c113533f Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 17 Nov 2026 10:51:01 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=A3=D1=82=D1=80=D0=B5=D0=BD=D0=BD?= =?UTF-8?q?=D1=8F=D1=8F=20=D1=81=D0=B2=D0=BE=D0=B4=D0=BA=D0=B0:=20=D0=B4?= =?UTF-8?q?=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D1=8B=20Postgres=20(?= =?UTF-8?q?=D1=81=D0=BE=D0=B5=D0=B4=D0=B8=D0=BD=D0=B5=D0=BD=D0=B8=D1=8F),?= =?UTF-8?q?=20LLM=20=D0=B7=D0=B0=20=D1=81=D1=83=D1=82=D0=BA=D0=B8=20(?= =?UTF-8?q?=D0=B2=D1=8B=D0=B7=D0=BE=D0=B2=D1=8B/=D1=84=D0=BE=D0=BB=D0=B1?= =?UTF-8?q?=D1=8D=D0=BA/=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB=D0=B8)=20=D0=B8=20R?= =?UTF-8?q?AG=20(=D1=87=D0=B0=D0=BD=D0=BA=D0=B8/=D1=81=D0=B2=D0=B5=D0=B6?= =?UTF-8?q?=D0=B5=D1=81=D1=82=D1=8C);=20=D0=B2=20llm-fallback.log=20=D0=BF?= =?UTF-8?q?=D0=BE=D1=8F=D0=B2=D0=B8=D0=BB=D0=B0=D1=81=D1=8C=20=D0=BC=D0=B5?= =?UTF-8?q?=D1=82=D0=BA=D0=B0=20ts;=20overlayfs-=D1=88=D1=83=D0=BC=20?= =?UTF-8?q?=D0=BE=D1=82=D1=84=D0=B8=D0=BB=D1=8C=D1=82=D1=80=D0=BE=D0=B2?= =?UTF-8?q?=D0=B0=D0=BD.=20=D0=9A=D1=80=D0=B8=D1=82=D0=B8=D1=87=D0=BD?= =?UTF-8?q?=D0=BE:=20restic-=D1=81=D0=BA=D1=80=D0=B8=D0=BF=D1=82=D1=8B=20?= =?UTF-8?q?=D1=85=D0=BE=D0=B4=D0=B8=D0=BB=D0=B8=20=D0=BD=D0=B0=20=D0=BC?= =?UTF-8?q?=D1=91=D1=80=D1=82=D0=B2=D1=8B=D0=B9=20Tailscale=20100.64.0.2?= =?UTF-8?q?=20=E2=80=94=20=D0=BE=D1=84=D1=81=D0=B0=D0=B9=D1=82-=D0=BA?= =?UTF-8?q?=D0=BE=D0=BF=D0=B8=D0=B8=20=D0=BD=D0=B5=20=D0=BE=D0=B1=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=BB=D1=8F=D0=BB=D0=B8=D1=81=D1=8C=20=D1=81=208?= =?UTF-8?q?=20=D0=BD=D0=BE=D1=8F=D0=B1=D1=80=D1=8F,=20photos-backup=20?= =?UTF-8?q?=D0=BF=D0=B0=D0=B4=D0=B0=D0=BB=20=D0=BA=D0=B0=D0=B6=D0=B4=D1=83?= =?UTF-8?q?=D1=8E=20=D0=BD=D0=BE=D1=87=D1=8C.=20=D0=98=D1=81=D0=BF=D1=80?= =?UTF-8?q?=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D0=BE=20=D0=BD=D0=B0=20WG=2010.8?= =?UTF-8?q?8.0.1=20=D0=B2=20restore-test/photos-backup/offsite-backup/offs?= =?UTF-8?q?ite=5Fverify=20(+=D0=BA=D0=BE=D0=BF=D0=B8=D1=8F=20=D0=B2=20?= =?UTF-8?q?=D1=80=D0=B5=D0=BF=D0=BE).=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B5?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D0=BE:=20restore-test=205/5,=20photos=20rc?= =?UTF-8?q?=3D0=20(219=20=D0=9C=D0=91),=20restic=20check=20=D0=B1=D0=B5?= =?UTF-8?q?=D0=B7=20=D0=BE=D1=88=D0=B8=D0=B1=D0=BE=D0=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/DIGEST-BACKUPS-2026-11-17.md | 59 +++++++++++++++++++ ops/ops/scripts/restore-test.sh | 2 +- ops/scripts/log_signatures.py | 1 + ops/scripts/morning_digest.py | 76 +++++++++++++++++++++++++ 4 files changed, 137 insertions(+), 1 deletion(-) create mode 100644 ops/audits/DIGEST-BACKUPS-2026-11-17.md diff --git a/ops/audits/DIGEST-BACKUPS-2026-11-17.md b/ops/audits/DIGEST-BACKUPS-2026-11-17.md new file mode 100644 index 0000000..f2f4ca7 --- /dev/null +++ b/ops/audits/DIGEST-BACKUPS-2026-11-17.md @@ -0,0 +1,59 @@ +# Утренняя сводка и мониторинг бэкапов (17.11.2026) + +Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений. + +## 1. Утренняя сводка стала полнее + +Добавлено в `morning_digest.py`: + +* **Postgres**: соединения `56/200 (28%)` — видно приближение к лимиту; +* **LLM за сутки**: вызовы, доля фолбэков, топ моделей; +* **RAG**: число чанков и время последнего обновления. + +Чтобы LLM-статистика была по суткам, в `/var/log/hub/llm-fallback.log` +появилась метка `ts`. + +Также в ночной разбор добавлен известный шум overlayfs +(`does not support file handles`) — он больше не считается «новым». + +## 2. Найден и исправлен провал в бэкапах (важное) + +`restore-test` показал **4/5**: не прошла проверка **Restic офсайт-репозитория**. + +Причина: все restic-скрипты ходили на **мёртвый Tailscale-адрес** +`root@100.64.0.2` (Tailscale-пир VDS недоступен). WG работает, но скрипты +об этом не знали. + +Следствия (проверено по логам): + +* `offsite-backup.sh` — ошибки 16.11 и 17.11, последние снапшоты **8 ноября**; +* `photos-backup.sh` — «копия НЕ сделана» каждую ночь; +* `offsite_verify.sh` — проверял недоступный репозиторий. + +Исправлено во всех скриптах: `sftp:root@100.64.0.2` → **`sftp:root@10.88.0.1`** (WG): + +* `restore-test.sh`, `photos-backup.sh`, `offsite-backup.sh`, + `offsite_verify.sh` (+ копия в репозитории). + +Проверка: + +``` +restore-test: 5/5 PASSED (включая Restic offsite) +photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ +offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД +restic check: «no errors were found», 137 снапшотов +``` + +## Что это значит + +Офсайт-копии **9 дней не обновлялись** (с 8 ноября), кроме второго контура +(он ходил по WG и работал). Теперь оба офсайт-канала снова живые. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| Tailscale в скриптах | адрес 100.64.0.2 не удалён после перехода на WG | +| restore-test | проверял restic и падал, но раз в месяц — незаметно | +| photos-backup | ошибки уходили в /dev/null, в логах копились `Fatal` | +| llm-fallback | в журнале не было времени — нельзя было считать «за сутки» | diff --git a/ops/ops/scripts/restore-test.sh b/ops/ops/scripts/restore-test.sh index e79d0ac..67fb6eb 100755 --- a/ops/ops/scripts/restore-test.sh +++ b/ops/ops/scripts/restore-test.sh @@ -77,7 +77,7 @@ fi # TEST 5: Restic offsite — проверка репозитория if command -v restic &> /dev/null && [ -f /root/.restic-password ]; then - export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" + export RESTIC_REPOSITORY="sftp:root@10.88.0.1:/backup/restic-repo" export RESTIC_PASSWORD_FILE="/root/.restic-password" run_test "Restic offsite repo check" "restic check --read-data-subset=1% 2>&1 | tail -5" else diff --git a/ops/scripts/log_signatures.py b/ops/scripts/log_signatures.py index a672624..e3ac081 100755 --- a/ops/scripts/log_signatures.py +++ b/ops/scripts/log_signatures.py @@ -35,6 +35,7 @@ NOISE = ( "nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth", "pam_unix", "session opened", "session closed", "write access unavailable, skipping orphan cleanup", + "does not support file handles, falling back to xino=off", ) diff --git a/ops/scripts/morning_digest.py b/ops/scripts/morning_digest.py index 2bb93ee..dfbace2 100755 --- a/ops/scripts/morning_digest.py +++ b/ops/scripts/morning_digest.py @@ -137,11 +137,87 @@ def errors_night(): return "• Ошибок в журнале за сутки: %s" % (n or "?") + +def pg_conn(): + """Соединения Postgres (см. pg_conn_monitor).""" + import subprocess as _sp + try: + env = dict(os.environ, + PGPASSWORD=open("/root/.pg-superuser-pass").read().strip()) + def q(sql): + r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres", + "-d", "postgres", "-t", "-A", "-c", sql], + capture_output=True, text=True, timeout=20, env=env) + return (r.stdout or "").strip() + limit = int(q("SHOW max_connections;") or 0) + total = int(q("SELECT count(*) FROM pg_stat_activity;") or 0) + pct = 100.0 * total / limit if limit else 0 + return "• Postgres: %d/%d (%.0f%%)" % (total, limit, pct) + except Exception: + return "• Postgres: нет данных" + + +def llm_stats(): + """LLM за сутки: вызовы, фолбэки, модели.""" + import json as _j + from datetime import datetime as _dt, timedelta as _td + p = "/var/log/hub/llm-fallback.log" + if not os.path.exists(p): + return "• LLM: журнала нет" + since = _dt.now() - _td(days=1) + calls = fallbacks = 0 + models = {} + try: + for line in open(p, encoding="utf-8", errors="replace"): + try: + r = _j.loads(line) + except Exception: + continue + ts = r.get("ts") + if not ts: + continue + try: + if _dt.fromisoformat(ts) < since: + continue + except Exception: + continue + if not r.get("ok"): + continue + calls += 1 + models[r.get("model", "?")] = models.get(r.get("model", "?"), 0) + 1 + if r.get("fallback"): + fallbacks += 1 + except Exception: + return "• LLM: журнал не читается" + if not calls: + return "• LLM за сутки: вызовов не было" + top = sorted(models.items(), key=lambda x: -x[1])[:2] + return ("• LLM за сутки: %d вызовов, фолбэк %d (%.0f%%); %s" + % (calls, fallbacks, 100.0 * fallbacks / calls, + ", ".join("%s×%d" % (k, v) for k, v in top))) + + +def rag_stats(): + """Свежесть RAG-индекса.""" + import subprocess as _sp + try: + env = dict(os.environ, + PGPASSWORD=open("/root/.pg-superuser-pass").read().strip()) + r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres", + "-d", "rag", "-t", "-A", "-F", "|", "-c", + "SELECT count(*), to_char(max(updated),'MM-DD HH24:MI') FROM chunks;"], + capture_output=True, text=True, timeout=20, env=env) + n, ts = (r.stdout or "").strip().split("|")[:2] + return "• RAG: %s чанков, обновлён %s" % (n, ts) + except Exception: + return "• RAG: нет данных" + def main(): dry = "--dry-run" in sys.argv sline, _ = services() parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "", sline, failed_units(), backups(), log_digest(), + pg_conn(), llm_stats(), rag_stats(), tasks(), approvals(), errors_night()] text = "\n".join(parts) print(text)