[OPS] Утренняя сводка: добавлены Postgres (соединения), LLM за сутки (вызовы/фолбэк/модели) и RAG (чанки/свежесть); в llm-fallback.log появилась метка ts; overlayfs-шум отфильтрован. Критично: restic-скрипты ходили на мёртвый Tailscale 100.64.0.2 — офсайт-копии не обновлялись с 8 ноября, photos-backup падал каждую ночь. Исправлено на WG 10.88.0.1 в restore-test/photos-backup/offsite-backup/offsite_verify (+копия в репо). Проверено: restore-test 5/5, photos rc=0 (219 МБ), restic check без ошибок

This commit is contained in:
root committed 2026-11-17 10:51:01 +03:00
1 parent 368e863146
commit cd911d7d9f
4 files changed
+137 -1

No files matched your search

+59
View File
@@ -0,0 +1,59 @@
# Утренняя сводка и мониторинг бэкапов (17.11.2026)
Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений.
## 1. Утренняя сводка стала полнее
Добавлено в `morning_digest.py`:
* **Postgres**: соединения `56/200 (28%)` — видно приближение к лимиту;
* **LLM за сутки**: вызовы, доля фолбэков, топ моделей;
* **RAG**: число чанков и время последнего обновления.
Чтобы LLM-статистика была по суткам, в `/var/log/hub/llm-fallback.log`
появилась метка `ts`.
Также в ночной разбор добавлен известный шум overlayfs
(`does not support file handles`) — он больше не считается «новым».
## 2. Найден и исправлен провал в бэкапах (важное)
`restore-test` показал **4/5**: не прошла проверка **Restic офсайт-репозитория**.
Причина: все restic-скрипты ходили на **мёртвый Tailscale-адрес**
`root@100.64.0.2` (Tailscale-пир VDS недоступен). WG работает, но скрипты
об этом не знали.
Следствия (проверено по логам):
* `offsite-backup.sh` — ошибки 16.11 и 17.11, последние снапшоты **8 ноября**;
* `photos-backup.sh` — «копия НЕ сделана» каждую ночь;
* `offsite_verify.sh` — проверял недоступный репозиторий.
Исправлено во всех скриптах: `sftp:root@100.64.0.2` → **`sftp:root@10.88.0.1`** (WG):
* `restore-test.sh`, `photos-backup.sh`, `offsite-backup.sh`,
`offsite_verify.sh` (+ копия в репозитории).
Проверка:
```
restore-test: 5/5 PASSED (включая Restic offsite)
photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ
offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД
restic check: «no errors were found», 137 снапшотов
```
## Что это значит
Офсайт-копии **9 дней не обновлялись** (с 8 ноября), кроме второго контура
(он ходил по WG и работал). Теперь оба офсайт-канала снова живые.
## Ловушки
| Ловушка | Что было |
|---|---|
| Tailscale в скриптах | адрес 100.64.0.2 не удалён после перехода на WG |
| restore-test | проверял restic и падал, но раз в месяц — незаметно |
| photos-backup | ошибки уходили в /dev/null, в логах копились `Fatal` |
| llm-fallback | в журнале не было времени — нельзя было считать «за сутки» |
+1 -1
View File
@@ -77,7 +77,7 @@ fi
# TEST 5: Restic offsite — проверка репозитория
if command -v restic &> /dev/null && [ -f /root/.restic-password ]; then
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_REPOSITORY="sftp:root@10.88.0.1:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
run_test "Restic offsite repo check" "restic check --read-data-subset=1% 2>&1 | tail -5"
else
+1
View File
@@ -35,6 +35,7 @@ NOISE = (
"nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth",
"pam_unix", "session opened", "session closed",
"write access unavailable, skipping orphan cleanup",
"does not support file handles, falling back to xino=off",
)
+76
View File
@@ -137,11 +137,87 @@ def errors_night():
return "• Ошибок в журнале за сутки: %s" % (n or "?")
def pg_conn():
"""Соединения Postgres (см. pg_conn_monitor)."""
import subprocess as _sp
try:
env = dict(os.environ,
PGPASSWORD=open("/root/.pg-superuser-pass").read().strip())
def q(sql):
r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres",
"-d", "postgres", "-t", "-A", "-c", sql],
capture_output=True, text=True, timeout=20, env=env)
return (r.stdout or "").strip()
limit = int(q("SHOW max_connections;") or 0)
total = int(q("SELECT count(*) FROM pg_stat_activity;") or 0)
pct = 100.0 * total / limit if limit else 0
return "• Postgres: %d/%d (%.0f%%)" % (total, limit, pct)
except Exception:
return "• Postgres: нет данных"
def llm_stats():
"""LLM за сутки: вызовы, фолбэки, модели."""
import json as _j
from datetime import datetime as _dt, timedelta as _td
p = "/var/log/hub/llm-fallback.log"
if not os.path.exists(p):
return "• LLM: журнала нет"
since = _dt.now() - _td(days=1)
calls = fallbacks = 0
models = {}
try:
for line in open(p, encoding="utf-8", errors="replace"):
try:
r = _j.loads(line)
except Exception:
continue
ts = r.get("ts")
if not ts:
continue
try:
if _dt.fromisoformat(ts) < since:
continue
except Exception:
continue
if not r.get("ok"):
continue
calls += 1
models[r.get("model", "?")] = models.get(r.get("model", "?"), 0) + 1
if r.get("fallback"):
fallbacks += 1
except Exception:
return "• LLM: журнал не читается"
if not calls:
return "• LLM за сутки: вызовов не было"
top = sorted(models.items(), key=lambda x: -x[1])[:2]
return ("• LLM за сутки: %d вызовов, фолбэк %d (%.0f%%); %s"
% (calls, fallbacks, 100.0 * fallbacks / calls,
", ".join("%s×%d" % (k, v) for k, v in top)))
def rag_stats():
"""Свежесть RAG-индекса."""
import subprocess as _sp
try:
env = dict(os.environ,
PGPASSWORD=open("/root/.pg-superuser-pass").read().strip())
r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres",
"-d", "rag", "-t", "-A", "-F", "|", "-c",
"SELECT count(*), to_char(max(updated),'MM-DD HH24:MI') FROM chunks;"],
capture_output=True, text=True, timeout=20, env=env)
n, ts = (r.stdout or "").strip().split("|")[:2]
return "• RAG: %s чанков, обновлён %s" % (n, ts)
except Exception:
return "• RAG: нет данных"
def main():
dry = "--dry-run" in sys.argv
sline, _ = services()
parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "",
sline, failed_units(), backups(), log_digest(),
pg_conn(), llm_stats(), rag_stats(),
tasks(), approvals(), errors_night()]
text = "\n".join(parts)
print(text)