[OPS] Утренняя сводка: добавлены Postgres (соединения), LLM за сутки (вызовы/фолбэк/модели) и RAG (чанки/свежесть); в llm-fallback.log появилась метка ts; overlayfs-шум отфильтрован. Критично: restic-скрипты ходили на мёртвый Tailscale 100.64.0.2 — офсайт-копии не обновлялись с 8 ноября, photos-backup падал каждую ночь. Исправлено на WG 10.88.0.1 в restore-test/photos-backup/offsite-backup/offsite_verify (+копия в репо). Проверено: restore-test 5/5, photos rc=0 (219 МБ), restic check без ошибок
This commit is contained in:
1 parent
368e863146
commit
cd911d7d9f
4 files changed
+137
-1
No files matched your search
@@ -0,0 +1,59 @@
|
||||
# Утренняя сводка и мониторинг бэкапов (17.11.2026)
|
||||
|
||||
Работа «на пока»: усилили сводку и проверили бэкапы после всех изменений.
|
||||
|
||||
## 1. Утренняя сводка стала полнее
|
||||
|
||||
Добавлено в `morning_digest.py`:
|
||||
|
||||
* **Postgres**: соединения `56/200 (28%)` — видно приближение к лимиту;
|
||||
* **LLM за сутки**: вызовы, доля фолбэков, топ моделей;
|
||||
* **RAG**: число чанков и время последнего обновления.
|
||||
|
||||
Чтобы LLM-статистика была по суткам, в `/var/log/hub/llm-fallback.log`
|
||||
появилась метка `ts`.
|
||||
|
||||
Также в ночной разбор добавлен известный шум overlayfs
|
||||
(`does not support file handles`) — он больше не считается «новым».
|
||||
|
||||
## 2. Найден и исправлен провал в бэкапах (важное)
|
||||
|
||||
`restore-test` показал **4/5**: не прошла проверка **Restic офсайт-репозитория**.
|
||||
|
||||
Причина: все restic-скрипты ходили на **мёртвый Tailscale-адрес**
|
||||
`root@100.64.0.2` (Tailscale-пир VDS недоступен). WG работает, но скрипты
|
||||
об этом не знали.
|
||||
|
||||
Следствия (проверено по логам):
|
||||
|
||||
* `offsite-backup.sh` — ошибки 16.11 и 17.11, последние снапшоты **8 ноября**;
|
||||
* `photos-backup.sh` — «копия НЕ сделана» каждую ночь;
|
||||
* `offsite_verify.sh` — проверял недоступный репозиторий.
|
||||
|
||||
Исправлено во всех скриптах: `sftp:root@100.64.0.2` → **`sftp:root@10.88.0.1`** (WG):
|
||||
|
||||
* `restore-test.sh`, `photos-backup.sh`, `offsite-backup.sh`,
|
||||
`offsite_verify.sh` (+ копия в репозитории).
|
||||
|
||||
Проверка:
|
||||
|
||||
```
|
||||
restore-test: 5/5 PASSED (включая Restic offsite)
|
||||
photos-backup: rc=0 за 16 с, снапшот immich-photos 219 МБ
|
||||
offsite-backup: снапшоты pve-code/pve-config сохранены, догоняет БД
|
||||
restic check: «no errors were found», 137 снапшотов
|
||||
```
|
||||
|
||||
## Что это значит
|
||||
|
||||
Офсайт-копии **9 дней не обновлялись** (с 8 ноября), кроме второго контура
|
||||
(он ходил по WG и работал). Теперь оба офсайт-канала снова живые.
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| Tailscale в скриптах | адрес 100.64.0.2 не удалён после перехода на WG |
|
||||
| restore-test | проверял restic и падал, но раз в месяц — незаметно |
|
||||
| photos-backup | ошибки уходили в /dev/null, в логах копились `Fatal` |
|
||||
| llm-fallback | в журнале не было времени — нельзя было считать «за сутки» |
|
||||
@@ -77,7 +77,7 @@ fi
|
||||
|
||||
# TEST 5: Restic offsite — проверка репозитория
|
||||
if command -v restic &> /dev/null && [ -f /root/.restic-password ]; then
|
||||
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
|
||||
export RESTIC_REPOSITORY="sftp:root@10.88.0.1:/backup/restic-repo"
|
||||
export RESTIC_PASSWORD_FILE="/root/.restic-password"
|
||||
run_test "Restic offsite repo check" "restic check --read-data-subset=1% 2>&1 | tail -5"
|
||||
else
|
||||
|
||||
@@ -35,6 +35,7 @@ NOISE = (
|
||||
"nfsdcld", "wtmpdb", "grub-common", "org.gnome", "avahi", "bluetooth",
|
||||
"pam_unix", "session opened", "session closed",
|
||||
"write access unavailable, skipping orphan cleanup",
|
||||
"does not support file handles, falling back to xino=off",
|
||||
)
|
||||
|
||||
|
||||
|
||||
@@ -137,11 +137,87 @@ def errors_night():
|
||||
return "• Ошибок в журнале за сутки: %s" % (n or "?")
|
||||
|
||||
|
||||
|
||||
def pg_conn():
|
||||
"""Соединения Postgres (см. pg_conn_monitor)."""
|
||||
import subprocess as _sp
|
||||
try:
|
||||
env = dict(os.environ,
|
||||
PGPASSWORD=open("/root/.pg-superuser-pass").read().strip())
|
||||
def q(sql):
|
||||
r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres",
|
||||
"-d", "postgres", "-t", "-A", "-c", sql],
|
||||
capture_output=True, text=True, timeout=20, env=env)
|
||||
return (r.stdout or "").strip()
|
||||
limit = int(q("SHOW max_connections;") or 0)
|
||||
total = int(q("SELECT count(*) FROM pg_stat_activity;") or 0)
|
||||
pct = 100.0 * total / limit if limit else 0
|
||||
return "• Postgres: %d/%d (%.0f%%)" % (total, limit, pct)
|
||||
except Exception:
|
||||
return "• Postgres: нет данных"
|
||||
|
||||
|
||||
def llm_stats():
|
||||
"""LLM за сутки: вызовы, фолбэки, модели."""
|
||||
import json as _j
|
||||
from datetime import datetime as _dt, timedelta as _td
|
||||
p = "/var/log/hub/llm-fallback.log"
|
||||
if not os.path.exists(p):
|
||||
return "• LLM: журнала нет"
|
||||
since = _dt.now() - _td(days=1)
|
||||
calls = fallbacks = 0
|
||||
models = {}
|
||||
try:
|
||||
for line in open(p, encoding="utf-8", errors="replace"):
|
||||
try:
|
||||
r = _j.loads(line)
|
||||
except Exception:
|
||||
continue
|
||||
ts = r.get("ts")
|
||||
if not ts:
|
||||
continue
|
||||
try:
|
||||
if _dt.fromisoformat(ts) < since:
|
||||
continue
|
||||
except Exception:
|
||||
continue
|
||||
if not r.get("ok"):
|
||||
continue
|
||||
calls += 1
|
||||
models[r.get("model", "?")] = models.get(r.get("model", "?"), 0) + 1
|
||||
if r.get("fallback"):
|
||||
fallbacks += 1
|
||||
except Exception:
|
||||
return "• LLM: журнал не читается"
|
||||
if not calls:
|
||||
return "• LLM за сутки: вызовов не было"
|
||||
top = sorted(models.items(), key=lambda x: -x[1])[:2]
|
||||
return ("• LLM за сутки: %d вызовов, фолбэк %d (%.0f%%); %s"
|
||||
% (calls, fallbacks, 100.0 * fallbacks / calls,
|
||||
", ".join("%s×%d" % (k, v) for k, v in top)))
|
||||
|
||||
|
||||
def rag_stats():
|
||||
"""Свежесть RAG-индекса."""
|
||||
import subprocess as _sp
|
||||
try:
|
||||
env = dict(os.environ,
|
||||
PGPASSWORD=open("/root/.pg-superuser-pass").read().strip())
|
||||
r = _sp.run(["psql", "-w", "-h", "192.168.1.151", "-U", "postgres",
|
||||
"-d", "rag", "-t", "-A", "-F", "|", "-c",
|
||||
"SELECT count(*), to_char(max(updated),'MM-DD HH24:MI') FROM chunks;"],
|
||||
capture_output=True, text=True, timeout=20, env=env)
|
||||
n, ts = (r.stdout or "").strip().split("|")[:2]
|
||||
return "• RAG: %s чанков, обновлён %s" % (n, ts)
|
||||
except Exception:
|
||||
return "• RAG: нет данных"
|
||||
|
||||
def main():
|
||||
dry = "--dry-run" in sys.argv
|
||||
sline, _ = services()
|
||||
parts = ["🌅 Утренняя сводка — %s" % date.today().strftime("%d.%m.%Y"), "",
|
||||
sline, failed_units(), backups(), log_digest(),
|
||||
pg_conn(), llm_stats(), rag_stats(),
|
||||
tasks(), approvals(), errors_night()]
|
||||
text = "\n".join(parts)
|
||||
print(text)
|
||||
|
||||
Reference in new issue
Block a user