Files
buryan-infra/ops/scripts/after-llm-audit.sh
T

71 lines
2.5 KiB
Bash
Executable File

#!/bin/bash
# Аудит запускается ТОЛЬКО когда LLM-сбор закончил очередь.
# Ничего не меняет: только читает и пишет отчёт.
set -u
LOG=/var/log/deep-audit.log
DONE=/var/lib/deep-audit.last
TODAY=$(date +%F)
exec >>"$LOG" 2>&1
# уже делали сегодня?
if [ -f "$DONE" ] && [ "$(cat "$DONE")" = "$TODAY" ]; then
exit 0
fi
# очередь LLM пуста? считаем незавершённые адреса по всем очередям
python3 - <<'EOF'
import glob, json, os, sys
OUT = "/opt/work-hub/research"
pending = 0
detail = []
for q in glob.glob(os.path.join(OUT, "queue*.jsonl")):
try:
items = [json.loads(l) for l in open(q, encoding="utf-8") if l.strip()]
except Exception:
continue
base = os.path.basename(q).replace("queue-", "").replace("queue", "yealink").replace(".jsonl", "")
# файл прогресса: progress-<vendor>[-tag]-0.json
prog_files = glob.glob(os.path.join(OUT, "progress-%s*-0.json" % base))
done = set()
for pf in prog_files:
try:
done |= {k for k, v in json.load(open(pf, encoding="utf-8")).items()
if v in ("ok", "empty", "skip")}
except Exception:
pass
left = [i for i in items if i["url"] not in done]
if left:
pending += len(left)
detail.append("%s:%d" % (base, len(left)))
print("PENDING=%d %s" % (pending, " ".join(detail)))
sys.exit(0 if pending == 0 else 1)
EOF
if [ $? -ne 0 ]; then
echo "[$(date '+%F %T')] LLM ещё работает — аудит отложен"
exit 0
fi
echo "[$(date '+%F %T')] LLM закончил — запускаю глубокий аудит"
/opt/work-hub/venv/bin/python /root/buryan-infra/ops/scripts/deep_audit.py
RC=$?
if [ $RC -eq 0 ]; then
echo "$TODAY" > "$DONE"
/opt/work-hub/venv/bin/python - <<'EOF'
import json, urllib.request as u
msg = ("🧾 Глубокий аудит готов (LLM закончил сбор).\n"
"Отчёт: /root/buryan-infra/ops/audits/ — только чтение, ничего не менялось.")
body = json.dumps({"title": "Аудит", "message": msg, "priority": "normal"}).encode()
req = u.Request("http://127.0.0.1:9120/notify", data=body,
headers={"Content-Type": "application/json"})
try:
u.urlopen(req, timeout=10).read()
except Exception:
pass
EOF
fi
echo "[$(date '+%F %T')] аудит завершён с кодом $RC"
exit $RC