Files
buryan-infra/ops/scripts/deep_audit.py
T

140 lines
7.8 KiB
Python
Executable File

#!/usr/bin/env python3
"""Глубокий аудит системы силами LLM (DeepSeek через VDS).
Собирает досье (без секретов), отправляет в DeepSeek с VDS, сохраняет отчёт
в ops/audits и присылает выжимку в Matrix.
"""
import json
import os
import re
import subprocess
import sys
import time
import urllib.request
ROOM = "!puEdcZCc87kKoCm3mX5bbjrTS-Skv2XCZg7JJBKOMw0"
HS = "http://192.168.1.155:8008"
VDS = "root@10.88.0.1"
REPO = "/root/buryan-infra"
def sh(cmd, timeout=60):
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return ((r.stdout or "") + (r.stderr or "")).strip()
def gateway_call(tool, args=None):
try:
tok = open("/root/.tool-gateway-owner-token").read().strip()
body = json.dumps({"tool": tool, "args": args or {}}).encode()
req = urllib.request.Request("http://127.0.0.1:9140/call", data=body,
headers={"Content-Type": "application/json",
"X-Gateway-Token": tok}, method="POST")
with urllib.request.urlopen(req, timeout=40) as r:
d = json.loads(r.read().decode())
return d.get("result") if d.get("ok") else d
except Exception as e:
return {"error": str(e)[:200]}
def redact(s):
s = re.sub(r"(?i)(token|key|password|passwd|secret)\s*[=:]\s*\S+", r"\1=[REDACTED]", s)
s = re.sub(r"sk-[A-Za-z0-9]{10,}", "[REDACTED_KEY]", s)
return s
def build_context():
parts = []
parts.append("# Досье системы Buryans Hub (для аудита)\n")
parts.append("## Дата\n" + time.strftime("%d.%m.%Y %H:%M") + "\n")
parts.append("## Хост и контейнеры\n```\n" + sh("hostname; nproc; free -h | head -2; pct list | head -40") + "\n```\n")
parts.append("## Hub status\n```\n" + json.dumps(gateway_call("hub.status"), ensure_ascii=False)[:3000] + "\n```\n")
parts.append("## Tool Gateway: инструменты и схемы\n```\n" + sh("grep -E '^ \"[a-z_.]+\": \\{\"fn\"|^TOOLS =|scope' /root/buryan-infra/ops/tools/gateway.py | head -80") + "\n```\n")
parts.append("## Аудит Tool Gateway (7 дней)\n```\n" + sh('''SUP=$(cat /root/.pg-superuser-pass); PGPASSWORD="$SUP" psql -w -h 192.168.1.151 -U postgres -d hermes -t -A -F'|' -c "select tool,count(*),count(*) filter(where not ok),coalesce(round(avg(ms)),0) from tool_audit where ts>now()-interval '7 days' group by tool order by count(*) desc limit 25;"''') + "\n```\n")
parts.append("## Hermes jobs\n```\n" + sh("sed -n '1,200p' /opt/hermes/jobs.yaml") + "\n```\n")
parts.append("## OpenClaw config (redacted)\n```\n" + redact(sh("pct exec 115 -- cat /opt/openclaw/openclaw.json"))[:6000] + "\n```\n")
parts.append("## OpenClaw workspace policy\n```\n" + sh("pct exec 115 -- tail -40 /opt/openclaw/workspace/AGENTS.md 2>/dev/null") + "\n```\n")
parts.append("## Eval baseline\n```\n" + sh("cat /var/lib/secretary-eval/summary.md 2>/dev/null; echo; tail -5 /root/buryan-infra/ops/audits/EVAL-FINAL-2026-11-17.md 2>/dev/null") + "\n```\n")
parts.append("## Известные инциденты/документы\n```\n" + sh("ls /root/buryan-infra/ops/audits/ 2>/dev/null | tail -15") + "\n```\n")
parts.append("## Репозиторий (структура)\n```\n" + sh("cd /root/buryan-infra && find ops -maxdepth 2 -type d | sort | head -40") + "\n```\n")
return redact("\n".join(parts))[:60000]
VDS_SCRIPT = r'''#!/usr/bin/env python3
import json, sys, urllib.request
key = open("/tmp/dskey").read().strip()
ctx = open("/tmp/deep-context.md", encoding="utf-8").read()
system = ("Ты — независимый аудитор домашней инфраструктуры Buryans Hub. "
"Цель: максимально глубокий аудит для дальнейшей работы AI-секретаря (OpenClaw). "
"Не выдумывай факты; если данных нет — пиши 'неизвестно'. "
"Отвечай на русском, структурированно, без воды.")
user = """Проведи максимально глубокий аудит системы по досье ниже.
Разделы:
1. Архитектура и границы ролей (hub-core, Hermes, OpenClaw, n8n, HA).
2. Данные, память, приватность (что можно/нельзя в облако).
3. Инструменты/MCP: чего не хватает секретарю, какие опасны, как выдавать права.
4. Безопасность: prompt injection, секреты, approvals, sandbox, аудит.
5. Надёжность: state-lock OpenClaw, долгие turn'ы, fallback, наблюдаемость.
6. UX семьи: онбординг, каналы, проактивность, память о людях.
7. LLM/стоимость: локальная vs DeepSeek, router, кэш, качество.
8. Конкретная дорожная карта P0/P1/P2 на 2-4 недели.
9. Список задач с критериями готовности.
В конце — 5 главных рисков и 5 главных возможностей.
ДОСЬЕ:
""" + ctx
body = {"model": "deepseek-chat", "temperature": 0.2, "max_tokens": 8000,
"messages": [{"role": "system", "content": system}, {"role": "user", "content": user}]}
req = urllib.request.Request("https://api.deepseek.com/chat/completions",
data=json.dumps(body).encode(),
headers={"Content-Type": "application/json", "Authorization": "Bearer " + key},
method="POST")
try:
with urllib.request.urlopen(req, timeout=300) as r:
d = json.loads(r.read().decode())
out = d["choices"][0]["message"]["content"]
except Exception as e:
out = "# Ошибка аудита\n\n" + str(e)[:1000]
open("/tmp/deep-report.md", "w", encoding="utf-8").write(out)
print("report chars:", len(out))
'''
def send_matrix(text):
tok = open("/root/.matrix-admin-token").read().strip()
txn = "deepaudit-%d" % int(time.time() * 1000)
body = json.dumps({"msgtype": "m.text", "body": text}).encode()
url = "%s/_matrix/client/v3/rooms/%s/send/m.room.message/%s?access_token=%s" % (HS, ROOM, txn, tok)
req = urllib.request.Request(url, data=body, headers={"Content-Type": "application/json"}, method="PUT")
with urllib.request.urlopen(req, timeout=20) as r:
return r.status
def main():
ctx = build_context()
open("/tmp/deep-context.md", "w", encoding="utf-8").write(ctx)
open("/tmp/deep_audit_vds.py", "w", encoding="utf-8").write(VDS_SCRIPT)
print("context chars:", len(ctx))
# ключ и контекст на VDS (временно)
sh("scp -q -o BatchMode=yes /root/.deepseek-key %s:/tmp/dskey" % VDS)
sh("scp -q -o BatchMode=yes /tmp/deep-context.md /tmp/deep_audit_vds.py %s:/tmp/" % VDS)
sh("ssh -o BatchMode=yes %s 'chmod 600 /tmp/dskey && python3 /tmp/deep_audit_vds.py'" % VDS, timeout=600)
sh("scp -q -o BatchMode=yes %s:/tmp/deep-report.md /tmp/deep-report.md" % VDS)
sh("ssh -o BatchMode=yes %s 'rm -f /tmp/dskey /tmp/deep-context.md /tmp/deep_audit_vds.py'" % VDS)
report = open("/tmp/deep-report.md", encoding="utf-8").read() if os.path.exists("/tmp/deep-report.md") else "# Ошибка\n"
ts = time.strftime("%Y%m%d-%H%M")
dst = "%s/ops/audits/DEEP-AUDIT-%s.md" % (REPO, ts)
header = "# Глубокий аудит Buryans Hub (LLM, %s)\n\n" % time.strftime("%d.%m.%Y %H:%M")
open(dst, "w", encoding="utf-8").write(header + report)
print("saved:", dst)
summary = report[:1800]
try:
send_matrix("🔍 **Глубокий аудит готов** (%s)\n\n%s\n\n…полный отчёт: `%s`" % (ts, summary, dst))
except Exception as e:
print("matrix failed:", e)
return 0
if __name__ == "__main__":
sys.exit(main())