128 lines
5.2 KiB
Python
Executable File
128 lines
5.2 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""Статистика доверия к действиям агента (основа лестницы L0–L5).
|
||
|
||
Читает журнал Hermes (/var/log/hermes/actions.jsonl) и состояние guards,
|
||
считает по каждому правилу: запусков, успехов, провалов, успешность,
|
||
и предлагает повышение/понижение уровня по порогам из policy.yaml.
|
||
|
||
Отчёт: ops/trust/report-YYYY-MM-DD.md
|
||
"""
|
||
import json
|
||
import sys
|
||
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
|
||
from report_llm import summarize as _llm_summary
|
||
import os
|
||
import sys
|
||
from collections import defaultdict
|
||
from datetime import date
|
||
|
||
ROOT = "/root/buryan-infra"
|
||
JOURNAL = "/var/log/hermes/actions.jsonl"
|
||
STATE = "/var/lib/hermes/guards.json"
|
||
POLICY = ROOT + "/ops/hermes/policy.yaml"
|
||
OUT = ROOT + "/ops/trust"
|
||
|
||
|
||
def load_policy():
|
||
import yaml
|
||
try:
|
||
return yaml.safe_load(open(POLICY, encoding="utf-8")) or {}
|
||
except Exception:
|
||
return {}
|
||
|
||
|
||
def read_journal():
|
||
runs = defaultdict(lambda: {"start": 0, "done": 0, "failed": 0, "denied": 0, "last": ""})
|
||
if not os.path.exists(JOURNAL):
|
||
return runs
|
||
for ln in open(JOURNAL, encoding="utf-8", errors="ignore"):
|
||
try:
|
||
e = json.loads(ln)
|
||
except Exception:
|
||
continue
|
||
rule = e.get("rule") or "?"
|
||
ev = e.get("event")
|
||
if ev in runs[rule]:
|
||
runs[rule][ev] += 1
|
||
if e.get("ts"):
|
||
runs[rule]["last"] = e["ts"]
|
||
return runs
|
||
|
||
|
||
def main():
|
||
pol = load_policy()
|
||
promo = (pol.get("autonomy") or {}).get("promotion") or {}
|
||
min_runs = int(promo.get("min_runs", 20))
|
||
min_rate = float(promo.get("min_success_rate", 0.95))
|
||
policy_rules = {r.get("id"): r for r in (pol.get("rules") or []) if r.get("id")}
|
||
|
||
runs = read_journal()
|
||
state = {}
|
||
try:
|
||
state = (json.load(open(STATE, encoding="utf-8")) or {}).get("rules") or {}
|
||
except Exception:
|
||
pass
|
||
|
||
os.makedirs(OUT, exist_ok=True)
|
||
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
|
||
L = ["# Статистика доверия агента — %s" % date.today().isoformat(), "",
|
||
"Порог повышения уровня: **%d успешных запусков при успешности ≥ %.0f%%**." % (min_runs, min_rate * 100),
|
||
""]
|
||
L += ["| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт |",
|
||
"|---|---|---|---|---|---|---|---|"]
|
||
|
||
promote, demote, observe = [], [], []
|
||
for rule in sorted(set(list(runs.keys()) + list(policy_rules.keys()))):
|
||
r = runs.get(rule, {})
|
||
done, failed = r.get("done", 0), r.get("failed", 0)
|
||
total = done + failed
|
||
rate = (done / total) if total else 0.0
|
||
level = (policy_rules.get(rule) or {}).get("level", "—")
|
||
st = state.get(rule) or {}
|
||
blocked = st.get("blocked")
|
||
|
||
if blocked:
|
||
verdict = "ЗАБЛОКИРОВАНО (circuit breaker)"
|
||
demote.append(rule)
|
||
elif total == 0:
|
||
verdict = "нет данных"
|
||
observe.append(rule)
|
||
elif rate >= min_rate and total >= min_runs:
|
||
verdict = "можно повысить уровень"
|
||
promote.append(rule)
|
||
elif rate < 0.7 and total >= 5:
|
||
verdict = "понизить / разобрать провалы"
|
||
demote.append(rule)
|
||
else:
|
||
verdict = "наблюдаем (%d/%d запусков)" % (total, min_runs)
|
||
observe.append(rule)
|
||
|
||
L.append("| `%s` | %d | %d | %d | %d | %.0f%% | %s | %s |"
|
||
% (rule, total, done, failed, r.get("denied", 0), rate * 100, level, verdict))
|
||
|
||
L += ["", "## Сводка", ""]
|
||
L.append("- готовы к повышению: **%d** (%s)" % (len(promote), ", ".join(promote) or "—"))
|
||
L.append("- требуют внимания: **%d** (%s)" % (len(demote), ", ".join(demote) or "—"))
|
||
L.append("- наблюдение: **%d**" % len(observe))
|
||
L += ["", "## Как читать", "",
|
||
"Агент начинает с `dry_run=true` и уровня L1 — только предлагает.",
|
||
"Когда правило наберёт нужную статистику, его можно перевести на уровень выше",
|
||
"(например, L2 — реально перезапускать контейнеры). Решение принимает владелец.", ""]
|
||
|
||
_sum = _llm_summary("отчёт о доверии к агенту", "\n".join(L))
|
||
if _sum:
|
||
L[2:2] = ["## Главное", "", _sum, ""]
|
||
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
|
||
print("отчёт:", path)
|
||
print("правил:", len(runs), "| к повышению:", len(promote), "| требуют внимания:", len(demote))
|
||
for rule in sorted(runs)[:12]:
|
||
r = runs[rule]
|
||
tot = r["done"] + r["failed"]
|
||
print(" %-28s запусков=%d ок=%d провал=%d отказов=%d"
|
||
% (rule, tot, r["done"], r["failed"], r["denied"]))
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|