#!/usr/bin/env python3 """Статистика доверия к действиям агента (основа лестницы L0–L5). Читает журнал Hermes (/var/log/hermes/actions.jsonl) и состояние guards, считает по каждому правилу: запусков, успехов, провалов, успешность, и предлагает повышение/понижение уровня по порогам из policy.yaml. Отчёт: ops/trust/report-YYYY-MM-DD.md """ import json import sys sys.path.insert(0, "/root/buryan-infra/ops/scripts") from report_llm import summarize as _llm_summary import os import sys from collections import defaultdict from datetime import date ROOT = "/root/buryan-infra" JOURNAL = "/var/log/hermes/actions.jsonl" STATE = "/var/lib/hermes/guards.json" POLICY = ROOT + "/ops/hermes/policy.yaml" OUT = ROOT + "/ops/trust" def load_policy(): import yaml try: return yaml.safe_load(open(POLICY, encoding="utf-8")) or {} except Exception: return {} def read_journal(): runs = defaultdict(lambda: {"start": 0, "done": 0, "failed": 0, "denied": 0, "last": ""}) if not os.path.exists(JOURNAL): return runs for ln in open(JOURNAL, encoding="utf-8", errors="ignore"): try: e = json.loads(ln) except Exception: continue rule = e.get("rule") or "?" ev = e.get("event") if ev in runs[rule]: runs[rule][ev] += 1 if e.get("ts"): runs[rule]["last"] = e["ts"] return runs def main(): pol = load_policy() promo = (pol.get("autonomy") or {}).get("promotion") or {} min_runs = int(promo.get("min_runs", 20)) min_rate = float(promo.get("min_success_rate", 0.95)) policy_rules = {r.get("id"): r for r in (pol.get("rules") or []) if r.get("id")} runs = read_journal() state = {} try: state = (json.load(open(STATE, encoding="utf-8")) or {}).get("rules") or {} except Exception: pass os.makedirs(OUT, exist_ok=True) path = os.path.join(OUT, "report-%s.md" % date.today().isoformat()) L = ["# Статистика доверия агента — %s" % date.today().isoformat(), "", "Порог повышения уровня: **%d успешных запусков при успешности ≥ %.0f%%**." % (min_runs, min_rate * 100), ""] L += ["| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт |", "|---|---|---|---|---|---|---|---|"] promote, demote, observe = [], [], [] for rule in sorted(set(list(runs.keys()) + list(policy_rules.keys()))): r = runs.get(rule, {}) done, failed = r.get("done", 0), r.get("failed", 0) total = done + failed rate = (done / total) if total else 0.0 level = (policy_rules.get(rule) or {}).get("level", "—") st = state.get(rule) or {} blocked = st.get("blocked") if blocked: verdict = "ЗАБЛОКИРОВАНО (circuit breaker)" demote.append(rule) elif total == 0: verdict = "нет данных" observe.append(rule) elif rate >= min_rate and total >= min_runs: verdict = "можно повысить уровень" promote.append(rule) elif rate < 0.7 and total >= 5: verdict = "понизить / разобрать провалы" demote.append(rule) else: verdict = "наблюдаем (%d/%d запусков)" % (total, min_runs) observe.append(rule) L.append("| `%s` | %d | %d | %d | %d | %.0f%% | %s | %s |" % (rule, total, done, failed, r.get("denied", 0), rate * 100, level, verdict)) L += ["", "## Сводка", ""] L.append("- готовы к повышению: **%d** (%s)" % (len(promote), ", ".join(promote) or "—")) L.append("- требуют внимания: **%d** (%s)" % (len(demote), ", ".join(demote) or "—")) L.append("- наблюдение: **%d**" % len(observe)) L += ["", "## Как читать", "", "Агент начинает с `dry_run=true` и уровня L1 — только предлагает.", "Когда правило наберёт нужную статистику, его можно перевести на уровень выше", "(например, L2 — реально перезапускать контейнеры). Решение принимает владелец.", ""] _sum = _llm_summary("отчёт о доверии к агенту", "\n".join(L)) if _sum: L[2:2] = ["## Главное", "", _sum, ""] open(path, "w", encoding="utf-8").write("\n".join(L) + "\n") print("отчёт:", path) print("правил:", len(runs), "| к повышению:", len(promote), "| требуют внимания:", len(demote)) for rule in sorted(runs)[:12]: r = runs[rule] tot = r["done"] + r["failed"] print(" %-28s запусков=%d ок=%d провал=%d отказов=%d" % (rule, tot, r["done"], r["failed"], r["denied"])) return 0 if __name__ == "__main__": sys.exit(main())