Files
buryan-infra/ops/scripts/trust_report.py

122 lines
5.0 KiB
Python
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Статистика доверия к действиям агента (основа лестницы L0–L5).
Читает журнал Hermes (/var/log/hermes/actions.jsonl) и состояние guards,
считает по каждому правилу: запусков, успехов, провалов, успешность,
и предлагает повышение/понижение уровня по порогам из policy.yaml.
Отчёт: ops/trust/report-YYYY-MM-DD.md
"""
import json
import os
import sys
from collections import defaultdict
from datetime import date
ROOT = "/root/buryan-infra"
JOURNAL = "/var/log/hermes/actions.jsonl"
STATE = "/var/lib/hermes/guards.json"
POLICY = ROOT + "/ops/hermes/policy.yaml"
OUT = ROOT + "/ops/trust"
def load_policy():
import yaml
try:
return yaml.safe_load(open(POLICY, encoding="utf-8")) or {}
except Exception:
return {}
def read_journal():
runs = defaultdict(lambda: {"start": 0, "done": 0, "failed": 0, "denied": 0, "last": ""})
if not os.path.exists(JOURNAL):
return runs
for ln in open(JOURNAL, encoding="utf-8", errors="ignore"):
try:
e = json.loads(ln)
except Exception:
continue
rule = e.get("rule") or "?"
ev = e.get("event")
if ev in runs[rule]:
runs[rule][ev] += 1
if e.get("ts"):
runs[rule]["last"] = e["ts"]
return runs
def main():
pol = load_policy()
promo = (pol.get("autonomy") or {}).get("promotion") or {}
min_runs = int(promo.get("min_runs", 20))
min_rate = float(promo.get("min_success_rate", 0.95))
policy_rules = {r.get("id"): r for r in (pol.get("rules") or []) if r.get("id")}
runs = read_journal()
state = {}
try:
state = (json.load(open(STATE, encoding="utf-8")) or {}).get("rules") or {}
except Exception:
pass
os.makedirs(OUT, exist_ok=True)
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
L = ["# Статистика доверия агента — %s" % date.today().isoformat(), "",
"Порог повышения уровня: **%d успешных запусков при успешности ≥ %.0f%%**." % (min_runs, min_rate * 100),
""]
L += ["| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт |",
"|---|---|---|---|---|---|---|---|"]
promote, demote, observe = [], [], []
for rule in sorted(set(list(runs.keys()) + list(policy_rules.keys()))):
r = runs.get(rule, {})
done, failed = r.get("done", 0), r.get("failed", 0)
total = done + failed
rate = (done / total) if total else 0.0
level = (policy_rules.get(rule) or {}).get("level", "—")
st = state.get(rule) or {}
blocked = st.get("blocked")
if blocked:
verdict = "ЗАБЛОКИРОВАНО (circuit breaker)"
demote.append(rule)
elif total == 0:
verdict = "нет данных"
observe.append(rule)
elif rate >= min_rate and total >= min_runs:
verdict = "можно повысить уровень"
promote.append(rule)
elif rate < 0.7 and total >= 5:
verdict = "понизить / разобрать провалы"
demote.append(rule)
else:
verdict = "наблюдаем (%d/%d запусков)" % (total, min_runs)
observe.append(rule)
L.append("| `%s` | %d | %d | %d | %d | %.0f%% | %s | %s |"
% (rule, total, done, failed, r.get("denied", 0), rate * 100, level, verdict))
L += ["", "## Сводка", ""]
L.append("- готовы к повышению: **%d** (%s)" % (len(promote), ", ".join(promote) or "—"))
L.append("- требуют внимания: **%d** (%s)" % (len(demote), ", ".join(demote) or "—"))
L.append("- наблюдение: **%d**" % len(observe))
L += ["", "## Как читать", "",
"Агент начинает с `dry_run=true` и уровня L1 — только предлагает.",
"Когда правило наберёт нужную статистику, его можно перевести на уровень выше",
"(например, L2 — реально перезапускать контейнеры). Решение принимает владелец.", ""]
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
print("правил:", len(runs), "| к повышению:", len(promote), "| требуют внимания:", len(demote))
for rule in sorted(runs)[:12]:
r = runs[rule]
tot = r["done"] + r["failed"]
print(" %-28s запусков=%d ок=%d провал=%d отказов=%d"
% (rule, tot, r["done"], r["failed"], r["denied"]))
return 0
if __name__ == "__main__":
sys.exit(main())