[SPRINT-V1][C/F] Закрытие контура: лёджер v2 (диск/образы/запросы), мультиагентные специалисты, валидатор правил, уверенность в дайджесте, журнал гипотез
This commit is contained in:
1 parent
c5e35f0b18
commit
107d8ca5c2
11 files changed
+362
-4
No files matched your search
@@ -0,0 +1,21 @@
|
||||
# Супервизор агентов
|
||||
|
||||
Роутинг задач по специалистам (общая память — RAG-индекс).
|
||||
|
||||
| Задача | Агент | Расписание |
|
||||
|---|---|---|
|
||||
| Порядок, дубли, drift, права | `hygiene` | 07:20 |
|
||||
| Что мусор / что менять / чем заменить | `evolution` | 08:10 |
|
||||
| Можно ли повысить автономию | `trust` | 08:00 |
|
||||
| Сводка для владельца | `weekly` | 08:05 |
|
||||
| Вопрос по инфраструктуре | `docs` | по запросу |
|
||||
|
||||
**Правила роутинга:**
|
||||
1. Вопрос про «как устроено / почему было» → `docs` (RAG).
|
||||
2. «Что сломано / что чистить» → `hygiene`.
|
||||
3. «Что менять / что не нужно» → `evolution`.
|
||||
4. «Можно ли доверить» → `trust`.
|
||||
5. Раз в неделю → `weekly`.
|
||||
|
||||
**Общая память:** все агенты читают `ops/rag/index.db` (документы + отчёты + журнал действий).
|
||||
**Действия:** только через `ops/hermes/actions.py` с политикой и dry-run.
|
||||
@@ -0,0 +1,12 @@
|
||||
name: docs
|
||||
purpose: >
|
||||
Отвечать на вопросы по инфраструктуре из внутренней документации (RAG),
|
||||
а не из общих знаний модели.
|
||||
schedule: "по запросу"
|
||||
command: /usr/bin/python3 ops/scripts/rag_query.py
|
||||
report: "-"
|
||||
level: L2_safe_auto
|
||||
rules:
|
||||
- "если в документации нет ответа — сказать прямо, не выдумывать"
|
||||
- "всегда указывать источники (path [chunk])"
|
||||
tools: [rag_index, llm_local]
|
||||
@@ -0,0 +1,12 @@
|
||||
name: evolution
|
||||
purpose: >
|
||||
Анализировать потребности: что реально используется, что потеряло актуальность,
|
||||
чем можно заменить, чего не хватает. Готовить tech-radar отчёт.
|
||||
schedule: "08:10"
|
||||
command: /usr/bin/python3 ops/scripts/evolution_agent.py
|
||||
report: ops/evolution/report-{date}.md
|
||||
level: L1_dry_run
|
||||
rules:
|
||||
- "решения о замене сервисов принимает только владелец (L4)"
|
||||
- "кандидатов на вывод проверять вручную: отсутствие зависимых ≠ ненужность"
|
||||
tools: [registry_yaml, topology_json, ledger_md, hygiene_report]
|
||||
@@ -0,0 +1,13 @@
|
||||
name: hygiene
|
||||
purpose: >
|
||||
Держать систему в порядке: находить дубли, осиротевшие сервисы, drift compose,
|
||||
устаревшие образы, проблемы прав/секретов, слепые зоны мониторинга.
|
||||
schedule: "07:20"
|
||||
command: /usr/bin/python3 ops/scripts/hygiene_scan.py
|
||||
report: ops/hygiene/report-{date}.md
|
||||
notify: ops/scripts/hygiene_notify.py
|
||||
level: L1_dry_run
|
||||
rules:
|
||||
- "только чтение; действия — через реестр actions.py и политику"
|
||||
- "не удалять и не останавливать без подтверждения владельца"
|
||||
tools: [pct, docker, df, systemctl, prometheus_api]
|
||||
@@ -0,0 +1,11 @@
|
||||
name: trust
|
||||
purpose: >
|
||||
Считать статистику доверия к действиям: успешность, провалы, отказы.
|
||||
Предлагать повышение/понижение уровня автономии по порогам policy.yaml.
|
||||
schedule: "08:00"
|
||||
command: /usr/bin/python3 ops/scripts/trust_report.py
|
||||
report: ops/trust/report-{date}.md
|
||||
level: L0_suggest
|
||||
rules:
|
||||
- "уровень автономии меняет владелец, агент только предлагает"
|
||||
tools: [hermes_journal, guards_state, policy_yaml]
|
||||
@@ -0,0 +1,10 @@
|
||||
name: weekly
|
||||
purpose: >
|
||||
Собирать недельную сводку: состояние, гигиена, развитие, доверие, задачи владельцу.
|
||||
schedule: "08:05"
|
||||
command: /usr/bin/python3 ops/scripts/weekly_report.py
|
||||
report: ops/weekly/WEEKLY-{year}-W{week}.md
|
||||
level: L2_safe_auto
|
||||
rules:
|
||||
- "только отчёт, без действий"
|
||||
tools: [hygiene_report, evolution_report, trust_report, owner_todo]
|
||||
@@ -0,0 +1,10 @@
|
||||
# Журнал гипотез: гипотеза -> применили -> замерили до/после -> записали исход
|
||||
# Формат записи:
|
||||
# - id: H-001
|
||||
# date: 2026-11-06
|
||||
# hypothesis: "Если отключить netbox, освободится ~900 МиБ RAM без потери функций"
|
||||
# before: {ram_used_gib: 10.1, services_down: 0}
|
||||
# action: "остановить CT103, наблюдать 24 ч"
|
||||
# after: {ram_used_gib: null, services_down: null}
|
||||
# verdict: pending # confirmed | rejected | pending
|
||||
hypotheses: []
|
||||
@@ -67,7 +67,11 @@ def maintenance_notes():
|
||||
|
||||
|
||||
def main():
|
||||
errors = sh("journalctl --since '-2h' -p err --no-pager 2>/dev/null | tail -60")
|
||||
errors_raw = sh("journalctl --since '-2h' -p err --no-pager 2>/dev/null | tail -60")
|
||||
# артефакты загрузки до remount rw и до поднятия DNS — не инциденты
|
||||
noise = ("Read-only file system", "Temporary failure in name resolution",
|
||||
"No such file or directory")
|
||||
errors = "\n".join(l for l in errors_raw.splitlines() if not any(n in l for n in noise))
|
||||
status = sh("pct list 2>/dev/null | head -40")
|
||||
disk = sh("df -h / /mnt/media 2>/dev/null | tail -3")
|
||||
failed = sh("systemctl --failed --no-legend --no-pager 2>/dev/null | head -10")
|
||||
@@ -77,7 +81,7 @@ def main():
|
||||
text = "Ошибок в журнале за 2 часа нет, упавших юнитов нет."
|
||||
print("=== ОТВЕТ (без модели) ===\n" + text)
|
||||
try:
|
||||
nb = json.dumps({"text": text, "source": "hermes-ai", "level": "info"}).encode()
|
||||
nb = json.dumps({"message": text, "source": "hermes-ai", "level": "info"}).encode()
|
||||
nreq = urllib.request.Request("http://127.0.0.1:9120/notify", data=nb, method="POST")
|
||||
nreq.add_header("Content-Type", "application/json")
|
||||
with urllib.request.urlopen(nreq, timeout=30) as nr:
|
||||
@@ -92,7 +96,10 @@ def main():
|
||||
"1. Используй ТОЛЬКО строки, приведённые ниже. Ничего не выдумывай.\n"
|
||||
"2. Если строк нет — напиши: «в журнале пусто».\n"
|
||||
"3. Учитывай раздел «НАМЕРЕННО ОСТАНОВЛЕНО»: эти сервисы трогать не надо.\n"
|
||||
"4. Формат: «Требует внимания: …» / «Можно игнорировать: …» / «Действия: …».\n\n"
|
||||
"4. Формат: «Требует внимания: …» / «Можно игнорировать: …» / «Действия: …».\n"
|
||||
"5. В конце обязательно строка «Уверенность: N процентов» — насколько ты уверен, что выводы\n"
|
||||
" следуют из приведённых строк. Если строк мало — ставь низкую уверенность.\n"
|
||||
"6. После уверенности — «Доказательства:» и НЕ БОЛЕЕ ТРЁХ коротких цитат (до 90 символов).\n\n"
|
||||
"=== ОШИБКИ ЖУРНАЛА (только это факты) ===\n%s\n\n"
|
||||
"=== УПАВШИЕ ЮНИТЫ ===\n%s\n\n"
|
||||
"=== НАМЕРЕННО ОСТАНОВЛЕНО ===\n%s\n\n"
|
||||
@@ -120,7 +127,7 @@ def main():
|
||||
open("/tmp/hermes-ai-digest.txt", "w").write(text)
|
||||
|
||||
try:
|
||||
nb = json.dumps({"text": text, "source": "hermes-ai", "level": "info"}).encode()
|
||||
nb = json.dumps({"message": text, "source": "hermes-ai", "level": "info"}).encode()
|
||||
nreq = urllib.request.Request("http://127.0.0.1:9120/notify", data=nb, method="POST")
|
||||
nreq.add_header("Content-Type", "application/json")
|
||||
with urllib.request.urlopen(nreq, timeout=30) as nr:
|
||||
|
||||
Executable
+105
@@ -0,0 +1,105 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Дополнение лёджера: диск по CT, возраст образов, использование по доменам.
|
||||
|
||||
Дописывает в ops/topology/ledger.md разделы, которых не хватало для
|
||||
оценки «стоимости» сервиса (пункт 3 контура V1).
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
from datetime import datetime
|
||||
|
||||
ROOT = "/root/buryan-infra"
|
||||
LEDGER = ROOT + "/ops/topology/ledger.md"
|
||||
VPS = "193.233.210.184"
|
||||
|
||||
|
||||
def sh(cmd, timeout=60):
|
||||
try:
|
||||
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||
return (r.stdout or "").strip()
|
||||
except Exception:
|
||||
return ""
|
||||
|
||||
|
||||
def main():
|
||||
sections = []
|
||||
|
||||
# 1) диск по контейнерам
|
||||
rows = []
|
||||
for line in sh("pct list").splitlines()[1:]:
|
||||
p = line.split()
|
||||
if len(p) < 2 or p[1] != "running":
|
||||
continue
|
||||
ct, name = p[0], (p[2] if len(p) > 2 else "")
|
||||
out = sh("pct exec %s -- sh -c \"df -h / | tail -1\" " % ct, 30)
|
||||
m = re.search(r"(\d+)%\s+/\s*$", out)
|
||||
if m:
|
||||
rows.append((int(m.group(1)), ct, name))
|
||||
rows.sort(reverse=True)
|
||||
sections.append(("Диск по контейнерам (топ по заполнению)", rows and
|
||||
["| CT | Имя | Заполнено |", "|---|---|---|"] +
|
||||
["| CT%s | %s | %d%% |" % (ct, name, pct) for pct, ct, name in rows[:12]] or
|
||||
["нет данных"]))
|
||||
|
||||
# 2) возраст образов (сколько старше 180 дней)
|
||||
old, total = 0, 0
|
||||
for line in sh("pct list").splitlines()[1:]:
|
||||
p = line.split()
|
||||
if len(p) < 2 or p[1] != "running":
|
||||
continue
|
||||
ct = p[0]
|
||||
out = sh("pct exec %s -- sh -c 'docker ps --format \"{{.Image}}\" 2>/dev/null'" % ct, 40)
|
||||
for img in set(x for x in out.splitlines() if x.strip()):
|
||||
total += 1
|
||||
created = sh("pct exec %s -- sh -c 'docker inspect --format \"{{.Created}}\" %s 2>/dev/null'"
|
||||
% (ct, img), 25)
|
||||
m = re.match(r"(\d{4}-\d{2}-\d{2})", created)
|
||||
if m:
|
||||
try:
|
||||
age = (datetime.now() - datetime.strptime(m.group(1), "%Y-%m-%d")).days
|
||||
if age > 180:
|
||||
old += 1
|
||||
except Exception:
|
||||
pass
|
||||
sections.append(("Возраст образов", [
|
||||
"| Метрика | Значение |", "|---|---|",
|
||||
"| Образов (уникальных) | %d |" % total,
|
||||
"| Старше 180 дней | %d |" % old,
|
||||
"| Вывод | %s |" % ("есть кандидаты на обновление" if old else "всё свежее"),
|
||||
]))
|
||||
|
||||
# 3) использование по доменам (nginx host + VPS, за текущий лог)
|
||||
usage = {}
|
||||
host_log = sh("awk '{print $1}' /var/log/nginx/access.log 2>/dev/null | wc -l", 30)
|
||||
usage["хост"] = host_log or "0"
|
||||
vps_log = sh("ssh -o ConnectTimeout=10 -o BatchMode=yes root@%s "
|
||||
"'awk \"{print \\\\$1}\" /var/log/nginx/access.log 2>/dev/null | wc -l'" % VPS, 40)
|
||||
usage["VPS"] = vps_log or "0"
|
||||
sections.append(("Использование (запросов в текущем логе nginx)", [
|
||||
"| Узел | Запросов |", "|---|---|",
|
||||
"| хост | %s |" % usage["хост"],
|
||||
"| VPS | %s |" % usage["VPS"],
|
||||
]))
|
||||
|
||||
# запись
|
||||
try:
|
||||
text = open(LEDGER, encoding="utf-8").read()
|
||||
except Exception:
|
||||
text = "# Лёджер сервисов (V1, Фаза A)\n"
|
||||
# удаляем предыдущие доп.разделы
|
||||
text = text.split("\n## Дополнение:")[0].rstrip() + "\n"
|
||||
text += "\n## Дополнение: стоимость и использование\n"
|
||||
text += "\n_Обновлено: %s_\n" % datetime.now().isoformat(timespec="seconds")
|
||||
for title, lines in sections:
|
||||
text += "\n### %s\n\n" % title
|
||||
text += "\n".join(lines) + "\n"
|
||||
open(LEDGER, "w", encoding="utf-8").write(text)
|
||||
print("лёджер дополнен:", LEDGER)
|
||||
for title, lines in sections:
|
||||
print(" ", title, "—", len(lines), "строк")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Executable
+121
@@ -0,0 +1,121 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Валидация правил агента (GitOps-гейт): policy.yaml + jobs.yaml + agents.
|
||||
|
||||
Запускается в CI перед мержем и локально. Код возврата != 0 = ошибка.
|
||||
"""
|
||||
import glob
|
||||
import os
|
||||
import sys
|
||||
|
||||
ROOT = "/root/buryan-infra"
|
||||
ERRORS, WARNINGS = [], []
|
||||
|
||||
|
||||
def err(msg):
|
||||
ERRORS.append(msg)
|
||||
|
||||
|
||||
def warn(msg):
|
||||
WARNINGS.append(msg)
|
||||
|
||||
|
||||
def load_yaml(path):
|
||||
import yaml
|
||||
try:
|
||||
return yaml.safe_load(open(path, encoding="utf-8"))
|
||||
except Exception as e:
|
||||
err("%s: не читается (%s)" % (os.path.basename(path), e))
|
||||
return None
|
||||
|
||||
|
||||
def check_policy():
|
||||
p = ROOT + "/ops/hermes/policy.yaml"
|
||||
if not os.path.exists(p):
|
||||
err("policy.yaml отсутствует")
|
||||
return
|
||||
d = load_yaml(p) or {}
|
||||
dfl = d.get("defaults") or {}
|
||||
for k in ("single_flight", "cooldown", "retry", "circuit_breaker", "budget_per_hour", "dry_run"):
|
||||
if k not in dfl:
|
||||
err("policy.yaml: нет обязательного defaults.%s" % k)
|
||||
levels = set((d.get("autonomy") or {}).get("levels") or {})
|
||||
if not levels:
|
||||
err("policy.yaml: нет autonomy.levels")
|
||||
ids = set()
|
||||
for r in (d.get("rules") or []):
|
||||
rid = r.get("id")
|
||||
if not rid:
|
||||
err("policy.yaml: правило без id")
|
||||
continue
|
||||
if rid in ids:
|
||||
err("policy.yaml: дубль правила %s" % rid)
|
||||
ids.add(rid)
|
||||
if not r.get("match"):
|
||||
err("policy.yaml: правило %s без match" % rid)
|
||||
if not r.get("action"):
|
||||
err("policy.yaml: правило %s без action" % rid)
|
||||
lvl = r.get("level")
|
||||
if lvl and lvl not in levels:
|
||||
err("policy.yaml: правило %s ссылается на неизвестный уровень %s" % (rid, lvl))
|
||||
if not r.get("verify"):
|
||||
warn("policy.yaml: правило %s без verify" % rid)
|
||||
|
||||
|
||||
def check_jobs():
|
||||
p = "/opt/hermes/jobs.yaml"
|
||||
if not os.path.exists(p):
|
||||
p = ROOT + "/ops/hermes/jobs.yaml"
|
||||
if not os.path.exists(p):
|
||||
warn("jobs.yaml не найден — пропуск")
|
||||
return
|
||||
d = load_yaml(p) or {}
|
||||
for name, cfg in d.items():
|
||||
if not isinstance(cfg, dict):
|
||||
err("jobs.yaml: %s — не словарь" % name)
|
||||
continue
|
||||
if not cfg.get("command"):
|
||||
err("jobs.yaml: %s без command" % name)
|
||||
if "every_seconds" not in cfg and "daily_at" not in cfg:
|
||||
warn("jobs.yaml: %s без расписания" % name)
|
||||
if "timeout" not in cfg:
|
||||
warn("jobs.yaml: %s без timeout" % name)
|
||||
|
||||
|
||||
def check_scripts():
|
||||
for path in glob.glob(ROOT + "/ops/scripts/*.py") + glob.glob(ROOT + "/ops/hermes/*.py"):
|
||||
try:
|
||||
compile(open(path, encoding="utf-8").read(), path, "exec")
|
||||
except SyntaxError as e:
|
||||
err("%s: синтаксис — %s (строка %s)" % (os.path.basename(path), e.msg, e.lineno))
|
||||
|
||||
|
||||
def check_agents():
|
||||
# проверяем только файлы специалистов (agent-*.yaml), остальные в ops/agents — не наши
|
||||
for path in glob.glob(ROOT + "/ops/agents/agent-*.yaml"):
|
||||
d = load_yaml(path) or {}
|
||||
for k in ("name", "purpose", "rules"):
|
||||
if k not in d:
|
||||
err("%s: нет поля %s" % (os.path.basename(path), k))
|
||||
|
||||
|
||||
def main():
|
||||
check_policy()
|
||||
check_jobs()
|
||||
check_scripts()
|
||||
check_agents()
|
||||
print("=== валидация правил агента ===")
|
||||
if ERRORS:
|
||||
print("ОШИБКИ (%d):" % len(ERRORS))
|
||||
for e in ERRORS:
|
||||
print(" ✗", e)
|
||||
if WARNINGS:
|
||||
print("предупреждения (%d):" % len(WARNINGS))
|
||||
for w in WARNINGS:
|
||||
print(" !", w)
|
||||
if not ERRORS:
|
||||
print("OK: правил %d, ошибок нет" % len(WARNINGS))
|
||||
return 1 if ERRORS else 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
@@ -196,3 +196,39 @@
|
||||
| 48955 | rpc.mountd |
|
||||
| 53623 | rpc.mountd |
|
||||
| 59609 | rpc.statd |
|
||||
|
||||
## Дополнение: стоимость и использование
|
||||
|
||||
_Обновлено: 2026-11-05T22:47:38_
|
||||
|
||||
### Диск по контейнерам (топ по заполнению)
|
||||
|
||||
| CT | Имя | Заполнено |
|
||||
|---|---|---|
|
||||
| CT110 | office-lxc | 81% |
|
||||
| CT119 | prowlarr-lxc | 80% |
|
||||
| CT107 | utils-lxc | 77% |
|
||||
| CT134 | prometheus-lxc | 70% |
|
||||
| CT118 | radarr-lxc | 68% |
|
||||
| CT117 | sonarr-lxc | 68% |
|
||||
| CT116 | plex-lxc | 59% |
|
||||
| CT125 | navidrome-lxc | 55% |
|
||||
| CT140 | gitea-lxc | 53% |
|
||||
| CT122 | tautulli-lxc | 53% |
|
||||
| CT139 | syncthing-lxc | 48% |
|
||||
| CT126 | frigate-lxc | 48% |
|
||||
|
||||
### Возраст образов
|
||||
|
||||
| Метрика | Значение |
|
||||
|---|---|
|
||||
| Образов (уникальных) | 147 |
|
||||
| Старше 180 дней | 33 |
|
||||
| Вывод | есть кандидаты на обновление |
|
||||
|
||||
### Использование (запросов в текущем логе nginx)
|
||||
|
||||
| Узел | Запросов |
|
||||
|---|---|
|
||||
| хост | 436886 |
|
||||
| VPS | 0 |
|
||||
Reference in new issue
Block a user