From 107d8ca5c2c13cc0d2186117ed543dbd856ddd35 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 5 Nov 2026 22:55:04 +0300 Subject: [PATCH] =?UTF-8?q?[SPRINT-V1][C/F]=20=D0=97=D0=B0=D0=BA=D1=80?= =?UTF-8?q?=D1=8B=D1=82=D0=B8=D0=B5=20=D0=BA=D0=BE=D0=BD=D1=82=D1=83=D1=80?= =?UTF-8?q?=D0=B0:=20=D0=BB=D1=91=D0=B4=D0=B6=D0=B5=D1=80=20v2=20(=D0=B4?= =?UTF-8?q?=D0=B8=D1=81=D0=BA/=D0=BE=D0=B1=D1=80=D0=B0=D0=B7=D1=8B/=D0=B7?= =?UTF-8?q?=D0=B0=D0=BF=D1=80=D0=BE=D1=81=D1=8B),=20=D0=BC=D1=83=D0=BB?= =?UTF-8?q?=D1=8C=D1=82=D0=B8=D0=B0=D0=B3=D0=B5=D0=BD=D1=82=D0=BD=D1=8B?= =?UTF-8?q?=D0=B5=20=D1=81=D0=BF=D0=B5=D1=86=D0=B8=D0=B0=D0=BB=D0=B8=D1=81?= =?UTF-8?q?=D1=82=D1=8B,=20=D0=B2=D0=B0=D0=BB=D0=B8=D0=B4=D0=B0=D1=82?= =?UTF-8?q?=D0=BE=D1=80=20=D0=BF=D1=80=D0=B0=D0=B2=D0=B8=D0=BB,=20=D1=83?= =?UTF-8?q?=D0=B2=D0=B5=D1=80=D0=B5=D0=BD=D0=BD=D0=BE=D1=81=D1=82=D1=8C=20?= =?UTF-8?q?=D0=B2=20=D0=B4=D0=B0=D0=B9=D0=B4=D0=B6=D0=B5=D1=81=D1=82=D0=B5?= =?UTF-8?q?,=20=D0=B6=D1=83=D1=80=D0=BD=D0=B0=D0=BB=20=D0=B3=D0=B8=D0=BF?= =?UTF-8?q?=D0=BE=D1=82=D0=B5=D0=B7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/agents/SUPERVISOR.md | 21 ++++++ ops/agents/agent-docs.yaml | 12 ++++ ops/agents/agent-evolution.yaml | 12 ++++ ops/agents/agent-hygiene.yaml | 13 ++++ ops/agents/agent-trust.yaml | 11 +++ ops/agents/agent-weekly.yaml | 10 +++ ops/evolution/hypotheses.yaml | 10 +++ ops/hermes/hermes_ai_digest.py | 15 ++-- ops/scripts/ledger_extra.py | 105 +++++++++++++++++++++++++++ ops/scripts/validate_hermes.py | 121 ++++++++++++++++++++++++++++++++ ops/topology/ledger.md | 36 ++++++++++ 11 files changed, 362 insertions(+), 4 deletions(-) create mode 100644 ops/agents/SUPERVISOR.md create mode 100644 ops/agents/agent-docs.yaml create mode 100644 ops/agents/agent-evolution.yaml create mode 100644 ops/agents/agent-hygiene.yaml create mode 100644 ops/agents/agent-trust.yaml create mode 100644 ops/agents/agent-weekly.yaml create mode 100644 ops/evolution/hypotheses.yaml create mode 100755 ops/scripts/ledger_extra.py create mode 100755 ops/scripts/validate_hermes.py diff --git a/ops/agents/SUPERVISOR.md b/ops/agents/SUPERVISOR.md new file mode 100644 index 0000000..bdc5663 --- /dev/null +++ b/ops/agents/SUPERVISOR.md @@ -0,0 +1,21 @@ +# Супервизор агентов + +Роутинг задач по специалистам (общая память — RAG-индекс). + +| Задача | Агент | Расписание | +|---|---|---| +| Порядок, дубли, drift, права | `hygiene` | 07:20 | +| Что мусор / что менять / чем заменить | `evolution` | 08:10 | +| Можно ли повысить автономию | `trust` | 08:00 | +| Сводка для владельца | `weekly` | 08:05 | +| Вопрос по инфраструктуре | `docs` | по запросу | + +**Правила роутинга:** +1. Вопрос про «как устроено / почему было» → `docs` (RAG). +2. «Что сломано / что чистить» → `hygiene`. +3. «Что менять / что не нужно» → `evolution`. +4. «Можно ли доверить» → `trust`. +5. Раз в неделю → `weekly`. + +**Общая память:** все агенты читают `ops/rag/index.db` (документы + отчёты + журнал действий). +**Действия:** только через `ops/hermes/actions.py` с политикой и dry-run. diff --git a/ops/agents/agent-docs.yaml b/ops/agents/agent-docs.yaml new file mode 100644 index 0000000..5fc8a8c --- /dev/null +++ b/ops/agents/agent-docs.yaml @@ -0,0 +1,12 @@ +name: docs +purpose: > + Отвечать на вопросы по инфраструктуре из внутренней документации (RAG), + а не из общих знаний модели. +schedule: "по запросу" +command: /usr/bin/python3 ops/scripts/rag_query.py +report: "-" +level: L2_safe_auto +rules: + - "если в документации нет ответа — сказать прямо, не выдумывать" + - "всегда указывать источники (path [chunk])" +tools: [rag_index, llm_local] diff --git a/ops/agents/agent-evolution.yaml b/ops/agents/agent-evolution.yaml new file mode 100644 index 0000000..db319c1 --- /dev/null +++ b/ops/agents/agent-evolution.yaml @@ -0,0 +1,12 @@ +name: evolution +purpose: > + Анализировать потребности: что реально используется, что потеряло актуальность, + чем можно заменить, чего не хватает. Готовить tech-radar отчёт. +schedule: "08:10" +command: /usr/bin/python3 ops/scripts/evolution_agent.py +report: ops/evolution/report-{date}.md +level: L1_dry_run +rules: + - "решения о замене сервисов принимает только владелец (L4)" + - "кандидатов на вывод проверять вручную: отсутствие зависимых ≠ ненужность" +tools: [registry_yaml, topology_json, ledger_md, hygiene_report] diff --git a/ops/agents/agent-hygiene.yaml b/ops/agents/agent-hygiene.yaml new file mode 100644 index 0000000..b3b335b --- /dev/null +++ b/ops/agents/agent-hygiene.yaml @@ -0,0 +1,13 @@ +name: hygiene +purpose: > + Держать систему в порядке: находить дубли, осиротевшие сервисы, drift compose, + устаревшие образы, проблемы прав/секретов, слепые зоны мониторинга. +schedule: "07:20" +command: /usr/bin/python3 ops/scripts/hygiene_scan.py +report: ops/hygiene/report-{date}.md +notify: ops/scripts/hygiene_notify.py +level: L1_dry_run +rules: + - "только чтение; действия — через реестр actions.py и политику" + - "не удалять и не останавливать без подтверждения владельца" +tools: [pct, docker, df, systemctl, prometheus_api] diff --git a/ops/agents/agent-trust.yaml b/ops/agents/agent-trust.yaml new file mode 100644 index 0000000..3a635e5 --- /dev/null +++ b/ops/agents/agent-trust.yaml @@ -0,0 +1,11 @@ +name: trust +purpose: > + Считать статистику доверия к действиям: успешность, провалы, отказы. + Предлагать повышение/понижение уровня автономии по порогам policy.yaml. +schedule: "08:00" +command: /usr/bin/python3 ops/scripts/trust_report.py +report: ops/trust/report-{date}.md +level: L0_suggest +rules: + - "уровень автономии меняет владелец, агент только предлагает" +tools: [hermes_journal, guards_state, policy_yaml] diff --git a/ops/agents/agent-weekly.yaml b/ops/agents/agent-weekly.yaml new file mode 100644 index 0000000..1aa1472 --- /dev/null +++ b/ops/agents/agent-weekly.yaml @@ -0,0 +1,10 @@ +name: weekly +purpose: > + Собирать недельную сводку: состояние, гигиена, развитие, доверие, задачи владельцу. +schedule: "08:05" +command: /usr/bin/python3 ops/scripts/weekly_report.py +report: ops/weekly/WEEKLY-{year}-W{week}.md +level: L2_safe_auto +rules: + - "только отчёт, без действий" +tools: [hygiene_report, evolution_report, trust_report, owner_todo] diff --git a/ops/evolution/hypotheses.yaml b/ops/evolution/hypotheses.yaml new file mode 100644 index 0000000..9172ac8 --- /dev/null +++ b/ops/evolution/hypotheses.yaml @@ -0,0 +1,10 @@ +# Журнал гипотез: гипотеза -> применили -> замерили до/после -> записали исход +# Формат записи: +# - id: H-001 +# date: 2026-11-06 +# hypothesis: "Если отключить netbox, освободится ~900 МиБ RAM без потери функций" +# before: {ram_used_gib: 10.1, services_down: 0} +# action: "остановить CT103, наблюдать 24 ч" +# after: {ram_used_gib: null, services_down: null} +# verdict: pending # confirmed | rejected | pending +hypotheses: [] diff --git a/ops/hermes/hermes_ai_digest.py b/ops/hermes/hermes_ai_digest.py index 16347f5..8de81d4 100644 --- a/ops/hermes/hermes_ai_digest.py +++ b/ops/hermes/hermes_ai_digest.py @@ -67,7 +67,11 @@ def maintenance_notes(): def main(): - errors = sh("journalctl --since '-2h' -p err --no-pager 2>/dev/null | tail -60") + errors_raw = sh("journalctl --since '-2h' -p err --no-pager 2>/dev/null | tail -60") + # артефакты загрузки до remount rw и до поднятия DNS — не инциденты + noise = ("Read-only file system", "Temporary failure in name resolution", + "No such file or directory") + errors = "\n".join(l for l in errors_raw.splitlines() if not any(n in l for n in noise)) status = sh("pct list 2>/dev/null | head -40") disk = sh("df -h / /mnt/media 2>/dev/null | tail -3") failed = sh("systemctl --failed --no-legend --no-pager 2>/dev/null | head -10") @@ -77,7 +81,7 @@ def main(): text = "Ошибок в журнале за 2 часа нет, упавших юнитов нет." print("=== ОТВЕТ (без модели) ===\n" + text) try: - nb = json.dumps({"text": text, "source": "hermes-ai", "level": "info"}).encode() + nb = json.dumps({"message": text, "source": "hermes-ai", "level": "info"}).encode() nreq = urllib.request.Request("http://127.0.0.1:9120/notify", data=nb, method="POST") nreq.add_header("Content-Type", "application/json") with urllib.request.urlopen(nreq, timeout=30) as nr: @@ -92,7 +96,10 @@ def main(): "1. Используй ТОЛЬКО строки, приведённые ниже. Ничего не выдумывай.\n" "2. Если строк нет — напиши: «в журнале пусто».\n" "3. Учитывай раздел «НАМЕРЕННО ОСТАНОВЛЕНО»: эти сервисы трогать не надо.\n" - "4. Формат: «Требует внимания: …» / «Можно игнорировать: …» / «Действия: …».\n\n" + "4. Формат: «Требует внимания: …» / «Можно игнорировать: …» / «Действия: …».\n" + "5. В конце обязательно строка «Уверенность: N процентов» — насколько ты уверен, что выводы\n" + " следуют из приведённых строк. Если строк мало — ставь низкую уверенность.\n" + "6. После уверенности — «Доказательства:» и НЕ БОЛЕЕ ТРЁХ коротких цитат (до 90 символов).\n\n" "=== ОШИБКИ ЖУРНАЛА (только это факты) ===\n%s\n\n" "=== УПАВШИЕ ЮНИТЫ ===\n%s\n\n" "=== НАМЕРЕННО ОСТАНОВЛЕНО ===\n%s\n\n" @@ -120,7 +127,7 @@ def main(): open("/tmp/hermes-ai-digest.txt", "w").write(text) try: - nb = json.dumps({"text": text, "source": "hermes-ai", "level": "info"}).encode() + nb = json.dumps({"message": text, "source": "hermes-ai", "level": "info"}).encode() nreq = urllib.request.Request("http://127.0.0.1:9120/notify", data=nb, method="POST") nreq.add_header("Content-Type", "application/json") with urllib.request.urlopen(nreq, timeout=30) as nr: diff --git a/ops/scripts/ledger_extra.py b/ops/scripts/ledger_extra.py new file mode 100755 index 0000000..8f8d4db --- /dev/null +++ b/ops/scripts/ledger_extra.py @@ -0,0 +1,105 @@ +#!/usr/bin/env python3 +"""Дополнение лёджера: диск по CT, возраст образов, использование по доменам. + +Дописывает в ops/topology/ledger.md разделы, которых не хватало для +оценки «стоимости» сервиса (пункт 3 контура V1). +""" +import json +import os +import re +import subprocess +from datetime import datetime + +ROOT = "/root/buryan-infra" +LEDGER = ROOT + "/ops/topology/ledger.md" +VPS = "193.233.210.184" + + +def sh(cmd, timeout=60): + try: + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + except Exception: + return "" + + +def main(): + sections = [] + + # 1) диск по контейнерам + rows = [] + for line in sh("pct list").splitlines()[1:]: + p = line.split() + if len(p) < 2 or p[1] != "running": + continue + ct, name = p[0], (p[2] if len(p) > 2 else "") + out = sh("pct exec %s -- sh -c \"df -h / | tail -1\" " % ct, 30) + m = re.search(r"(\d+)%\s+/\s*$", out) + if m: + rows.append((int(m.group(1)), ct, name)) + rows.sort(reverse=True) + sections.append(("Диск по контейнерам (топ по заполнению)", rows and + ["| CT | Имя | Заполнено |", "|---|---|---|"] + + ["| CT%s | %s | %d%% |" % (ct, name, pct) for pct, ct, name in rows[:12]] or + ["нет данных"])) + + # 2) возраст образов (сколько старше 180 дней) + old, total = 0, 0 + for line in sh("pct list").splitlines()[1:]: + p = line.split() + if len(p) < 2 or p[1] != "running": + continue + ct = p[0] + out = sh("pct exec %s -- sh -c 'docker ps --format \"{{.Image}}\" 2>/dev/null'" % ct, 40) + for img in set(x for x in out.splitlines() if x.strip()): + total += 1 + created = sh("pct exec %s -- sh -c 'docker inspect --format \"{{.Created}}\" %s 2>/dev/null'" + % (ct, img), 25) + m = re.match(r"(\d{4}-\d{2}-\d{2})", created) + if m: + try: + age = (datetime.now() - datetime.strptime(m.group(1), "%Y-%m-%d")).days + if age > 180: + old += 1 + except Exception: + pass + sections.append(("Возраст образов", [ + "| Метрика | Значение |", "|---|---|", + "| Образов (уникальных) | %d |" % total, + "| Старше 180 дней | %d |" % old, + "| Вывод | %s |" % ("есть кандидаты на обновление" if old else "всё свежее"), + ])) + + # 3) использование по доменам (nginx host + VPS, за текущий лог) + usage = {} + host_log = sh("awk '{print $1}' /var/log/nginx/access.log 2>/dev/null | wc -l", 30) + usage["хост"] = host_log or "0" + vps_log = sh("ssh -o ConnectTimeout=10 -o BatchMode=yes root@%s " + "'awk \"{print \\\\$1}\" /var/log/nginx/access.log 2>/dev/null | wc -l'" % VPS, 40) + usage["VPS"] = vps_log or "0" + sections.append(("Использование (запросов в текущем логе nginx)", [ + "| Узел | Запросов |", "|---|---|", + "| хост | %s |" % usage["хост"], + "| VPS | %s |" % usage["VPS"], + ])) + + # запись + try: + text = open(LEDGER, encoding="utf-8").read() + except Exception: + text = "# Лёджер сервисов (V1, Фаза A)\n" + # удаляем предыдущие доп.разделы + text = text.split("\n## Дополнение:")[0].rstrip() + "\n" + text += "\n## Дополнение: стоимость и использование\n" + text += "\n_Обновлено: %s_\n" % datetime.now().isoformat(timespec="seconds") + for title, lines in sections: + text += "\n### %s\n\n" % title + text += "\n".join(lines) + "\n" + open(LEDGER, "w", encoding="utf-8").write(text) + print("лёджер дополнен:", LEDGER) + for title, lines in sections: + print(" ", title, "—", len(lines), "строк") + + +if __name__ == "__main__": + main() diff --git a/ops/scripts/validate_hermes.py b/ops/scripts/validate_hermes.py new file mode 100755 index 0000000..e86cbd3 --- /dev/null +++ b/ops/scripts/validate_hermes.py @@ -0,0 +1,121 @@ +#!/usr/bin/env python3 +"""Валидация правил агента (GitOps-гейт): policy.yaml + jobs.yaml + agents. + +Запускается в CI перед мержем и локально. Код возврата != 0 = ошибка. +""" +import glob +import os +import sys + +ROOT = "/root/buryan-infra" +ERRORS, WARNINGS = [], [] + + +def err(msg): + ERRORS.append(msg) + + +def warn(msg): + WARNINGS.append(msg) + + +def load_yaml(path): + import yaml + try: + return yaml.safe_load(open(path, encoding="utf-8")) + except Exception as e: + err("%s: не читается (%s)" % (os.path.basename(path), e)) + return None + + +def check_policy(): + p = ROOT + "/ops/hermes/policy.yaml" + if not os.path.exists(p): + err("policy.yaml отсутствует") + return + d = load_yaml(p) or {} + dfl = d.get("defaults") or {} + for k in ("single_flight", "cooldown", "retry", "circuit_breaker", "budget_per_hour", "dry_run"): + if k not in dfl: + err("policy.yaml: нет обязательного defaults.%s" % k) + levels = set((d.get("autonomy") or {}).get("levels") or {}) + if not levels: + err("policy.yaml: нет autonomy.levels") + ids = set() + for r in (d.get("rules") or []): + rid = r.get("id") + if not rid: + err("policy.yaml: правило без id") + continue + if rid in ids: + err("policy.yaml: дубль правила %s" % rid) + ids.add(rid) + if not r.get("match"): + err("policy.yaml: правило %s без match" % rid) + if not r.get("action"): + err("policy.yaml: правило %s без action" % rid) + lvl = r.get("level") + if lvl and lvl not in levels: + err("policy.yaml: правило %s ссылается на неизвестный уровень %s" % (rid, lvl)) + if not r.get("verify"): + warn("policy.yaml: правило %s без verify" % rid) + + +def check_jobs(): + p = "/opt/hermes/jobs.yaml" + if not os.path.exists(p): + p = ROOT + "/ops/hermes/jobs.yaml" + if not os.path.exists(p): + warn("jobs.yaml не найден — пропуск") + return + d = load_yaml(p) or {} + for name, cfg in d.items(): + if not isinstance(cfg, dict): + err("jobs.yaml: %s — не словарь" % name) + continue + if not cfg.get("command"): + err("jobs.yaml: %s без command" % name) + if "every_seconds" not in cfg and "daily_at" not in cfg: + warn("jobs.yaml: %s без расписания" % name) + if "timeout" not in cfg: + warn("jobs.yaml: %s без timeout" % name) + + +def check_scripts(): + for path in glob.glob(ROOT + "/ops/scripts/*.py") + glob.glob(ROOT + "/ops/hermes/*.py"): + try: + compile(open(path, encoding="utf-8").read(), path, "exec") + except SyntaxError as e: + err("%s: синтаксис — %s (строка %s)" % (os.path.basename(path), e.msg, e.lineno)) + + +def check_agents(): + # проверяем только файлы специалистов (agent-*.yaml), остальные в ops/agents — не наши + for path in glob.glob(ROOT + "/ops/agents/agent-*.yaml"): + d = load_yaml(path) or {} + for k in ("name", "purpose", "rules"): + if k not in d: + err("%s: нет поля %s" % (os.path.basename(path), k)) + + +def main(): + check_policy() + check_jobs() + check_scripts() + check_agents() + print("=== валидация правил агента ===") + if ERRORS: + print("ОШИБКИ (%d):" % len(ERRORS)) + for e in ERRORS: + print(" ✗", e) + if WARNINGS: + print("предупреждения (%d):" % len(WARNINGS)) + for w in WARNINGS: + print(" !", w) + if not ERRORS: + print("OK: правил %d, ошибок нет" % len(WARNINGS)) + return 1 if ERRORS else 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/ops/topology/ledger.md b/ops/topology/ledger.md index 740c40d..6d4f072 100644 --- a/ops/topology/ledger.md +++ b/ops/topology/ledger.md @@ -196,3 +196,39 @@ | 48955 | rpc.mountd | | 53623 | rpc.mountd | | 59609 | rpc.statd | + +## Дополнение: стоимость и использование + +_Обновлено: 2026-11-05T22:47:38_ + +### Диск по контейнерам (топ по заполнению) + +| CT | Имя | Заполнено | +|---|---|---| +| CT110 | office-lxc | 81% | +| CT119 | prowlarr-lxc | 80% | +| CT107 | utils-lxc | 77% | +| CT134 | prometheus-lxc | 70% | +| CT118 | radarr-lxc | 68% | +| CT117 | sonarr-lxc | 68% | +| CT116 | plex-lxc | 59% | +| CT125 | navidrome-lxc | 55% | +| CT140 | gitea-lxc | 53% | +| CT122 | tautulli-lxc | 53% | +| CT139 | syncthing-lxc | 48% | +| CT126 | frigate-lxc | 48% | + +### Возраст образов + +| Метрика | Значение | +|---|---| +| Образов (уникальных) | 147 | +| Старше 180 дней | 33 | +| Вывод | есть кандидаты на обновление | + +### Использование (запросов в текущем логе nginx) + +| Узел | Запросов | +|---|---| +| хост | 436886 | +| VPS | 0 |