Files
buryan-infra/ops/scripts/evolution_agent.py
T

210 lines
8.1 KiB
Python
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Агент развития (tech-radar): что мёртвое, что дублируется, чего не хватает.
Источники (только чтение):
ops/registry/services.yaml — реестр сервисов (criticality, sso, backup)
ops/topology/topology.json — граф зависимостей
ops/topology/ledger.md — потребление RAM
ops/hygiene/report-*.md — находки гигиены
Отчёт: ops/evolution/report-YYYY-MM-DD.md
"""
import glob
import json
import os
import re
import sys
from collections import defaultdict
from datetime import date
ROOT = "/root/buryan-infra"
OUT = ROOT + "/ops/evolution"
def load_yaml(path):
import yaml
try:
return yaml.safe_load(open(path, encoding="utf-8")) or {}
except Exception:
return {}
def load_topology():
try:
d = json.load(open(ROOT + "/ops/topology/topology.json", encoding="utf-8"))
return d.get("nodes") or [], d.get("edges") or []
except Exception:
return [], []
def load_ledger():
"""RAM по контейнерам из ledger.md"""
ram = {}
try:
text = open(ROOT + "/ops/topology/ledger.md", encoding="utf-8").read()
except Exception:
return ram
for ln in text.splitlines():
m = re.match(r"\|\s*([\w.\-]+)\s*\|[^|]*\|[^|]*\|[^|]*\|[^|]*\|\s*([\d.]+)\s*(KiB|MiB|GiB)", ln)
if m:
val = float(m.group(2)) * {"KiB": 1 / 1024, "MiB": 1, "GiB": 1024}[m.group(3)]
ram[m.group(1)] = val
return ram
def load_hygiene():
files = sorted(glob.glob(ROOT + "/ops/hygiene/report-*.md"))
if not files:
return {}
text = open(files[-1], encoding="utf-8").read()
out = defaultdict(list)
cur = None
for ln in text.splitlines():
m = re.match(r"## \[(HIGH|MEDIUM|LOW|INFO)\] (.+)", ln)
if m:
cur = m.group(2)
continue
m2 = re.match(r"\*\*Что:\*\* (.+)", ln)
if m2 and cur:
out[cur].append(m2.group(1))
return out, files[-1]
def main():
reg = load_yaml(ROOT + "/ops/registry/services.yaml")
services = reg.get("services") or []
facts = reg.get("facts") or {}
nodes, edges = load_topology()
ram = load_ledger()
hyg, hyg_path = load_hygiene()
# зависимые по графу
dependents = defaultdict(int)
for e in edges:
dependents[e.get("to")] += 1
# дубли из гигиены
dups = [w for w in hyg.get("дубль сервиса", [])]
no_sso = [s for s in services if (s.get("sso") or "") in ("direct", "", None)]
no_backup = [s for s in services if not (s.get("backup") or "").strip()]
# RAM топ
ram_sorted = sorted(ram.items(), key=lambda x: -x[1])
# кандидаты на вывод: низкая критичность + мало зависимых + заметная RAM
retire = []
for s in services:
name = s.get("name") or ""
crit = (s.get("criticality") or "normal").lower()
dep = dependents.get("catalog:" + name, 0) + dependents.get("docker:" + name, 0)
mb = ram.get(name, 0)
if crit in ("low", "optional") and dep == 0:
retire.append((name, crit, dep, mb))
elif dep == 0 and mb >= 300:
retire.append((name, crit, dep, mb))
os.makedirs(OUT, exist_ok=True)
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
L = []
A = L.append
A("# Отчёт развития — %s" % date.today().isoformat())
A("")
A("Автоматический анализ: реестр сервисов + граф зависимостей + гигиена + лёджер RAM.")
A("")
A("## Инвентарь (факты)")
A("")
A("| Метрика | Значение |")
A("|---|---|")
A("| Сервисов в реестре | %d |" % len(services))
A("| Гостей (CT) | %s |" % facts.get("guests_ct", "?"))
A("| Контейнеров | %s |" % facts.get("containers", "?"))
A("| Доменов | %s |" % facts.get("domains", "?"))
A("| Баз данных | %s |" % facts.get("databases", "?"))
A("| Узлов в графе | %d |" % len(nodes))
A("| Рёбер в графе | %d |" % len(edges))
A("")
A("## 1. RETIRE — кандидаты на вывод")
A("")
if retire:
A("| Сервис | Критичность | Зависимых | RAM |")
A("|---|---|---|---|")
for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3]):
A("| `%s` | %s | %d | %s |" % (name, crit, dep,
("%.0f МиБ" % mb) if mb else "—"))
A("")
A("**Что это значит:** у сервиса нет зависимых в графе — на него никто не ссылается.")
A("Но это не приговор: он может быть нужен людям напрямую. Проверять вручную.")
else:
A("Кандидатов нет: у всех сервисов есть зависимые или они критичны.")
A("")
A("## 2. Дубли и избыточность")
A("")
if dups:
for d in dups[:12]:
A("- %s" % d)
A("")
A("**Проверять:** инфраструктурные образы (redis/postgres/nginx) могут быть")
A("осознанно раздельными. Настоящие дубли — те, где один и тот же сервис")
A("поднят дважды (пример: Jackett в CT119 и CT124).")
else:
A("Дублей не найдено.")
A("")
A("## 3. Без единого входа (SSO)")
A("")
A("Найдено **%d** сервисов с `sso: direct` — вход в обход Authentik." % len(no_sso))
A("")
if no_sso:
A("| Сервис | Группа | Критичность |")
A("|---|---|---|")
for s in no_sso[:15]:
A("| `%s` | %s | %s |" % (s.get("name"), s.get("group"), s.get("criticality")))
A("")
A("**Важно:** часть сервисов (плееры, API-клиенты) не умеет OIDC — для них")
A("`direct` это норма. Но веб-панели без SSO — потенциальная дыра.")
A("")
A("## 4. Без резервной копии")
A("")
if no_backup:
A("**%d** сервисов без описания бэкапа:" % len(no_backup))
A("")
for s in no_backup[:15]:
A("- `%s` (%s)" % (s.get("name"), s.get("group")))
A("")
else:
A("У всех сервисов бэкап описан.")
A("")
A("## 5. Топ по памяти")
A("")
A("| Сервис | RAM |")
A("|---|---|")
for name, mb in ram_sorted[:10]:
A("| `%s` | %.0f МиБ |" % (name, mb))
A("")
A("## 6. Что делать (порядок)")
A("")
A("1. Разобрать дубли — освободит память, упростит инвентарь.")
A("2. Проверить RETIRE-кандидатов: если не нужны — остановить и вынести в maintenance.")
A("3. Закрыть SSO на веб-панелях, где он отсутствует.")
A("4. Для сервисов без бэкапа — добавить в схему или подтвердить, что данные не ценны.")
A("")
A("---")
A("_Источник гигиены: `%s`_" % os.path.relpath(hyg_path, ROOT))
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
print("сервисов: %d | RETIRE-кандидатов: %d | дублей: %d | без SSO: %d | без бэкапа: %d"
% (len(services), len(retire), len(dups), len(no_sso), len(no_backup)))
for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3])[:8]:
print(" [retire?] %-28s crit=%-8s dep=%d ram=%.0f МиБ" % (name, crit, dep, mb))
if __name__ == "__main__":
sys.exit(main())