210 lines
8.1 KiB
Python
Executable File
210 lines
8.1 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""Агент развития (tech-radar): что мёртвое, что дублируется, чего не хватает.
|
||
|
||
Источники (только чтение):
|
||
ops/registry/services.yaml — реестр сервисов (criticality, sso, backup)
|
||
ops/topology/topology.json — граф зависимостей
|
||
ops/topology/ledger.md — потребление RAM
|
||
ops/hygiene/report-*.md — находки гигиены
|
||
|
||
Отчёт: ops/evolution/report-YYYY-MM-DD.md
|
||
"""
|
||
import glob
|
||
import json
|
||
import os
|
||
import re
|
||
import sys
|
||
from collections import defaultdict
|
||
from datetime import date
|
||
|
||
ROOT = "/root/buryan-infra"
|
||
OUT = ROOT + "/ops/evolution"
|
||
|
||
|
||
def load_yaml(path):
|
||
import yaml
|
||
try:
|
||
return yaml.safe_load(open(path, encoding="utf-8")) or {}
|
||
except Exception:
|
||
return {}
|
||
|
||
|
||
def load_topology():
|
||
try:
|
||
d = json.load(open(ROOT + "/ops/topology/topology.json", encoding="utf-8"))
|
||
return d.get("nodes") or [], d.get("edges") or []
|
||
except Exception:
|
||
return [], []
|
||
|
||
|
||
def load_ledger():
|
||
"""RAM по контейнерам из ledger.md"""
|
||
ram = {}
|
||
try:
|
||
text = open(ROOT + "/ops/topology/ledger.md", encoding="utf-8").read()
|
||
except Exception:
|
||
return ram
|
||
for ln in text.splitlines():
|
||
m = re.match(r"\|\s*([\w.\-]+)\s*\|[^|]*\|[^|]*\|[^|]*\|[^|]*\|\s*([\d.]+)\s*(KiB|MiB|GiB)", ln)
|
||
if m:
|
||
val = float(m.group(2)) * {"KiB": 1 / 1024, "MiB": 1, "GiB": 1024}[m.group(3)]
|
||
ram[m.group(1)] = val
|
||
return ram
|
||
|
||
|
||
def load_hygiene():
|
||
files = sorted(glob.glob(ROOT + "/ops/hygiene/report-*.md"))
|
||
if not files:
|
||
return {}
|
||
text = open(files[-1], encoding="utf-8").read()
|
||
out = defaultdict(list)
|
||
cur = None
|
||
for ln in text.splitlines():
|
||
m = re.match(r"## \[(HIGH|MEDIUM|LOW|INFO)\] (.+)", ln)
|
||
if m:
|
||
cur = m.group(2)
|
||
continue
|
||
m2 = re.match(r"\*\*Что:\*\* (.+)", ln)
|
||
if m2 and cur:
|
||
out[cur].append(m2.group(1))
|
||
return out, files[-1]
|
||
|
||
|
||
def main():
|
||
reg = load_yaml(ROOT + "/ops/registry/services.yaml")
|
||
services = reg.get("services") or []
|
||
facts = reg.get("facts") or {}
|
||
nodes, edges = load_topology()
|
||
ram = load_ledger()
|
||
hyg, hyg_path = load_hygiene()
|
||
|
||
# зависимые по графу
|
||
dependents = defaultdict(int)
|
||
for e in edges:
|
||
dependents[e.get("to")] += 1
|
||
|
||
# дубли из гигиены
|
||
dups = [w for w in hyg.get("дубль сервиса", [])]
|
||
no_sso = [s for s in services if (s.get("sso") or "") in ("direct", "", None)]
|
||
no_backup = [s for s in services if not (s.get("backup") or "").strip()]
|
||
|
||
# RAM топ
|
||
ram_sorted = sorted(ram.items(), key=lambda x: -x[1])
|
||
|
||
# кандидаты на вывод: низкая критичность + мало зависимых + заметная RAM
|
||
retire = []
|
||
for s in services:
|
||
name = s.get("name") or ""
|
||
crit = (s.get("criticality") or "normal").lower()
|
||
dep = dependents.get("catalog:" + name, 0) + dependents.get("docker:" + name, 0)
|
||
mb = ram.get(name, 0)
|
||
if crit in ("low", "optional") and dep == 0:
|
||
retire.append((name, crit, dep, mb))
|
||
elif dep == 0 and mb >= 300:
|
||
retire.append((name, crit, dep, mb))
|
||
|
||
os.makedirs(OUT, exist_ok=True)
|
||
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
|
||
L = []
|
||
A = L.append
|
||
|
||
A("# Отчёт развития — %s" % date.today().isoformat())
|
||
A("")
|
||
A("Автоматический анализ: реестр сервисов + граф зависимостей + гигиена + лёджер RAM.")
|
||
A("")
|
||
A("## Инвентарь (факты)")
|
||
A("")
|
||
A("| Метрика | Значение |")
|
||
A("|---|---|")
|
||
A("| Сервисов в реестре | %d |" % len(services))
|
||
A("| Гостей (CT) | %s |" % facts.get("guests_ct", "?"))
|
||
A("| Контейнеров | %s |" % facts.get("containers", "?"))
|
||
A("| Доменов | %s |" % facts.get("domains", "?"))
|
||
A("| Баз данных | %s |" % facts.get("databases", "?"))
|
||
A("| Узлов в графе | %d |" % len(nodes))
|
||
A("| Рёбер в графе | %d |" % len(edges))
|
||
A("")
|
||
|
||
A("## 1. RETIRE — кандидаты на вывод")
|
||
A("")
|
||
if retire:
|
||
A("| Сервис | Критичность | Зависимых | RAM |")
|
||
A("|---|---|---|---|")
|
||
for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3]):
|
||
A("| `%s` | %s | %d | %s |" % (name, crit, dep,
|
||
("%.0f МиБ" % mb) if mb else "—"))
|
||
A("")
|
||
A("**Что это значит:** у сервиса нет зависимых в графе — на него никто не ссылается.")
|
||
A("Но это не приговор: он может быть нужен людям напрямую. Проверять вручную.")
|
||
else:
|
||
A("Кандидатов нет: у всех сервисов есть зависимые или они критичны.")
|
||
A("")
|
||
|
||
A("## 2. Дубли и избыточность")
|
||
A("")
|
||
if dups:
|
||
for d in dups[:12]:
|
||
A("- %s" % d)
|
||
A("")
|
||
A("**Проверять:** инфраструктурные образы (redis/postgres/nginx) могут быть")
|
||
A("осознанно раздельными. Настоящие дубли — те, где один и тот же сервис")
|
||
A("поднят дважды (пример: Jackett в CT119 и CT124).")
|
||
else:
|
||
A("Дублей не найдено.")
|
||
A("")
|
||
|
||
A("## 3. Без единого входа (SSO)")
|
||
A("")
|
||
A("Найдено **%d** сервисов с `sso: direct` — вход в обход Authentik." % len(no_sso))
|
||
A("")
|
||
if no_sso:
|
||
A("| Сервис | Группа | Критичность |")
|
||
A("|---|---|---|")
|
||
for s in no_sso[:15]:
|
||
A("| `%s` | %s | %s |" % (s.get("name"), s.get("group"), s.get("criticality")))
|
||
A("")
|
||
A("**Важно:** часть сервисов (плееры, API-клиенты) не умеет OIDC — для них")
|
||
A("`direct` это норма. Но веб-панели без SSO — потенциальная дыра.")
|
||
A("")
|
||
|
||
A("## 4. Без резервной копии")
|
||
A("")
|
||
if no_backup:
|
||
A("**%d** сервисов без описания бэкапа:" % len(no_backup))
|
||
A("")
|
||
for s in no_backup[:15]:
|
||
A("- `%s` (%s)" % (s.get("name"), s.get("group")))
|
||
A("")
|
||
else:
|
||
A("У всех сервисов бэкап описан.")
|
||
A("")
|
||
|
||
A("## 5. Топ по памяти")
|
||
A("")
|
||
A("| Сервис | RAM |")
|
||
A("|---|---|")
|
||
for name, mb in ram_sorted[:10]:
|
||
A("| `%s` | %.0f МиБ |" % (name, mb))
|
||
A("")
|
||
|
||
A("## 6. Что делать (порядок)")
|
||
A("")
|
||
A("1. Разобрать дубли — освободит память, упростит инвентарь.")
|
||
A("2. Проверить RETIRE-кандидатов: если не нужны — остановить и вынести в maintenance.")
|
||
A("3. Закрыть SSO на веб-панелях, где он отсутствует.")
|
||
A("4. Для сервисов без бэкапа — добавить в схему или подтвердить, что данные не ценны.")
|
||
A("")
|
||
A("---")
|
||
A("_Источник гигиены: `%s`_" % os.path.relpath(hyg_path, ROOT))
|
||
|
||
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
|
||
print("отчёт:", path)
|
||
print("сервисов: %d | RETIRE-кандидатов: %d | дублей: %d | без SSO: %d | без бэкапа: %d"
|
||
% (len(services), len(retire), len(dups), len(no_sso), len(no_backup)))
|
||
for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3])[:8]:
|
||
print(" [retire?] %-28s crit=%-8s dep=%d ram=%.0f МиБ" % (name, crit, dep, mb))
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|