#!/usr/bin/env python3 """Агент развития (tech-radar): что мёртвое, что дублируется, чего не хватает. Источники (только чтение): ops/registry/services.yaml — реестр сервисов (criticality, sso, backup) ops/topology/topology.json — граф зависимостей ops/topology/ledger.md — потребление RAM ops/hygiene/report-*.md — находки гигиены Отчёт: ops/evolution/report-YYYY-MM-DD.md """ import glob import json import os import re import sys from collections import defaultdict from datetime import date ROOT = "/root/buryan-infra" OUT = ROOT + "/ops/evolution" def load_yaml(path): import yaml try: return yaml.safe_load(open(path, encoding="utf-8")) or {} except Exception: return {} def load_topology(): try: d = json.load(open(ROOT + "/ops/topology/topology.json", encoding="utf-8")) return d.get("nodes") or [], d.get("edges") or [] except Exception: return [], [] def load_ledger(): """RAM по контейнерам из ledger.md""" ram = {} try: text = open(ROOT + "/ops/topology/ledger.md", encoding="utf-8").read() except Exception: return ram for ln in text.splitlines(): m = re.match(r"\|\s*([\w.\-]+)\s*\|[^|]*\|[^|]*\|[^|]*\|[^|]*\|\s*([\d.]+)\s*(KiB|MiB|GiB)", ln) if m: val = float(m.group(2)) * {"KiB": 1 / 1024, "MiB": 1, "GiB": 1024}[m.group(3)] ram[m.group(1)] = val return ram def load_hygiene(): files = sorted(glob.glob(ROOT + "/ops/hygiene/report-*.md")) if not files: return {} text = open(files[-1], encoding="utf-8").read() out = defaultdict(list) cur = None for ln in text.splitlines(): m = re.match(r"## \[(HIGH|MEDIUM|LOW|INFO)\] (.+)", ln) if m: cur = m.group(2) continue m2 = re.match(r"\*\*Что:\*\* (.+)", ln) if m2 and cur: out[cur].append(m2.group(1)) return out, files[-1] def main(): reg = load_yaml(ROOT + "/ops/registry/services.yaml") services = reg.get("services") or [] facts = reg.get("facts") or {} nodes, edges = load_topology() ram = load_ledger() hyg, hyg_path = load_hygiene() # зависимые по графу dependents = defaultdict(int) for e in edges: dependents[e.get("to")] += 1 # дубли из гигиены dups = [w for w in hyg.get("дубль сервиса", [])] no_sso = [s for s in services if (s.get("sso") or "") in ("direct", "", None)] no_backup = [s for s in services if not (s.get("backup") or "").strip()] # RAM топ ram_sorted = sorted(ram.items(), key=lambda x: -x[1]) # кандидаты на вывод: низкая критичность + мало зависимых + заметная RAM retire = [] for s in services: name = s.get("name") or "" crit = (s.get("criticality") or "normal").lower() dep = dependents.get("catalog:" + name, 0) + dependents.get("docker:" + name, 0) mb = ram.get(name, 0) if crit in ("low", "optional") and dep == 0: retire.append((name, crit, dep, mb)) elif dep == 0 and mb >= 300: retire.append((name, crit, dep, mb)) os.makedirs(OUT, exist_ok=True) path = os.path.join(OUT, "report-%s.md" % date.today().isoformat()) L = [] A = L.append A("# Отчёт развития — %s" % date.today().isoformat()) A("") A("Автоматический анализ: реестр сервисов + граф зависимостей + гигиена + лёджер RAM.") A("") A("## Инвентарь (факты)") A("") A("| Метрика | Значение |") A("|---|---|") A("| Сервисов в реестре | %d |" % len(services)) A("| Гостей (CT) | %s |" % facts.get("guests_ct", "?")) A("| Контейнеров | %s |" % facts.get("containers", "?")) A("| Доменов | %s |" % facts.get("domains", "?")) A("| Баз данных | %s |" % facts.get("databases", "?")) A("| Узлов в графе | %d |" % len(nodes)) A("| Рёбер в графе | %d |" % len(edges)) A("") A("## 1. RETIRE — кандидаты на вывод") A("") if retire: A("| Сервис | Критичность | Зависимых | RAM |") A("|---|---|---|---|") for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3]): A("| `%s` | %s | %d | %s |" % (name, crit, dep, ("%.0f МиБ" % mb) if mb else "—")) A("") A("**Что это значит:** у сервиса нет зависимых в графе — на него никто не ссылается.") A("Но это не приговор: он может быть нужен людям напрямую. Проверять вручную.") else: A("Кандидатов нет: у всех сервисов есть зависимые или они критичны.") A("") A("## 2. Дубли и избыточность") A("") if dups: for d in dups[:12]: A("- %s" % d) A("") A("**Проверять:** инфраструктурные образы (redis/postgres/nginx) могут быть") A("осознанно раздельными. Настоящие дубли — те, где один и тот же сервис") A("поднят дважды (пример: Jackett в CT119 и CT124).") else: A("Дублей не найдено.") A("") A("## 3. Без единого входа (SSO)") A("") A("Найдено **%d** сервисов с `sso: direct` — вход в обход Authentik." % len(no_sso)) A("") if no_sso: A("| Сервис | Группа | Критичность |") A("|---|---|---|") for s in no_sso[:15]: A("| `%s` | %s | %s |" % (s.get("name"), s.get("group"), s.get("criticality"))) A("") A("**Важно:** часть сервисов (плееры, API-клиенты) не умеет OIDC — для них") A("`direct` это норма. Но веб-панели без SSO — потенциальная дыра.") A("") A("## 4. Без резервной копии") A("") if no_backup: A("**%d** сервисов без описания бэкапа:" % len(no_backup)) A("") for s in no_backup[:15]: A("- `%s` (%s)" % (s.get("name"), s.get("group"))) A("") else: A("У всех сервисов бэкап описан.") A("") A("## 5. Топ по памяти") A("") A("| Сервис | RAM |") A("|---|---|") for name, mb in ram_sorted[:10]: A("| `%s` | %.0f МиБ |" % (name, mb)) A("") A("## 6. Что делать (порядок)") A("") A("1. Разобрать дубли — освободит память, упростит инвентарь.") A("2. Проверить RETIRE-кандидатов: если не нужны — остановить и вынести в maintenance.") A("3. Закрыть SSO на веб-панелях, где он отсутствует.") A("4. Для сервисов без бэкапа — добавить в схему или подтвердить, что данные не ценны.") A("") A("---") A("_Источник гигиены: `%s`_" % os.path.relpath(hyg_path, ROOT)) open(path, "w", encoding="utf-8").write("\n".join(L) + "\n") print("отчёт:", path) print("сервисов: %d | RETIRE-кандидатов: %d | дублей: %d | без SSO: %d | без бэкапа: %d" % (len(services), len(retire), len(dups), len(no_sso), len(no_backup))) for name, crit, dep, mb in sorted(retire, key=lambda x: -x[3])[:8]: print(" [retire?] %-28s crit=%-8s dep=%d ram=%.0f МиБ" % (name, crit, dep, mb)) if __name__ == "__main__": sys.exit(main())