Files
buryan-infra/ops/inventory/build-map.py
root e4739b0e12 Карта хозяйства: собрана из живых данных (4.6.1)
Задача 4.6.1 «карта хозяйства». Обычно такую карту ведут руками, и она
устаревает через неделю. Здесь она СОБИРАЕТСЯ из того, что реально
работает, скриптом ops/inventory/build-map.py:
  * pct list — контейнеры Proxmox (30, запущено 29);
  * docker ps — контейнеры внутри (97);
  * services.yaml — реестр обновлений (50 служб, роли и критичность);
  * конфигурация VPS и AdGuard — домены (40).

В документе: сводка, таблица контейнеров с памятью и ядрами, разбивка
«что где работает» по каждому CT с образами, проектами compose и
портами, список доменов, и честный раздел «что не покрыто»
(promtail, oauth2-proxy, службы без compose).

Пересобрать в любой момент: python3 ops/inventory/build-map.py
2026-10-17 15:34:39 +03:00

179 lines
7.3 KiB
Python
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Строит карту хозяйства из ЖИВЫХ данных (задача 4.6.1).
ЗАЧЕМ. Карта «что где живёт» обычно ведётся руками и устаревает. Здесь
она собирается из того, что реально работает: список контейнеров,
портов, проектов compose, доменов и проверок. Такую карту нельзя
забыть обновить — её пересобирают.
Источники:
* pct list — контейнеры Proxmox;
* docker ps — контейнеры внутри;
* services.yaml — реестр обновлений (роль службы, критичность);
* конфигурация VPS — домены;
* AdGuard — перепись доменов.
"""
import io
import json
import subprocess
import sys
import yaml
OUT = "/root/buryan-infra/docs/INFRASTRUCTURE-MAP.md"
SERV = "/root/buryan-infra/ops/update-manager/services.yaml"
def run(cmd):
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=180)
return r.stdout.strip()
# --- реестр служб ---
reg = yaml.safe_load(io.open(SERV, encoding="utf-8"))["services"]
by_ct = {}
for name, s in reg.items():
ct = s.get("ct_id")
if ct:
by_ct.setdefault(int(ct), []).append((name, s))
# --- контейнеры Proxmox ---
print("собираю данные...")
cts = []
for line in run("pct list").splitlines()[1:]:
parts = line.split()
if len(parts) < 3:
continue
vmid, status, name = parts[0], parts[1], " ".join(parts[2:])
cfg = run("pct config %s" % vmid)
hostname = ""
memory = ""
cores = ""
for l in cfg.splitlines():
if l.startswith("hostname:"):
hostname = l.split(":", 1)[1].strip()
elif l.startswith("memory:"):
memory = l.split(":", 1)[1].strip()
elif l.startswith("cores:"):
cores = l.split(":", 1)[1].strip()
cts.append({"vmid": int(vmid), "status": status, "name": name,
"hostname": hostname, "memory": memory, "cores": cores})
# --- контейнеры docker ---
for ct in cts:
if ct["status"] != "running":
ct["containers"] = []
continue
has = run("pct exec %s -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok'" % ct["vmid"])
if has != "ok":
ct["containers"] = []
continue
out = run(
"pct exec %s -- bash -c 'docker ps --format \"{{.Names}}|{{.Image}}|"
"{{.Label \\\"com.docker.compose.project\\\"}}|{{.Ports}}\"'" % ct["vmid"])
conts = []
for line in out.splitlines():
if not line.strip():
continue
p = line.split("|")
if len(p) < 4:
continue
ports = []
for seg in p[3].split(","):
seg = seg.strip()
if "->" in seg:
left, right = seg.split("->", 1)
ports.append(right.split("/")[0] + "/" + (right.split("/")[1] if "/" in right else "tcp"))
conts.append({"name": p[0], "image": p[1], "project": p[2], "ports": ports})
ct["containers"] = conts
# --- домены с VPS ---
dom = run("ssh -o BatchMode=yes root@193.233.210.184 "
"\"grep -oE 'server_name [a-z0-9.-]+' /etc/nginx/conf.d/buryans-all.conf "
"| awk '{print \\$2}' | sort -u\" 2>/dev/null")
domains = [d for d in dom.split() if d]
# --- собираю документ ---
L = []
L.append("# Карта хозяйства")
L.append("")
L.append("**Собрана из живых данных 17.10.2026.** Не править вручную:")
L.append("карту пересобирает `ops/inventory/build-map.py`, поэтому она не")
L.append("может устареть от забывчивости.")
L.append("")
L.append("## Сводка")
L.append("")
L.append("| Что | Сколько |")
L.append("|---|---|")
L.append("| Контейнеров Proxmox | %d |" % len(cts))
L.append("| Из них запущено | %d |" % sum(1 for c in cts if c["status"] == "running"))
L.append("| Контейнеров Docker | %d |" % sum(len(c["containers"]) for c in cts))
L.append("| Служб в реестре обновлений | %d |" % len(reg))
L.append("| Доменов | %d |" % len(domains))
L.append("")
L.append("## Контейнеры по именам")
L.append("")
L.append("| CT | Имя | Состояние | Память | Cores | Docker-контейнеров |")
L.append("|---|---|---|---|---|---|")
for c in sorted(cts, key=lambda x: x["vmid"]):
L.append("| %d | %s | %s | %s МБ | %s | %d |" % (
c["vmid"], c["hostname"] or c["name"], c["status"],
c["memory"] or "—", c["cores"] or "—", len(c["containers"])))
L.append("")
L.append("## Что где работает")
L.append("")
for c in sorted(cts, key=lambda x: x["vmid"]):
if not c["containers"]:
continue
L.append("### CT %d — %s" % (c["vmid"], c["hostname"] or c["name"]))
L.append("")
L.append("| Контейнер | Образ | Проект compose | Порты |")
L.append("|---|---|---|---|")
for k in sorted(c["containers"], key=lambda x: x["name"]):
L.append("| `%s` | `%s` | %s | %s |" % (
k["name"], k["image"][:44],
("`%s`" % k["project"]) if k["project"] else "—",
", ".join(k["ports"][:4]) or "—"))
L.append("")
# службы из реестра в этом CT
if c["vmid"] in by_ct:
names = ", ".join("`%s`%s" % (n, "" if s.get("critical") else "")
for n, s in sorted(by_ct[c["vmid"]]))
L.append("В реестре обновлений: %s" % names)
crit = [n for n, s in by_ct[c["vmid"]] if s.get("critical")]
if crit:
L.append("")
L.append("**Критичные:** %s" % ", ".join("`%s`" % n for n in crit))
L.append("")
L.append("## Домены")
L.append("")
L.append("Всего **%d**. Каждый обслуживается внешним nginx на VPS и, через" % len(domains))
L.append("перепись в AdGuard, домашним nginx.")
L.append("")
L.append("| Домен | |")
L.append("|---|---|")
half = (len(domains) + 1) // 2
for i in range(half):
a = domains[i]
b = domains[i + half] if i + half < len(domains) else ""
L.append("| `%s` | %s |" % (a, ("`%s`" % b) if b else ""))
L.append("")
L.append("## Что не покрыто")
L.append("")
unc = [k for k in ("promtail", "oauth2-proxy")]
L.append("* `promtail` (сбор журналов) — по одному в каждом контейнере, отдельно не обновляется.")
L.append("* `oauth2-proxy-*` — прокси авторизации, обновляются вместе со стеком.")
L.append("* Службы без compose (duplicati, alertmanager, buryan-alert-webhook) —")
L.append(" обновление скачивает образ, но пересоздание контейнера требует рук.")
io.open(OUT, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("записано: %s (%d строк)" % (OUT, len(L)))
print(" контейнеров Proxmox: %d" % len(cts))
print(" контейнеров Docker: %d" % sum(len(c["containers"]) for c in cts))
print(" доменов: %d" % len(domains))