From 8e6655e021f4af802a8c422356f945c5c5cd08cb Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 5 Nov 2026 19:23:02 +0300 Subject: [PATCH] =?UTF-8?q?[SPRINT-V1][B]=20=D0=93=D0=B8=D0=B3=D0=B8=D0=B5?= =?UTF-8?q?=D0=BD=D0=B0=20=D1=80=D0=B0=D1=81=D1=88=D0=B8=D1=80=D0=B5=D0=BD?= =?UTF-8?q?=D0=B0=20=D0=B4=D0=BE=2015=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5?= =?UTF-8?q?=D1=80=D0=BE=D0=BA:=20=D1=81=D0=B5=D1=80=D1=82=D0=B8=D1=84?= =?UTF-8?q?=D0=B8=D0=BA=D0=B0=D1=82=D1=8B,=20=D0=B1=D1=8D=D0=BA=D0=B0?= =?UTF-8?q?=D0=BF=D1=8B,=20docker-=D0=BC=D1=83=D1=81=D0=BE=D1=80,=20=D0=BB?= =?UTF-8?q?=D0=BE=D0=B3=D0=B8,=20failed-=D1=8E=D0=BD=D0=B8=D1=82=D1=8B,=20?= =?UTF-8?q?=D0=BF=D1=80=D0=B0=D0=B2=D0=B0=20=D1=81=D0=B5=D0=BA=D1=80=D0=B5?= =?UTF-8?q?=D1=82=D0=BE=D0=B2,=20swap/PSI,=20cron-=D0=BF=D0=B8=D0=BA=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hygiene/report-2026-11-05.md | 192 +++++++--------- ops/scripts/hygiene_scan.py | 376 ++++++++++++++++++++++--------- 2 files changed, 346 insertions(+), 222 deletions(-) diff --git a/ops/hygiene/report-2026-11-05.md b/ops/hygiene/report-2026-11-05.md index 8cc9fd8..ce4fbda 100644 --- a/ops/hygiene/report-2026-11-05.md +++ b/ops/hygiene/report-2026-11-05.md @@ -1,207 +1,171 @@ # Гигиенический отчёт — 2026-11-05 -Найдено: **24** -· high: 1 · medium: 8 · low: 5 · info: 10 +Проверок: 15 · находок: **19** +· high: 1 · medium: 9 · low: 5 · info: 4 + +## Сводка по категориям + +| Тип | Кол-во | Уровень | +|---|---|---| +| включён, но не работает | 1 | high | +| дубль сервиса | 7 | medium | +| заготовки без запуска | 1 | medium | +| крупный потребитель RAM | 1 | medium | +| не поднимется сам | 5 | low | +| потребление RAM | 1 | info | +| мониторинг | 1 | info | +| бэкапы | 1 | info | +| docker-мусор | 1 | info | ## [HIGH] включён, но не работает -**Что:** 1 юнитов enabled, но inactive: hub-yandex-bridge.service +**Что:** 1 юнитов: hub-yandex-bridge.service -**Почему важно:** должны работать — но лежат. Либо сломаны при старте, либо остановлены вручную +**Почему:** должны работать — но лежат -**Что делать:** проверить `journalctl -u ` и запустить или выключить +**Что делать:** journalctl -u , затем запустить или выключить ## [MEDIUM] дубль сервиса -**Что:** образ `redis` живёт в нескольких CT: 103, 105, 114, 115 +**Что:** образ `redis` в CT: 103, 105, 114, 115 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `postgres` живёт в нескольких CT: 103, 114 +**Что:** образ `postgres` в CT: 103, 114 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `syncthing` живёт в нескольких CT: 105, 139 +**Что:** образ `syncthing` в CT: 105, 139 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `eclipse-mosquitto` живёт в нескольких CT: 106, 107 +**Что:** образ `eclipse-mosquitto` в CT: 106, 107 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `nginx` живёт в нескольких CT: 106, 110 +**Что:** образ `nginx` в CT: 106, 110 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `server` живёт в нескольких CT: 109, 114 +**Что:** образ `server` в CT: 109, 114 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] дубль сервиса -**Что:** образ `mariadb` живёт в нескольких CT: 109, 110 +**Что:** образ `mariadb` в CT: 109, 110 -**Почему важно:** инфраструктурный образ — может быть осознанно +**Почему:** инфраструктурный образ (может быть осознанно) -**Что делать:** проверить, нужны ли все экземпляры +**Что делать:** проверить необходимость всех экземпляров ## [MEDIUM] заготовки без запуска -**Что:** 33 юнитов существуют, но disabled: hub-actions.service, hub-agents.service, hub-archive-copy.service, hub-brain.service, hub-cert-sync.service, hub-chief.service, hub-ct-cleanup.service, hub-db-dumps.service, hub-digest.service, hub-dl-cleanup.service, hub-drill.service, hub-finance.service +**Что:** 33 юнитов: hub-actions.service, hub-agents.service, hub-archive-copy.service, hub-brain.service, hub-cert-sync.service, hub-chief.service, hub-ct-cleanup.service, hub-db-dumps.service, hub-digest.service, hub-dl-cleanup.service -**Почему важно:** спроектированы, но не введены в работу — незавершённость +**Почему:** спроектированы, но не введены — незавершённость -**Что делать:** решить: внедрять, законсервировать или удалить +**Что делать:** решить: внедрять, консервировать или удалить + +## [MEDIUM] крупный потребитель RAM + +**Что:** netbox (CT103) — 850.1MiB / 4GiB, CPU 0.00% + +**Почему:** больше 800 МиБ — кандидат на оптимизацию + +**Что делать:** проверить лимиты/необходимость ## [LOW] не поднимется сам -**Что:** CT114 (authentik-security) — onboot=0 +**Что:** CT114 (authentik-security) onboot=0 -**Почему важно:** после перезагрузки хоста останется выключенным +**Почему:** после перезагрузки хоста останется выключенным -**Что делать:** включить onboot или подтвердить, что так задумано +**Что делать:** включить onboot или подтвердить ## [LOW] не поднимется сам -**Что:** CT115 (OpenClaw) — onboot=0 +**Что:** CT115 (OpenClaw) onboot=0 -**Почему важно:** после перезагрузки хоста останется выключенным +**Почему:** после перезагрузки хоста останется выключенным -**Что делать:** включить onboot или подтвердить, что так задумано +**Что делать:** включить onboot или подтвердить ## [LOW] не поднимется сам -**Что:** CT116 (plex-lxc) — onboot=0 +**Что:** CT116 (plex-lxc) onboot=0 -**Почему важно:** после перезагрузки хоста останется выключенным +**Почему:** после перезагрузки хоста останется выключенным -**Что делать:** включить onboot или подтвердить, что так задумано +**Что делать:** включить onboot или подтвердить ## [LOW] не поднимется сам -**Что:** CT122 (tautulli-lxc) — onboot=0 +**Что:** CT122 (tautulli-lxc) onboot=0 -**Почему важно:** после перезагрузки хоста останется выключенным +**Почему:** после перезагрузки хоста останется выключенным -**Что делать:** включить onboot или подтвердить, что так задумано +**Что делать:** включить onboot или подтвердить ## [LOW] не поднимется сам -**Что:** CT160 (llm-lxc) — onboot=0 +**Что:** CT160 (llm-lxc) onboot=0 -**Почему важно:** после перезагрузки хоста останется выключенным +**Почему:** после перезагрузки хоста останется выключенным -**Что делать:** включить onboot или подтвердить, что так задумано +**Что делать:** включить onboot или подтвердить ## [INFO] потребление RAM -**Что:** `netbox` (CT103) — 849.8MiB / 4GiB, CPU 0.00% +**Что:** топ: netbox 850.1MiB · paperless 514.5MiB · docmost 381.9MiB · n8n 321.4MiB · homeassistant 308.9MiB · jellyfin 278.7MiB -**Почему важно:** для лёджера: следим за ростом +**Почему:** лёджер: следим за ростом **Что делать:** — -## [INFO] потребление RAM +## [INFO] мониторинг -**Что:** `paperless` (CT105) — 518.8MiB / 2GiB, CPU 0.09% +**Что:** таргетов: 35, up: 35 -**Почему важно:** для лёджера: следим за ростом +**Почему:** полнота наблюдения **Что делать:** — -## [INFO] потребление RAM +## [INFO] бэкапы -**Что:** `docmost` (CT103) — 394.4MiB / 4GiB, CPU 0.05% +**Что:** последний: vzdump-lxc-109-2026_11_05-04_00_03.tar.zst -**Почему важно:** для лёджера: следим за ростом +**Почему:** проверка свежести вручную по дате **Что делать:** — -## [INFO] потребление RAM +## [INFO] docker-мусор -**Что:** `homeassistant` (CT106) — 305.1MiB / 2GiB, CPU 0.83% +**Что:** образов: 164, томов: 0, остановленных: 0 -**Почему важно:** для лёджера: следим за ростом +**Почему:** кандидаты на docker system prune -**Что делать:** — +**Что делать:** docker image prune -a (осторожно) -## [INFO] потребление RAM - -**Что:** `n8n` (CT108) — 304.9MiB / 2GiB, CPU 0.17% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - -## [INFO] потребление RAM - -**Что:** `jellyfin` (CT103) — 272.9MiB / 4GiB, CPU 0.98% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - -## [INFO] потребление RAM - -**Что:** `grafana` (CT113) — 243MiB / 2GiB, CPU 0.78% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - -## [INFO] потребление RAM - -**Что:** `authentik-security-worker-1` (CT114) — 235.5MiB / 4GiB, CPU 0.08% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - -## [INFO] потребление RAM - -**Что:** `stirling-pdf` (CT110) — 224.1MiB / 6GiB, CPU 0.06% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - -## [INFO] потребление RAM - -**Что:** `prometheus` (CT134) — 173.1MiB / 1GiB, CPU 0.09% - -**Почему важно:** для лёджера: следим за ростом - -**Что делать:** — - - ---- - -## Предложения агента (dry-run, ничего не выполнено) - -``` -предложений: 2 - [L2_safe_auto] pct_start {'ct': '160'} — CT160 не запущен (llm-lxc) - [L3_domain_auto] retry_search {} — 17 фильмов без файла -``` diff --git a/ops/scripts/hygiene_scan.py b/ops/scripts/hygiene_scan.py index ecc5870..a08cf19 100644 --- a/ops/scripts/hygiene_scan.py +++ b/ops/scripts/hygiene_scan.py @@ -1,17 +1,23 @@ #!/usr/bin/env python3 -"""Гигиенический скан (V1, Фаза B): дубли, осиротевшие юниты, RAM-долги, слепые зоны. +"""Гигиенический скан Buryans Hub (V1, расширенный). -Только чтение. Пишет ops/hygiene/report-YYYY-MM-DD.md +Только чтение. Проверки сгруппированы в реестр — легко добавлять новые. +Отчёт: ops/hygiene/report-YYYY-MM-DD.md """ import json import os import re import subprocess from collections import defaultdict -from datetime import date +from datetime import date, datetime OUT = "/root/buryan-infra/ops/hygiene" -TOPO = "/root/buryan-infra/ops/topology/topology.json" +VPS = "193.233.210.184" +FINDINGS = [] + + +def add(sev, kind, what, why, fix): + FINDINGS.append({"sev": sev, "kind": kind, "what": what, "why": why, "fix": fix}) def sh(cmd, timeout=60): @@ -22,168 +28,322 @@ def sh(cmd, timeout=60): return "" -def main(): - findings = [] +def shv(cmd, timeout=60): + return sh("ssh -o ConnectTimeout=10 -o BatchMode=yes root@%s '%s'" + % (VPS, cmd.replace("'", "'\\''")), timeout) - # ---------- 1. контейнеры и CT ---------- - cts = [] + +def cts(): + out = [] for line in sh("pct list").splitlines()[1:]: p = line.split() if len(p) >= 2: - cts.append({"ct": p[0], "status": p[1], "name": p[2] if len(p) > 2 else ""}) + out.append({"ct": p[0], "status": p[1], "name": p[2] if len(p) > 2 else ""}) + return out - containers = [] - for c in cts: + +def containers(): + res = [] + for c in cts(): if c["status"] != "running": continue out = sh("pct exec %s -- docker ps --format '{{.Names}}|{{.Image}}' 2>/dev/null" % c["ct"], 40) for ln in out.splitlines(): if "|" in ln: n, img = ln.split("|", 1) - containers.append({"ct": c["ct"], "name": n, "image": img}) + res.append({"ct": c["ct"], "name": n, "image": img}) + return res - # ---------- 2. дубли образов ---------- - # служебные агенты ставятся на КАЖДЫЙ CT — это норма, не дубль - SHARED_AGENTS = {"beszel-agent", "promtail", "node-exporter", "node_exporter", - "cadvisor", "watchtower", "docker-proxy", "oauth2-proxy"} - # инфраструктурные образы: могут жить в нескольких CT осознанно + +# ─────────────────────────── проверки ─────────────────────────── + +def check_duplicates(): + SHARED = {"beszel-agent", "promtail", "node-exporter", "node_exporter", "cadvisor", + "watchtower", "docker-proxy", "oauth2-proxy"} INFRA = {"redis", "postgres", "mariadb", "nginx", "mosquitto", "eclipse-mosquitto", "syncthing", "server", "traefik", "caddy"} by_image = defaultdict(list) - for ct in containers: - base = ct["image"].split("/")[-1].split(":")[0].lower() - by_image[base].append(ct) + for c in containers(): + base = c["image"].split("/")[-1].split(":")[0].lower() + by_image[base].append(c) for img, items in by_image.items(): cts_set = {i["ct"] for i in items} - if len(cts_set) < 2: - continue - if img in SHARED_AGENTS: + if len(cts_set) < 2 or img in SHARED: continue sev = "medium" if img in INFRA else "high" - note = ("инфраструктурный образ — может быть осознанно" if img in INFRA - else "вероятно, остался старый экземпляр — тратит RAM/CPU") - findings.append({ - "sev": sev, "kind": "дубль сервиса", - "what": "образ `%s` живёт в нескольких CT: %s" % (img, ", ".join(sorted(cts_set))), - "why": note, - "fix": "определить нужный экземпляр и остановить лишний" if sev == "high" - else "проверить, нужны ли все экземпляры", - }) + add(sev, "дубль сервиса", + "образ `%s` в CT: %s" % (img, ", ".join(sorted(cts_set))), + "инфраструктурный образ (может быть осознанно)" if img in INFRA + else "вероятно, старый экземпляр — тратит RAM", + "проверить необходимость всех экземпляров" if sev == "medium" + else "оставить один, лишний остановить") - # ---------- 3. осиротевшие юниты ---------- + +def check_units(): inactive = sh("systemctl list-units --type=service --state=inactive --all --no-legend 2>/dev/null") - orphans_enabled, orphans_disabled = [], [] + enabled_broken, disabled = [], [] for ln in inactive.splitlines(): - parts = ln.split() - if not parts: - continue - name = parts[0] + name = ln.split()[0] if ln.split() else "" if not re.match(r"(hub-|hermes|buryan)", name): continue en = sh("systemctl is-enabled %s 2>/dev/null" % name, 10).strip() - (orphans_enabled if en == "enabled" else orphans_disabled).append(name) + (enabled_broken if en == "enabled" else disabled).append(name) + if enabled_broken: + add("high", "включён, но не работает", + "%d юнитов: %s" % (len(enabled_broken), ", ".join(sorted(enabled_broken)[:10])), + "должны работать — но лежат", "journalctl -u , затем запустить или выключить") + if disabled: + add("medium", "заготовки без запуска", + "%d юнитов: %s" % (len(disabled), ", ".join(sorted(disabled)[:10])), + "спроектированы, но не введены — незавершённость", + "решить: внедрять, консервировать или удалить") - if orphans_enabled: - findings.append({ - "sev": "high", "kind": "включён, но не работает", - "what": "%d юнитов enabled, но inactive: %s" % ( - len(orphans_enabled), ", ".join(sorted(orphans_enabled)[:12])), - "why": "должны работать — но лежат. Либо сломаны при старте, либо остановлены вручную", - "fix": "проверить `journalctl -u ` и запустить или выключить", - }) - if orphans_disabled: - findings.append({ - "sev": "medium", "kind": "заготовки без запуска", - "what": "%d юнитов существуют, но disabled: %s" % ( - len(orphans_disabled), ", ".join(sorted(orphans_disabled)[:12])), - "why": "спроектированы, но не введены в работу — незавершённость", - "fix": "решить: внедрять, законсервировать или удалить", - }) - # ---------- 4. CT с onboot=0 ---------- - for c in cts: +def check_failed_units(): + out = sh("systemctl --failed --no-legend --no-pager 2>/dev/null") + if not out: + return + names = [] + for ln in out.splitlines(): + m = re.search(r"([\w@.\-]+\.(?:service|socket|timer|swap|mount))", ln) + if m: + names.append(m.group(1)) + if names: + add("high", "упавшие юниты", "%d: %s" % (len(names), ", ".join(names[:12])), + "сервис в состоянии failed — не работает или не стартовал после сбоя", + "systemctl reset-failed && systemctl start ") + + +def check_onboot(): + for c in cts(): cfg = sh("cat /etc/pve/lxc/%s.conf 2>/dev/null" % c["ct"], 15) if "onboot: 1" not in cfg: - findings.append({ - "sev": "low", "kind": "не поднимется сам", - "what": "CT%s (%s) — onboot=0" % (c["ct"], c["name"]), - "why": "после перезагрузки хоста останется выключенным", - "fix": "включить onboot или подтвердить, что так задумано", - }) + add("low", "не поднимется сам", "CT%s (%s) onboot=0" % (c["ct"], c["name"]), + "после перезагрузки хоста останется выключенным", "включить onboot или подтвердить") - # ---------- 5. RAM-долги ---------- + +def check_ram(): mem = [] - for c in cts: + for c in cts(): if c["status"] != "running": continue - out = sh("pct exec %s -- docker stats --no-stream --format '{{.Name}}|{{.MemUsage}}|{{.CPUPerc}}' 2>/dev/null" % c["ct"], 45) + out = sh("pct exec %s -- docker stats --no-stream --format '{{.Name}}|{{.MemUsage}}|{{.CPUPerc}}'" + % c["ct"], 45) for ln in out.splitlines(): p = ln.split("|") if len(p) >= 2: m = re.search(r"([\d.]+)\s*([KMG])iB", p[1]) if m: val = float(m.group(1)) * {"K": 1 / 1024, "M": 1, "G": 1024}[m.group(2)] - mem.append({"name": p[0], "ct": c["ct"], "mb": val, "raw": p[1], - "cpu": p[2] if len(p) > 2 else ""}) + mem.append({"name": p[0], "ct": c["ct"], "mb": val, + "raw": p[1], "cpu": p[2] if len(p) > 2 else ""}) mem.sort(key=lambda x: -x["mb"]) - for m in mem[:10]: - findings.append({ - "sev": "info", "kind": "потребление RAM", - "what": "`%s` (CT%s) — %s, CPU %s" % (m["name"], m["ct"], m["raw"], m["cpu"]), - "why": "для лёджера: следим за ростом", - "fix": "—", - }) + top = " · ".join("%s %s" % (m["name"], m["raw"].split("/")[0].strip()) for m in mem[:6]) + add("info", "потребление RAM", "топ: " + top, "лёджер: следим за ростом", "—") + for m in mem[:3]: + if m["mb"] > 800: + add("medium", "крупный потребитель RAM", + "%s (CT%s) — %s, CPU %s" % (m["name"], m["ct"], m["raw"], m["cpu"]), + "больше 800 МиБ — кандидат на оптимизацию", "проверить лимиты/необходимость") - # ---------- 6. слепые зоны мониторинга ---------- + +def check_monitoring(): + tg = sh("curl -s -m 15 http://192.168.1.134:9090/api/v1/targets", 25) try: - tg = json.loads(sh("curl -s -m 15 http://192.168.1.134:9090/api/v1/targets", 25) or "{}") - act = (tg.get("data") or {}).get("activeTargets") or [] - for t in act: - if t.get("health") != "up": - findings.append({ - "sev": "high", "kind": "слепая зона", - "what": "target down: %s (%s)" % (t.get("labels", {}).get("job"), t.get("scrapeUrl")), - "why": "метрик нет — система не видит эту часть", - "fix": "перезапустить экспортёр / проверить порт", - }) + d = json.loads(tg) except Exception: - pass + add("high", "мониторинг недоступен", "Prometheus не ответил на /api/v1/targets", + "система слепа", "проверить CT134 и контейнер prometheus") + return + act = (d.get("data") or {}).get("activeTargets") or [] + down = [t for t in act if t.get("health") != "up"] + if down: + add("high", "слепые зоны", "targets down: " + ", ".join( + "%s(%s)" % (t.get("labels", {}).get("job"), t.get("labels", {}).get("instance")) + for t in down[:8]), "метрик по ним нет", "перезапустить экспортёр") + add("info", "мониторинг", "таргетов: %d, up: %d" % (len(act), len(act) - len(down)), + "полнота наблюдения", "—") - # ---------- 7. диск ---------- - for line in sh("df -h / /var/lib/vz 2>/dev/null | tail -2").splitlines(): + +def check_disk(): + out = sh("df -h / /var/lib/vz /media 2>/dev/null | tail -3") + for line in out.splitlines(): m = re.search(r"(\d+)%", line) if m and int(m.group(1)) > 80: - findings.append({ - "sev": "high", "kind": "место на диске", - "what": line.strip(), - "why": "выше 80% — пора чистить", - "fix": "ротация логов, prune образов", - }) + add("high", "место на диске", line.strip(), "выше 80% — пора чистить", + "ротация логов, prune образов") + + +def check_ct_disk(): + out = sh("df -h 2>/dev/null | grep -E 'lxc|subvol' | awk '{print $6, $5}' | head -20") + for line in out.splitlines(): + parts = line.split() + if len(parts) == 2 and parts[1].rstrip("%").isdigit() and int(parts[1].rstrip("%")) > 85: + add("medium", "диск контейнера", "%s — %s" % (parts[0], parts[1]), + "контейнер близок к заполнению", "почистить внутри CT") + + +def check_certs(): + for label, cmd in (("хост", "for d in /etc/letsencrypt/live/*/; do " + "n=$(basename $d); e=$(openssl x509 -enddate -noout -in $d/fullchain.pem 2>/dev/null | cut -d= -f2); " + "echo \"$n|$e\"; done"), + ("VPS", "for d in /etc/letsencrypt/live/*/; do " + "n=$(basename $d); e=$(openssl x509 -enddate -noout -in $d/fullchain.pem 2>/dev/null | cut -d= -f2); " + "echo \"$n|$e\"; done")): + out = shv(cmd, 60) if label == "VPS" else sh(cmd, 60) + for ln in out.splitlines(): + if "|" not in ln: + continue + name, enddate = ln.split("|", 1) + try: + exp = datetime.strptime(enddate.strip(), "%b %d %H:%M:%S %Y %Z") + days = (exp - datetime.now()).days + except Exception: + continue + if days < 0: + add("high", "сертификат просрочен", "%s (%s): %d дн." % (name, label, days), + "сайт не откроется по HTTPS", "certbot renew --force-renewal") + elif days < 21: + add("high", "сертификат истекает", "%s (%s): %d дн." % (name, label, days), + "осталось меньше трёх недель", "certbot renew") + + +def check_backups(): + out = sh("ls -lt /var/lib/vz/dump/*.tar.zst /var/lib/vz/dump/*.vma.zst " + "/mnt/backup/*/*.tar.zst 2>/dev/null | head -3", 30) + if not out: + add("medium", "бэкапы", "не найдено свежих архивов в /var/lib/vz/dump", + "не понимаем, есть ли бэкапы", "проверить backup_configs.py и vzdump") + return + first = out.splitlines()[0] + m = re.search(r"(\w{3})\s+(\d+)\s+(\d+):(\d+)", first) + add("info", "бэкапы", "последний: " + first.split()[-1].split("/")[-1][:60], + "проверка свежести вручную по дате", "—") + + +def check_docker_waste(): + total_img, total_vol, total_stopped = 0, 0, 0 + for c in cts(): + if c["status"] != "running": + continue + d = sh("pct exec %s -- docker system df --format '{{.Type}}|{{.TotalCount}}|{{.Reclaimable}}' 2>/dev/null" % c["ct"], 40) + for ln in d.splitlines(): + p = ln.split("|") + if len(p) < 3: + continue + try: + cnt = int(p[1]) + except Exception: + continue + if p[0].startswith("Images"): + total_img += cnt + if p[0].startswith("Volumes"): + total_vol += cnt + stopped = sh("pct exec %s -- docker ps -a --filter status=exited --format '{{.Names}}' 2>/dev/null" % c["ct"], 40) + n = len([x for x in stopped.splitlines() if x.strip()]) + if n: + total_stopped += n + add("low", "остановленные контейнеры", "CT%s: %d (%s)" % (c["ct"], n, ", ".join(stopped.splitlines()[:5])), + "занимают место и путают инвентарь", "docker rm, если не нужны") + add("info", "docker-мусор", "образов: %d, томов: %d, остановленных: %d" % (total_img, total_vol, total_stopped), + "кандидаты на docker system prune", "docker image prune -a (осторожно)") + + +def check_logs(): + big = sh("find /var/log -type f -size +200M 2>/dev/null | head -5", 60) + for f in big.splitlines(): + sz = sh("du -h '%s' 2>/dev/null | cut -f1" % f, 10) + add("medium", "огромный лог", "%s — %s" % (f, sz), "растёт бесконтрольно", + "настроить logrotate или усечь") + jsz = sh("journalctl --disk-usage 2>/dev/null | grep -o '[0-9.]*[GM]' | head -1") + if jsz and (jsz.endswith("G") or (jsz.endswith("M") and float(jsz[:-1]) > 1500)): + add("medium", "журнал systemd", "journal занимает %s" % jsz, "растёт без ротации", + "journalctl --vacuum-size=500M") + + +def check_secrets_perms(): + out = sh("find /root -maxdepth 1 -type f \\( -name '.*key*' -o -name '.*token*' -o -name '.*env' \\) " + "-perm /077 2>/dev/null | head -10", 30) + for f in out.splitlines(): + add("high", "права на секрет", "%s доступен группе/всем" % f, + "секрет может утечь", "chmod 600 %s" % f) + + +def check_swap_pressure(): + out = sh("free -m | tail -2") + lines = out.splitlines() + if len(lines) >= 2: + swap = lines[1].split() + if len(swap) >= 3: + used, total = int(swap[2]), int(swap[1]) + if total and used / total > 0.5: + add("medium", "swap", "использовано %d из %d МиБ" % (used, total), + "память на пределе — риск лавины (инцидент 04.11)", "проверить топRAM, добавить память") + psi = sh("cat /proc/pressure/memory 2>/dev/null | head -1") + m = re.search(r"full avg10=([\d.]+)", psi or "") + if m and float(m.group(1)) > 20: + add("high", "давление памяти", "PSI full avg10=%.1f%%" % float(m.group(1)), + "процессы ждут память — деградация", "сократить нагрузку немедленно") + + +def check_cron_hotspots(): + out = sh("cat /etc/cron.d/* /var/spool/cron/crontabs/* 2>/dev/null | " + "grep -E '^[0-9*]' | awk '{print $1\" \"$2}' | sort | uniq -c | sort -rn | head -5", 30) + for line in out.splitlines(): + p = line.split() + if len(p) >= 3 and int(p[0]) >= 8: + add("medium", "cron-нагрузка", "%s задач в минуту %s %s" % (p[0], p[1], p[2]), + "одновременный старт — риск пиков", "разнести по времени") + + +CHECKS = [check_duplicates, check_units, check_failed_units, check_onboot, check_ram, + check_monitoring, check_disk, check_ct_disk, check_certs, check_backups, + check_docker_waste, check_logs, check_secrets_perms, check_swap_pressure, + check_cron_hotspots] + + +def main(): + for fn in CHECKS: + try: + fn() + except Exception as e: + add("medium", "ошибка проверки", "%s: %s" % (fn.__name__, str(e)[:120]), + "проверка не отработала", "посмотреть трейс") - # ---------- отчёт ---------- os.makedirs(OUT, exist_ok=True) path = os.path.join(OUT, "report-%s.md" % date.today().isoformat()) counts = defaultdict(int) - for f in findings: + for f in FINDINGS: counts[f["sev"]] += 1 - lines = ["# Гигиенический отчёт — %s" % date.today().isoformat(), "", - "Найдено: **%d**" % len(findings), - "· high: %d · medium: %d · low: %d · info: %d" % ( - counts["high"], counts["medium"], counts["low"], counts["info"]), ""] order = {"high": 0, "medium": 1, "low": 2, "info": 3} - for f in sorted(findings, key=lambda x: order[x["sev"]]): + + lines = ["# Гигиенический отчёт — %s" % date.today().isoformat(), "", + "Проверок: %d · находок: **%d**" % (len(CHECKS), len(FINDINGS)), + "· high: %d · medium: %d · low: %d · info: %d" % ( + counts["high"], counts["medium"], counts["low"], counts["info"]), "", + "## Сводка по категориям", "", "| Тип | Кол-во | Уровень |", "|---|---|---|"] + by_kind = defaultdict(lambda: [0, "info"]) + for f in FINDINGS: + by_kind[f["kind"]][0] += 1 + if order[f["sev"]] < order[by_kind[f["kind"]][1]]: + by_kind[f["kind"]][1] = f["sev"] + for kind, (n, sev) in sorted(by_kind.items(), key=lambda x: order[x[1][1]]): + lines.append("| %s | %d | %s |" % (kind, n, sev)) + lines.append("") + + for f in sorted(FINDINGS, key=lambda x: order[x["sev"]]): lines += ["## [%s] %s" % (f["sev"].upper(), f["kind"]), "", "**Что:** %s" % f["what"], "", - "**Почему важно:** %s" % f["why"], "", + "**Почему:** %s" % f["why"], "", "**Что делать:** %s" % f["fix"], ""] - open(path, "w", encoding="utf-8").write("\n".join(lines) + "\n") + open(path, "w", encoding="utf-8").write("\n".join(lines) + "\n") print("отчёт:", path) - print("найдено:", len(findings), "| high:", counts["high"], "medium:", counts["medium"], - "low:", counts["low"], "info:", counts["info"]) - for f in sorted(findings, key=lambda x: order[x["sev"]]): + print("проверок: %d | находок: %d | high: %d medium: %d low: %d info: %d" + % (len(CHECKS), len(FINDINGS), counts["high"], counts["medium"], counts["low"], counts["info"])) + for f in sorted(FINDINGS, key=lambda x: order[x["sev"]]): if f["sev"] in ("high", "medium"): - print(" [%s] %s — %s" % (f["sev"], f["kind"], f["what"][:90])) + print(" [%s] %-26s %s" % (f["sev"], f["kind"], f["what"][:80])) if __name__ == "__main__":