[SPRINT-V1][B] Гигиена расширена до 15 проверок: сертификаты, бэкапы, docker-мусор, логи, failed-юниты, права секретов, swap/PSI, cron-пики
This commit is contained in:
1 parent
c93cbb72fb
commit
8e6655e021
2 files changed
+346
-222
No files matched your search
@@ -1,207 +1,171 @@
|
||||
# Гигиенический отчёт — 2026-11-05
|
||||
|
||||
Найдено: **24**
|
||||
· high: 1 · medium: 8 · low: 5 · info: 10
|
||||
Проверок: 15 · находок: **19**
|
||||
· high: 1 · medium: 9 · low: 5 · info: 4
|
||||
|
||||
## Сводка по категориям
|
||||
|
||||
| Тип | Кол-во | Уровень |
|
||||
|---|---|---|
|
||||
| включён, но не работает | 1 | high |
|
||||
| дубль сервиса | 7 | medium |
|
||||
| заготовки без запуска | 1 | medium |
|
||||
| крупный потребитель RAM | 1 | medium |
|
||||
| не поднимется сам | 5 | low |
|
||||
| потребление RAM | 1 | info |
|
||||
| мониторинг | 1 | info |
|
||||
| бэкапы | 1 | info |
|
||||
| docker-мусор | 1 | info |
|
||||
|
||||
## [HIGH] включён, но не работает
|
||||
|
||||
**Что:** 1 юнитов enabled, но inactive: hub-yandex-bridge.service
|
||||
**Что:** 1 юнитов: hub-yandex-bridge.service
|
||||
|
||||
**Почему важно:** должны работать — но лежат. Либо сломаны при старте, либо остановлены вручную
|
||||
**Почему:** должны работать — но лежат
|
||||
|
||||
**Что делать:** проверить `journalctl -u <unit>` и запустить или выключить
|
||||
**Что делать:** journalctl -u <unit>, затем запустить или выключить
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `redis` живёт в нескольких CT: 103, 105, 114, 115
|
||||
**Что:** образ `redis` в CT: 103, 105, 114, 115
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `postgres` живёт в нескольких CT: 103, 114
|
||||
**Что:** образ `postgres` в CT: 103, 114
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `syncthing` живёт в нескольких CT: 105, 139
|
||||
**Что:** образ `syncthing` в CT: 105, 139
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `eclipse-mosquitto` живёт в нескольких CT: 106, 107
|
||||
**Что:** образ `eclipse-mosquitto` в CT: 106, 107
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `nginx` живёт в нескольких CT: 106, 110
|
||||
**Что:** образ `nginx` в CT: 106, 110
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `server` живёт в нескольких CT: 109, 114
|
||||
**Что:** образ `server` в CT: 109, 114
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
**Что:** образ `mariadb` живёт в нескольких CT: 109, 110
|
||||
**Что:** образ `mariadb` в CT: 109, 110
|
||||
|
||||
**Почему важно:** инфраструктурный образ — может быть осознанно
|
||||
**Почему:** инфраструктурный образ (может быть осознанно)
|
||||
|
||||
**Что делать:** проверить, нужны ли все экземпляры
|
||||
**Что делать:** проверить необходимость всех экземпляров
|
||||
|
||||
## [MEDIUM] заготовки без запуска
|
||||
|
||||
**Что:** 33 юнитов существуют, но disabled: hub-actions.service, hub-agents.service, hub-archive-copy.service, hub-brain.service, hub-cert-sync.service, hub-chief.service, hub-ct-cleanup.service, hub-db-dumps.service, hub-digest.service, hub-dl-cleanup.service, hub-drill.service, hub-finance.service
|
||||
**Что:** 33 юнитов: hub-actions.service, hub-agents.service, hub-archive-copy.service, hub-brain.service, hub-cert-sync.service, hub-chief.service, hub-ct-cleanup.service, hub-db-dumps.service, hub-digest.service, hub-dl-cleanup.service
|
||||
|
||||
**Почему важно:** спроектированы, но не введены в работу — незавершённость
|
||||
**Почему:** спроектированы, но не введены — незавершённость
|
||||
|
||||
**Что делать:** решить: внедрять, законсервировать или удалить
|
||||
**Что делать:** решить: внедрять, консервировать или удалить
|
||||
|
||||
## [MEDIUM] крупный потребитель RAM
|
||||
|
||||
**Что:** netbox (CT103) — 850.1MiB / 4GiB, CPU 0.00%
|
||||
|
||||
**Почему:** больше 800 МиБ — кандидат на оптимизацию
|
||||
|
||||
**Что делать:** проверить лимиты/необходимость
|
||||
|
||||
## [LOW] не поднимется сам
|
||||
|
||||
**Что:** CT114 (authentik-security) — onboot=0
|
||||
**Что:** CT114 (authentik-security) onboot=0
|
||||
|
||||
**Почему важно:** после перезагрузки хоста останется выключенным
|
||||
**Почему:** после перезагрузки хоста останется выключенным
|
||||
|
||||
**Что делать:** включить onboot или подтвердить, что так задумано
|
||||
**Что делать:** включить onboot или подтвердить
|
||||
|
||||
## [LOW] не поднимется сам
|
||||
|
||||
**Что:** CT115 (OpenClaw) — onboot=0
|
||||
**Что:** CT115 (OpenClaw) onboot=0
|
||||
|
||||
**Почему важно:** после перезагрузки хоста останется выключенным
|
||||
**Почему:** после перезагрузки хоста останется выключенным
|
||||
|
||||
**Что делать:** включить onboot или подтвердить, что так задумано
|
||||
**Что делать:** включить onboot или подтвердить
|
||||
|
||||
## [LOW] не поднимется сам
|
||||
|
||||
**Что:** CT116 (plex-lxc) — onboot=0
|
||||
**Что:** CT116 (plex-lxc) onboot=0
|
||||
|
||||
**Почему важно:** после перезагрузки хоста останется выключенным
|
||||
**Почему:** после перезагрузки хоста останется выключенным
|
||||
|
||||
**Что делать:** включить onboot или подтвердить, что так задумано
|
||||
**Что делать:** включить onboot или подтвердить
|
||||
|
||||
## [LOW] не поднимется сам
|
||||
|
||||
**Что:** CT122 (tautulli-lxc) — onboot=0
|
||||
**Что:** CT122 (tautulli-lxc) onboot=0
|
||||
|
||||
**Почему важно:** после перезагрузки хоста останется выключенным
|
||||
**Почему:** после перезагрузки хоста останется выключенным
|
||||
|
||||
**Что делать:** включить onboot или подтвердить, что так задумано
|
||||
**Что делать:** включить onboot или подтвердить
|
||||
|
||||
## [LOW] не поднимется сам
|
||||
|
||||
**Что:** CT160 (llm-lxc) — onboot=0
|
||||
**Что:** CT160 (llm-lxc) onboot=0
|
||||
|
||||
**Почему важно:** после перезагрузки хоста останется выключенным
|
||||
**Почему:** после перезагрузки хоста останется выключенным
|
||||
|
||||
**Что делать:** включить onboot или подтвердить, что так задумано
|
||||
**Что делать:** включить onboot или подтвердить
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `netbox` (CT103) — 849.8MiB / 4GiB, CPU 0.00%
|
||||
**Что:** топ: netbox 850.1MiB · paperless 514.5MiB · docmost 381.9MiB · n8n 321.4MiB · homeassistant 308.9MiB · jellyfin 278.7MiB
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
**Почему:** лёджер: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
## [INFO] мониторинг
|
||||
|
||||
**Что:** `paperless` (CT105) — 518.8MiB / 2GiB, CPU 0.09%
|
||||
**Что:** таргетов: 35, up: 35
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
**Почему:** полнота наблюдения
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
## [INFO] бэкапы
|
||||
|
||||
**Что:** `docmost` (CT103) — 394.4MiB / 4GiB, CPU 0.05%
|
||||
**Что:** последний: vzdump-lxc-109-2026_11_05-04_00_03.tar.zst
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
**Почему:** проверка свежести вручную по дате
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
## [INFO] docker-мусор
|
||||
|
||||
**Что:** `homeassistant` (CT106) — 305.1MiB / 2GiB, CPU 0.83%
|
||||
**Что:** образов: 164, томов: 0, остановленных: 0
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
**Почему:** кандидаты на docker system prune
|
||||
|
||||
**Что делать:** —
|
||||
**Что делать:** docker image prune -a (осторожно)
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `n8n` (CT108) — 304.9MiB / 2GiB, CPU 0.17%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `jellyfin` (CT103) — 272.9MiB / 4GiB, CPU 0.98%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `grafana` (CT113) — 243MiB / 2GiB, CPU 0.78%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `authentik-security-worker-1` (CT114) — 235.5MiB / 4GiB, CPU 0.08%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `stirling-pdf` (CT110) — 224.1MiB / 6GiB, CPU 0.06%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** `prometheus` (CT134) — 173.1MiB / 1GiB, CPU 0.09%
|
||||
|
||||
**Почему важно:** для лёджера: следим за ростом
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
|
||||
---
|
||||
|
||||
## Предложения агента (dry-run, ничего не выполнено)
|
||||
|
||||
```
|
||||
предложений: 2
|
||||
[L2_safe_auto] pct_start {'ct': '160'} — CT160 не запущен (llm-lxc)
|
||||
[L3_domain_auto] retry_search {} — 17 фильмов без файла
|
||||
```
|
||||
+268
-108
@@ -1,17 +1,23 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Гигиенический скан (V1, Фаза B): дубли, осиротевшие юниты, RAM-долги, слепые зоны.
|
||||
"""Гигиенический скан Buryans Hub (V1, расширенный).
|
||||
|
||||
Только чтение. Пишет ops/hygiene/report-YYYY-MM-DD.md
|
||||
Только чтение. Проверки сгруппированы в реестр — легко добавлять новые.
|
||||
Отчёт: ops/hygiene/report-YYYY-MM-DD.md
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
from collections import defaultdict
|
||||
from datetime import date
|
||||
from datetime import date, datetime
|
||||
|
||||
OUT = "/root/buryan-infra/ops/hygiene"
|
||||
TOPO = "/root/buryan-infra/ops/topology/topology.json"
|
||||
VPS = "193.233.210.184"
|
||||
FINDINGS = []
|
||||
|
||||
|
||||
def add(sev, kind, what, why, fix):
|
||||
FINDINGS.append({"sev": sev, "kind": kind, "what": what, "why": why, "fix": fix})
|
||||
|
||||
|
||||
def sh(cmd, timeout=60):
|
||||
@@ -22,168 +28,322 @@ def sh(cmd, timeout=60):
|
||||
return ""
|
||||
|
||||
|
||||
def main():
|
||||
findings = []
|
||||
def shv(cmd, timeout=60):
|
||||
return sh("ssh -o ConnectTimeout=10 -o BatchMode=yes root@%s '%s'"
|
||||
% (VPS, cmd.replace("'", "'\\''")), timeout)
|
||||
|
||||
# ---------- 1. контейнеры и CT ----------
|
||||
cts = []
|
||||
|
||||
def cts():
|
||||
out = []
|
||||
for line in sh("pct list").splitlines()[1:]:
|
||||
p = line.split()
|
||||
if len(p) >= 2:
|
||||
cts.append({"ct": p[0], "status": p[1], "name": p[2] if len(p) > 2 else ""})
|
||||
out.append({"ct": p[0], "status": p[1], "name": p[2] if len(p) > 2 else ""})
|
||||
return out
|
||||
|
||||
containers = []
|
||||
for c in cts:
|
||||
|
||||
def containers():
|
||||
res = []
|
||||
for c in cts():
|
||||
if c["status"] != "running":
|
||||
continue
|
||||
out = sh("pct exec %s -- docker ps --format '{{.Names}}|{{.Image}}' 2>/dev/null" % c["ct"], 40)
|
||||
for ln in out.splitlines():
|
||||
if "|" in ln:
|
||||
n, img = ln.split("|", 1)
|
||||
containers.append({"ct": c["ct"], "name": n, "image": img})
|
||||
res.append({"ct": c["ct"], "name": n, "image": img})
|
||||
return res
|
||||
|
||||
# ---------- 2. дубли образов ----------
|
||||
# служебные агенты ставятся на КАЖДЫЙ CT — это норма, не дубль
|
||||
SHARED_AGENTS = {"beszel-agent", "promtail", "node-exporter", "node_exporter",
|
||||
"cadvisor", "watchtower", "docker-proxy", "oauth2-proxy"}
|
||||
# инфраструктурные образы: могут жить в нескольких CT осознанно
|
||||
|
||||
# ─────────────────────────── проверки ───────────────────────────
|
||||
|
||||
def check_duplicates():
|
||||
SHARED = {"beszel-agent", "promtail", "node-exporter", "node_exporter", "cadvisor",
|
||||
"watchtower", "docker-proxy", "oauth2-proxy"}
|
||||
INFRA = {"redis", "postgres", "mariadb", "nginx", "mosquitto", "eclipse-mosquitto",
|
||||
"syncthing", "server", "traefik", "caddy"}
|
||||
by_image = defaultdict(list)
|
||||
for ct in containers:
|
||||
base = ct["image"].split("/")[-1].split(":")[0].lower()
|
||||
by_image[base].append(ct)
|
||||
for c in containers():
|
||||
base = c["image"].split("/")[-1].split(":")[0].lower()
|
||||
by_image[base].append(c)
|
||||
for img, items in by_image.items():
|
||||
cts_set = {i["ct"] for i in items}
|
||||
if len(cts_set) < 2:
|
||||
continue
|
||||
if img in SHARED_AGENTS:
|
||||
if len(cts_set) < 2 or img in SHARED:
|
||||
continue
|
||||
sev = "medium" if img in INFRA else "high"
|
||||
note = ("инфраструктурный образ — может быть осознанно" if img in INFRA
|
||||
else "вероятно, остался старый экземпляр — тратит RAM/CPU")
|
||||
findings.append({
|
||||
"sev": sev, "kind": "дубль сервиса",
|
||||
"what": "образ `%s` живёт в нескольких CT: %s" % (img, ", ".join(sorted(cts_set))),
|
||||
"why": note,
|
||||
"fix": "определить нужный экземпляр и остановить лишний" if sev == "high"
|
||||
else "проверить, нужны ли все экземпляры",
|
||||
})
|
||||
add(sev, "дубль сервиса",
|
||||
"образ `%s` в CT: %s" % (img, ", ".join(sorted(cts_set))),
|
||||
"инфраструктурный образ (может быть осознанно)" if img in INFRA
|
||||
else "вероятно, старый экземпляр — тратит RAM",
|
||||
"проверить необходимость всех экземпляров" if sev == "medium"
|
||||
else "оставить один, лишний остановить")
|
||||
|
||||
# ---------- 3. осиротевшие юниты ----------
|
||||
|
||||
def check_units():
|
||||
inactive = sh("systemctl list-units --type=service --state=inactive --all --no-legend 2>/dev/null")
|
||||
orphans_enabled, orphans_disabled = [], []
|
||||
enabled_broken, disabled = [], []
|
||||
for ln in inactive.splitlines():
|
||||
parts = ln.split()
|
||||
if not parts:
|
||||
continue
|
||||
name = parts[0]
|
||||
name = ln.split()[0] if ln.split() else ""
|
||||
if not re.match(r"(hub-|hermes|buryan)", name):
|
||||
continue
|
||||
en = sh("systemctl is-enabled %s 2>/dev/null" % name, 10).strip()
|
||||
(orphans_enabled if en == "enabled" else orphans_disabled).append(name)
|
||||
(enabled_broken if en == "enabled" else disabled).append(name)
|
||||
if enabled_broken:
|
||||
add("high", "включён, но не работает",
|
||||
"%d юнитов: %s" % (len(enabled_broken), ", ".join(sorted(enabled_broken)[:10])),
|
||||
"должны работать — но лежат", "journalctl -u <unit>, затем запустить или выключить")
|
||||
if disabled:
|
||||
add("medium", "заготовки без запуска",
|
||||
"%d юнитов: %s" % (len(disabled), ", ".join(sorted(disabled)[:10])),
|
||||
"спроектированы, но не введены — незавершённость",
|
||||
"решить: внедрять, консервировать или удалить")
|
||||
|
||||
if orphans_enabled:
|
||||
findings.append({
|
||||
"sev": "high", "kind": "включён, но не работает",
|
||||
"what": "%d юнитов enabled, но inactive: %s" % (
|
||||
len(orphans_enabled), ", ".join(sorted(orphans_enabled)[:12])),
|
||||
"why": "должны работать — но лежат. Либо сломаны при старте, либо остановлены вручную",
|
||||
"fix": "проверить `journalctl -u <unit>` и запустить или выключить",
|
||||
})
|
||||
if orphans_disabled:
|
||||
findings.append({
|
||||
"sev": "medium", "kind": "заготовки без запуска",
|
||||
"what": "%d юнитов существуют, но disabled: %s" % (
|
||||
len(orphans_disabled), ", ".join(sorted(orphans_disabled)[:12])),
|
||||
"why": "спроектированы, но не введены в работу — незавершённость",
|
||||
"fix": "решить: внедрять, законсервировать или удалить",
|
||||
})
|
||||
|
||||
# ---------- 4. CT с onboot=0 ----------
|
||||
for c in cts:
|
||||
def check_failed_units():
|
||||
out = sh("systemctl --failed --no-legend --no-pager 2>/dev/null")
|
||||
if not out:
|
||||
return
|
||||
names = []
|
||||
for ln in out.splitlines():
|
||||
m = re.search(r"([\w@.\-]+\.(?:service|socket|timer|swap|mount))", ln)
|
||||
if m:
|
||||
names.append(m.group(1))
|
||||
if names:
|
||||
add("high", "упавшие юниты", "%d: %s" % (len(names), ", ".join(names[:12])),
|
||||
"сервис в состоянии failed — не работает или не стартовал после сбоя",
|
||||
"systemctl reset-failed <unit> && systemctl start <unit>")
|
||||
|
||||
|
||||
def check_onboot():
|
||||
for c in cts():
|
||||
cfg = sh("cat /etc/pve/lxc/%s.conf 2>/dev/null" % c["ct"], 15)
|
||||
if "onboot: 1" not in cfg:
|
||||
findings.append({
|
||||
"sev": "low", "kind": "не поднимется сам",
|
||||
"what": "CT%s (%s) — onboot=0" % (c["ct"], c["name"]),
|
||||
"why": "после перезагрузки хоста останется выключенным",
|
||||
"fix": "включить onboot или подтвердить, что так задумано",
|
||||
})
|
||||
add("low", "не поднимется сам", "CT%s (%s) onboot=0" % (c["ct"], c["name"]),
|
||||
"после перезагрузки хоста останется выключенным", "включить onboot или подтвердить")
|
||||
|
||||
# ---------- 5. RAM-долги ----------
|
||||
|
||||
def check_ram():
|
||||
mem = []
|
||||
for c in cts:
|
||||
for c in cts():
|
||||
if c["status"] != "running":
|
||||
continue
|
||||
out = sh("pct exec %s -- docker stats --no-stream --format '{{.Name}}|{{.MemUsage}}|{{.CPUPerc}}' 2>/dev/null" % c["ct"], 45)
|
||||
out = sh("pct exec %s -- docker stats --no-stream --format '{{.Name}}|{{.MemUsage}}|{{.CPUPerc}}'"
|
||||
% c["ct"], 45)
|
||||
for ln in out.splitlines():
|
||||
p = ln.split("|")
|
||||
if len(p) >= 2:
|
||||
m = re.search(r"([\d.]+)\s*([KMG])iB", p[1])
|
||||
if m:
|
||||
val = float(m.group(1)) * {"K": 1 / 1024, "M": 1, "G": 1024}[m.group(2)]
|
||||
mem.append({"name": p[0], "ct": c["ct"], "mb": val, "raw": p[1],
|
||||
"cpu": p[2] if len(p) > 2 else ""})
|
||||
mem.append({"name": p[0], "ct": c["ct"], "mb": val,
|
||||
"raw": p[1], "cpu": p[2] if len(p) > 2 else ""})
|
||||
mem.sort(key=lambda x: -x["mb"])
|
||||
for m in mem[:10]:
|
||||
findings.append({
|
||||
"sev": "info", "kind": "потребление RAM",
|
||||
"what": "`%s` (CT%s) — %s, CPU %s" % (m["name"], m["ct"], m["raw"], m["cpu"]),
|
||||
"why": "для лёджера: следим за ростом",
|
||||
"fix": "—",
|
||||
})
|
||||
top = " · ".join("%s %s" % (m["name"], m["raw"].split("/")[0].strip()) for m in mem[:6])
|
||||
add("info", "потребление RAM", "топ: " + top, "лёджер: следим за ростом", "—")
|
||||
for m in mem[:3]:
|
||||
if m["mb"] > 800:
|
||||
add("medium", "крупный потребитель RAM",
|
||||
"%s (CT%s) — %s, CPU %s" % (m["name"], m["ct"], m["raw"], m["cpu"]),
|
||||
"больше 800 МиБ — кандидат на оптимизацию", "проверить лимиты/необходимость")
|
||||
|
||||
# ---------- 6. слепые зоны мониторинга ----------
|
||||
|
||||
def check_monitoring():
|
||||
tg = sh("curl -s -m 15 http://192.168.1.134:9090/api/v1/targets", 25)
|
||||
try:
|
||||
tg = json.loads(sh("curl -s -m 15 http://192.168.1.134:9090/api/v1/targets", 25) or "{}")
|
||||
act = (tg.get("data") or {}).get("activeTargets") or []
|
||||
for t in act:
|
||||
if t.get("health") != "up":
|
||||
findings.append({
|
||||
"sev": "high", "kind": "слепая зона",
|
||||
"what": "target down: %s (%s)" % (t.get("labels", {}).get("job"), t.get("scrapeUrl")),
|
||||
"why": "метрик нет — система не видит эту часть",
|
||||
"fix": "перезапустить экспортёр / проверить порт",
|
||||
})
|
||||
d = json.loads(tg)
|
||||
except Exception:
|
||||
pass
|
||||
add("high", "мониторинг недоступен", "Prometheus не ответил на /api/v1/targets",
|
||||
"система слепа", "проверить CT134 и контейнер prometheus")
|
||||
return
|
||||
act = (d.get("data") or {}).get("activeTargets") or []
|
||||
down = [t for t in act if t.get("health") != "up"]
|
||||
if down:
|
||||
add("high", "слепые зоны", "targets down: " + ", ".join(
|
||||
"%s(%s)" % (t.get("labels", {}).get("job"), t.get("labels", {}).get("instance"))
|
||||
for t in down[:8]), "метрик по ним нет", "перезапустить экспортёр")
|
||||
add("info", "мониторинг", "таргетов: %d, up: %d" % (len(act), len(act) - len(down)),
|
||||
"полнота наблюдения", "—")
|
||||
|
||||
# ---------- 7. диск ----------
|
||||
for line in sh("df -h / /var/lib/vz 2>/dev/null | tail -2").splitlines():
|
||||
|
||||
def check_disk():
|
||||
out = sh("df -h / /var/lib/vz /media 2>/dev/null | tail -3")
|
||||
for line in out.splitlines():
|
||||
m = re.search(r"(\d+)%", line)
|
||||
if m and int(m.group(1)) > 80:
|
||||
findings.append({
|
||||
"sev": "high", "kind": "место на диске",
|
||||
"what": line.strip(),
|
||||
"why": "выше 80% — пора чистить",
|
||||
"fix": "ротация логов, prune образов",
|
||||
})
|
||||
add("high", "место на диске", line.strip(), "выше 80% — пора чистить",
|
||||
"ротация логов, prune образов")
|
||||
|
||||
|
||||
def check_ct_disk():
|
||||
out = sh("df -h 2>/dev/null | grep -E 'lxc|subvol' | awk '{print $6, $5}' | head -20")
|
||||
for line in out.splitlines():
|
||||
parts = line.split()
|
||||
if len(parts) == 2 and parts[1].rstrip("%").isdigit() and int(parts[1].rstrip("%")) > 85:
|
||||
add("medium", "диск контейнера", "%s — %s" % (parts[0], parts[1]),
|
||||
"контейнер близок к заполнению", "почистить внутри CT")
|
||||
|
||||
|
||||
def check_certs():
|
||||
for label, cmd in (("хост", "for d in /etc/letsencrypt/live/*/; do "
|
||||
"n=$(basename $d); e=$(openssl x509 -enddate -noout -in $d/fullchain.pem 2>/dev/null | cut -d= -f2); "
|
||||
"echo \"$n|$e\"; done"),
|
||||
("VPS", "for d in /etc/letsencrypt/live/*/; do "
|
||||
"n=$(basename $d); e=$(openssl x509 -enddate -noout -in $d/fullchain.pem 2>/dev/null | cut -d= -f2); "
|
||||
"echo \"$n|$e\"; done")):
|
||||
out = shv(cmd, 60) if label == "VPS" else sh(cmd, 60)
|
||||
for ln in out.splitlines():
|
||||
if "|" not in ln:
|
||||
continue
|
||||
name, enddate = ln.split("|", 1)
|
||||
try:
|
||||
exp = datetime.strptime(enddate.strip(), "%b %d %H:%M:%S %Y %Z")
|
||||
days = (exp - datetime.now()).days
|
||||
except Exception:
|
||||
continue
|
||||
if days < 0:
|
||||
add("high", "сертификат просрочен", "%s (%s): %d дн." % (name, label, days),
|
||||
"сайт не откроется по HTTPS", "certbot renew --force-renewal")
|
||||
elif days < 21:
|
||||
add("high", "сертификат истекает", "%s (%s): %d дн." % (name, label, days),
|
||||
"осталось меньше трёх недель", "certbot renew")
|
||||
|
||||
|
||||
def check_backups():
|
||||
out = sh("ls -lt /var/lib/vz/dump/*.tar.zst /var/lib/vz/dump/*.vma.zst "
|
||||
"/mnt/backup/*/*.tar.zst 2>/dev/null | head -3", 30)
|
||||
if not out:
|
||||
add("medium", "бэкапы", "не найдено свежих архивов в /var/lib/vz/dump",
|
||||
"не понимаем, есть ли бэкапы", "проверить backup_configs.py и vzdump")
|
||||
return
|
||||
first = out.splitlines()[0]
|
||||
m = re.search(r"(\w{3})\s+(\d+)\s+(\d+):(\d+)", first)
|
||||
add("info", "бэкапы", "последний: " + first.split()[-1].split("/")[-1][:60],
|
||||
"проверка свежести вручную по дате", "—")
|
||||
|
||||
|
||||
def check_docker_waste():
|
||||
total_img, total_vol, total_stopped = 0, 0, 0
|
||||
for c in cts():
|
||||
if c["status"] != "running":
|
||||
continue
|
||||
d = sh("pct exec %s -- docker system df --format '{{.Type}}|{{.TotalCount}}|{{.Reclaimable}}' 2>/dev/null" % c["ct"], 40)
|
||||
for ln in d.splitlines():
|
||||
p = ln.split("|")
|
||||
if len(p) < 3:
|
||||
continue
|
||||
try:
|
||||
cnt = int(p[1])
|
||||
except Exception:
|
||||
continue
|
||||
if p[0].startswith("Images"):
|
||||
total_img += cnt
|
||||
if p[0].startswith("Volumes"):
|
||||
total_vol += cnt
|
||||
stopped = sh("pct exec %s -- docker ps -a --filter status=exited --format '{{.Names}}' 2>/dev/null" % c["ct"], 40)
|
||||
n = len([x for x in stopped.splitlines() if x.strip()])
|
||||
if n:
|
||||
total_stopped += n
|
||||
add("low", "остановленные контейнеры", "CT%s: %d (%s)" % (c["ct"], n, ", ".join(stopped.splitlines()[:5])),
|
||||
"занимают место и путают инвентарь", "docker rm, если не нужны")
|
||||
add("info", "docker-мусор", "образов: %d, томов: %d, остановленных: %d" % (total_img, total_vol, total_stopped),
|
||||
"кандидаты на docker system prune", "docker image prune -a (осторожно)")
|
||||
|
||||
|
||||
def check_logs():
|
||||
big = sh("find /var/log -type f -size +200M 2>/dev/null | head -5", 60)
|
||||
for f in big.splitlines():
|
||||
sz = sh("du -h '%s' 2>/dev/null | cut -f1" % f, 10)
|
||||
add("medium", "огромный лог", "%s — %s" % (f, sz), "растёт бесконтрольно",
|
||||
"настроить logrotate или усечь")
|
||||
jsz = sh("journalctl --disk-usage 2>/dev/null | grep -o '[0-9.]*[GM]' | head -1")
|
||||
if jsz and (jsz.endswith("G") or (jsz.endswith("M") and float(jsz[:-1]) > 1500)):
|
||||
add("medium", "журнал systemd", "journal занимает %s" % jsz, "растёт без ротации",
|
||||
"journalctl --vacuum-size=500M")
|
||||
|
||||
|
||||
def check_secrets_perms():
|
||||
out = sh("find /root -maxdepth 1 -type f \\( -name '.*key*' -o -name '.*token*' -o -name '.*env' \\) "
|
||||
"-perm /077 2>/dev/null | head -10", 30)
|
||||
for f in out.splitlines():
|
||||
add("high", "права на секрет", "%s доступен группе/всем" % f,
|
||||
"секрет может утечь", "chmod 600 %s" % f)
|
||||
|
||||
|
||||
def check_swap_pressure():
|
||||
out = sh("free -m | tail -2")
|
||||
lines = out.splitlines()
|
||||
if len(lines) >= 2:
|
||||
swap = lines[1].split()
|
||||
if len(swap) >= 3:
|
||||
used, total = int(swap[2]), int(swap[1])
|
||||
if total and used / total > 0.5:
|
||||
add("medium", "swap", "использовано %d из %d МиБ" % (used, total),
|
||||
"память на пределе — риск лавины (инцидент 04.11)", "проверить топRAM, добавить память")
|
||||
psi = sh("cat /proc/pressure/memory 2>/dev/null | head -1")
|
||||
m = re.search(r"full avg10=([\d.]+)", psi or "")
|
||||
if m and float(m.group(1)) > 20:
|
||||
add("high", "давление памяти", "PSI full avg10=%.1f%%" % float(m.group(1)),
|
||||
"процессы ждут память — деградация", "сократить нагрузку немедленно")
|
||||
|
||||
|
||||
def check_cron_hotspots():
|
||||
out = sh("cat /etc/cron.d/* /var/spool/cron/crontabs/* 2>/dev/null | "
|
||||
"grep -E '^[0-9*]' | awk '{print $1\" \"$2}' | sort | uniq -c | sort -rn | head -5", 30)
|
||||
for line in out.splitlines():
|
||||
p = line.split()
|
||||
if len(p) >= 3 and int(p[0]) >= 8:
|
||||
add("medium", "cron-нагрузка", "%s задач в минуту %s %s" % (p[0], p[1], p[2]),
|
||||
"одновременный старт — риск пиков", "разнести по времени")
|
||||
|
||||
|
||||
CHECKS = [check_duplicates, check_units, check_failed_units, check_onboot, check_ram,
|
||||
check_monitoring, check_disk, check_ct_disk, check_certs, check_backups,
|
||||
check_docker_waste, check_logs, check_secrets_perms, check_swap_pressure,
|
||||
check_cron_hotspots]
|
||||
|
||||
|
||||
def main():
|
||||
for fn in CHECKS:
|
||||
try:
|
||||
fn()
|
||||
except Exception as e:
|
||||
add("medium", "ошибка проверки", "%s: %s" % (fn.__name__, str(e)[:120]),
|
||||
"проверка не отработала", "посмотреть трейс")
|
||||
|
||||
# ---------- отчёт ----------
|
||||
os.makedirs(OUT, exist_ok=True)
|
||||
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
|
||||
counts = defaultdict(int)
|
||||
for f in findings:
|
||||
for f in FINDINGS:
|
||||
counts[f["sev"]] += 1
|
||||
lines = ["# Гигиенический отчёт — %s" % date.today().isoformat(), "",
|
||||
"Найдено: **%d**" % len(findings),
|
||||
"· high: %d · medium: %d · low: %d · info: %d" % (
|
||||
counts["high"], counts["medium"], counts["low"], counts["info"]), ""]
|
||||
order = {"high": 0, "medium": 1, "low": 2, "info": 3}
|
||||
for f in sorted(findings, key=lambda x: order[x["sev"]]):
|
||||
|
||||
lines = ["# Гигиенический отчёт — %s" % date.today().isoformat(), "",
|
||||
"Проверок: %d · находок: **%d**" % (len(CHECKS), len(FINDINGS)),
|
||||
"· high: %d · medium: %d · low: %d · info: %d" % (
|
||||
counts["high"], counts["medium"], counts["low"], counts["info"]), "",
|
||||
"## Сводка по категориям", "", "| Тип | Кол-во | Уровень |", "|---|---|---|"]
|
||||
by_kind = defaultdict(lambda: [0, "info"])
|
||||
for f in FINDINGS:
|
||||
by_kind[f["kind"]][0] += 1
|
||||
if order[f["sev"]] < order[by_kind[f["kind"]][1]]:
|
||||
by_kind[f["kind"]][1] = f["sev"]
|
||||
for kind, (n, sev) in sorted(by_kind.items(), key=lambda x: order[x[1][1]]):
|
||||
lines.append("| %s | %d | %s |" % (kind, n, sev))
|
||||
lines.append("")
|
||||
|
||||
for f in sorted(FINDINGS, key=lambda x: order[x["sev"]]):
|
||||
lines += ["## [%s] %s" % (f["sev"].upper(), f["kind"]), "",
|
||||
"**Что:** %s" % f["what"], "",
|
||||
"**Почему важно:** %s" % f["why"], "",
|
||||
"**Почему:** %s" % f["why"], "",
|
||||
"**Что делать:** %s" % f["fix"], ""]
|
||||
open(path, "w", encoding="utf-8").write("\n".join(lines) + "\n")
|
||||
|
||||
open(path, "w", encoding="utf-8").write("\n".join(lines) + "\n")
|
||||
print("отчёт:", path)
|
||||
print("найдено:", len(findings), "| high:", counts["high"], "medium:", counts["medium"],
|
||||
"low:", counts["low"], "info:", counts["info"])
|
||||
for f in sorted(findings, key=lambda x: order[x["sev"]]):
|
||||
print("проверок: %d | находок: %d | high: %d medium: %d low: %d info: %d"
|
||||
% (len(CHECKS), len(FINDINGS), counts["high"], counts["medium"], counts["low"], counts["info"]))
|
||||
for f in sorted(FINDINGS, key=lambda x: order[x["sev"]]):
|
||||
if f["sev"] in ("high", "medium"):
|
||||
print(" [%s] %s — %s" % (f["sev"], f["kind"], f["what"][:90]))
|
||||
print(" [%s] %-26s %s" % (f["sev"], f["kind"], f["what"][:80]))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in new issue
Block a user