Отчёт о дырах и ежедневный бэкап конфигураций
Отчёт Gaps.md: без SSO 27 сервисов, без бэкапа 39, без мониторинга 7, критичных с дырами 4 (homeassistant, prometheus, gitea, mosquitto). Бэкап конфигов: /usr/local/bin/backup-configs + cron 03:45, архив в /mnt/backups/configs, хранение 30 дней. Собирает bind-монтирования контейнеров и конфиги в /opt; данные (медиа, фото, БД) не дублируются. Ограничение: конфиги сервисов, чьи данные лежат внутри CT, попадают только при наличии bind-mount на хост — расширение через pct exec в следующем шаге.
This commit is contained in:
1 parent
7c7655c905
commit
d47a8c5bba
4 files changed
+363
No files matched your search
@@ -0,0 +1,109 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Бэкап конфигураций: собирает bind-монтирования контейнеров (без данных)."""
|
||||
import os
|
||||
import subprocess
|
||||
import tarfile
|
||||
import time
|
||||
|
||||
DEST = "/mnt/backups/configs"
|
||||
SKIP = ("/mnt/media", "/data", "/music", "/photos", "/downloads", "/library",
|
||||
"/calibre-library", "/cwa-book-ingest")
|
||||
MAX_FILE = 20 * 1024 * 1024
|
||||
|
||||
|
||||
def sh(cmd, timeout=60):
|
||||
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||
return (r.stdout or "").strip()
|
||||
|
||||
|
||||
def containers():
|
||||
out = []
|
||||
for line in sh("pct list | tail -n +2").splitlines():
|
||||
parts = line.split()
|
||||
if len(parts) < 3:
|
||||
continue
|
||||
ct = parts[0]
|
||||
names = sh(f"pct exec {ct} -- docker ps --format '{{{{.Names}}}}'").split()
|
||||
for n in names:
|
||||
out.append((ct, n))
|
||||
for n in sh("docker ps --format '{{.Names}}'").split():
|
||||
out.append(("0", n))
|
||||
return out
|
||||
|
||||
|
||||
def mounts(ct, name):
|
||||
if ct == "0":
|
||||
cmd = f"docker inspect {name} --format '{{{{json .Mounts}}}}'"
|
||||
else:
|
||||
cmd = f"pct exec {ct} -- docker inspect {name} --format '{{{{json .Mounts}}}}'"
|
||||
raw = sh(cmd)
|
||||
import json
|
||||
try:
|
||||
return json.loads(raw or "[]")
|
||||
except Exception:
|
||||
return []
|
||||
|
||||
|
||||
def add_dir(tar, src, arc):
|
||||
if not os.path.isdir(src):
|
||||
return 0
|
||||
if any(src.startswith(p) for p in SKIP):
|
||||
return 0
|
||||
n = 0
|
||||
for root, dirs, files in os.walk(src):
|
||||
dirs[:] = [d for d in dirs if not d.startswith(".")][:20]
|
||||
for f in files[:200]:
|
||||
p = os.path.join(root, f)
|
||||
try:
|
||||
if os.path.getsize(p) > MAX_FILE:
|
||||
continue
|
||||
rel = os.path.relpath(p, src)
|
||||
tar.add(p, arcname=os.path.join(arc, rel))
|
||||
n += 1
|
||||
except Exception:
|
||||
continue
|
||||
if n > 800:
|
||||
break
|
||||
return n
|
||||
|
||||
|
||||
def main():
|
||||
os.makedirs(DEST, exist_ok=True)
|
||||
stamp = time.strftime("%Y%m%d-%H%M")
|
||||
path = os.path.join(DEST, f"configs-{stamp}.tar.gz")
|
||||
total, count = 0, 0
|
||||
import glob
|
||||
with tarfile.open(path, "w:gz") as tar:
|
||||
seen = set()
|
||||
for ct, name in containers():
|
||||
for m in mounts(ct, name):
|
||||
src = m.get("Source") or ""
|
||||
if not src.startswith("/opt") or src in seen:
|
||||
continue
|
||||
seen.add(src)
|
||||
n = add_dir(tar, src, os.path.join(name, src.strip("/").replace("/", "_")))
|
||||
if n:
|
||||
count += 1
|
||||
total += n
|
||||
# конфиги CT-сервисов лежат на хосте в /opt/<...>/<сервис>/config
|
||||
for src in (glob.glob("/opt/*/config") + glob.glob("/opt/*/*/config")
|
||||
+ glob.glob("/opt/*/conf") + glob.glob("/opt/*/*/conf")):
|
||||
if src in seen or not os.path.isdir(src):
|
||||
continue
|
||||
seen.add(src)
|
||||
n = add_dir(tar, src, src.strip("/").replace("/", "_"))
|
||||
if n:
|
||||
count += 1
|
||||
total += n
|
||||
size = os.path.getsize(path)
|
||||
# ротация
|
||||
for f in sorted(os.listdir(DEST)):
|
||||
full = os.path.join(DEST, f)
|
||||
if f.startswith("configs-") and os.path.getmtime(full) < time.time() - 30 * 86400:
|
||||
os.remove(full)
|
||||
print(f"{time.strftime('%Y-%m-%dT%H:%M:%S')} configs: dirs={count} files={total} "
|
||||
f"size={size} -> {path}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -38,3 +38,11 @@
|
||||
Медиатор (медиа), Библиотекарь (знания), Автомат (автоматизация), Страж
|
||||
(наблюдаемость) и Голова. Пока они только смотрят и предлагают — ничего
|
||||
не меняют без разрешения. Отчёт приходит, только если есть проблема.
|
||||
|
||||
## 2026-10-21 — Бэкап настроек и отчёт о дырах
|
||||
|
||||
Теперь ежедневно в 03:45 сохраняются конфигурации сервисов (не только базы):
|
||||
`/mnt/backups/configs/`, хранение 30 дней.
|
||||
|
||||
И появился отчёт «дыры в структуре»: у каких сервисов нет единого входа,
|
||||
бэкапа или мониторинга. Видно, что закрывать первым.
|
||||
@@ -0,0 +1,125 @@
|
||||
# Дыры в структуре
|
||||
|
||||
Сервисов в карточках: **83** · критичных: **9**
|
||||
|
||||
## Сводка
|
||||
|
||||
| Проблема | Сервисов |
|
||||
|---|---|
|
||||
| Нет SSO | 27 |
|
||||
| Нет бэкапа | 39 |
|
||||
| Нет мониторинга | 7 |
|
||||
| Нет домена | 11 |
|
||||
| Критичные с дырами | 4 |
|
||||
|
||||
## Нет SSO (27)
|
||||
|
||||
Доступ по локальному паролю — выпадают из единого входа.
|
||||
|
||||
| Сервис | Группа | Критичность |
|
||||
|---|---|---|
|
||||
| gitea | Знания | high |
|
||||
| homeassistant | Дом | high |
|
||||
| mosquitto | Дом | high |
|
||||
| prometheus | Наблюдаемость | high |
|
||||
| adguard | Дом | normal |
|
||||
| alertmanager | Наблюдаемость | normal |
|
||||
| book-bot | Медиа | normal |
|
||||
| duplicati | Знания | normal |
|
||||
| firefly | Знания | normal |
|
||||
| frigate | Дом | normal |
|
||||
| grafana | Наблюдаемость | normal |
|
||||
| immich_database | Медиа | normal |
|
||||
| immich_machine_learning | Медиа | normal |
|
||||
| jackett | Медиа | normal |
|
||||
| jellyfin | Медиа | normal |
|
||||
| lidarr | Медиа | normal |
|
||||
| loki | Наблюдаемость | normal |
|
||||
| mealie | Знания | normal |
|
||||
| nextcloud | Знания | normal |
|
||||
| node_red | Автоматизация | normal |
|
||||
| paperless_redis | Знания | normal |
|
||||
| plex | Медиа | normal |
|
||||
| seerr | Медиа | normal |
|
||||
| syncthing | Знания | normal |
|
||||
| tg-admin-bot | Автоматизация | normal |
|
||||
| uptime_kuma | Наблюдаемость | normal |
|
||||
| zigbee2mqtt | Дом | normal |
|
||||
|
||||
## Нет бэкапа (39)
|
||||
|
||||
Данные можно потерять безвозвратно.
|
||||
|
||||
| Сервис | Группа | Критичность |
|
||||
|---|---|---|
|
||||
| gitea | Знания | high |
|
||||
| homeassistant | Дом | high |
|
||||
| mosquitto | Дом | high |
|
||||
| prometheus | Наблюдаемость | high |
|
||||
| adguard | Дом | normal |
|
||||
| alertmanager | Наблюдаемость | normal |
|
||||
| bazarr | Медиа | normal |
|
||||
| book-bot | Медиа | normal |
|
||||
| calibre-web | Медиа | normal |
|
||||
| catalog | Медиа | normal |
|
||||
| dashy | Автоматизация | normal |
|
||||
| duplicati | Знания | normal |
|
||||
| firefly | Знания | normal |
|
||||
| freshrss | Знания | normal |
|
||||
| frigate | Дом | normal |
|
||||
| grafana | Наблюдаемость | normal |
|
||||
| immich_database | Медиа | normal |
|
||||
| immich_machine_learning | Медиа | normal |
|
||||
| jackett | Медиа | normal |
|
||||
| jellyfin | Медиа | normal |
|
||||
| lidarr | Медиа | normal |
|
||||
| linkding | Знания | normal |
|
||||
| loki | Наблюдаемость | normal |
|
||||
| mealie | Знания | normal |
|
||||
| navidrome | Медиа | normal |
|
||||
| nextcloud | Знания | normal |
|
||||
| node_red | Автоматизация | normal |
|
||||
| openclaw | Автоматизация | normal |
|
||||
| paperless | Знания | normal |
|
||||
| paperless_redis | Знания | normal |
|
||||
| plex | Медиа | normal |
|
||||
| prowlarr | Медиа | normal |
|
||||
| radarr | Медиа | normal |
|
||||
| seerr | Медиа | normal |
|
||||
| sonarr | Медиа | normal |
|
||||
| syncthing | Знания | normal |
|
||||
| tautulli | Медиа | normal |
|
||||
| uptime_kuma | Наблюдаемость | normal |
|
||||
| zigbee2mqtt | Дом | normal |
|
||||
|
||||
## Нет мониторинга (7)
|
||||
|
||||
О падении узнаем случайно.
|
||||
|
||||
| Сервис | Группа | Критичность |
|
||||
|---|---|---|
|
||||
| book-bot | Медиа | normal |
|
||||
| catalog | Медиа | normal |
|
||||
| frigate | Дом | normal |
|
||||
| immich_database | Медиа | normal |
|
||||
| immich_machine_learning | Медиа | normal |
|
||||
| jackett | Медиа | normal |
|
||||
| node_red | Автоматизация | normal |
|
||||
|
||||
## Критичные с дырами (4)
|
||||
|
||||
Сначала закрываем эти: падение или потеря данных критичны.
|
||||
|
||||
| Сервис | Группа | Критичность |
|
||||
|---|---|---|
|
||||
| gitea | Знания | high |
|
||||
| homeassistant | Дом | high |
|
||||
| mosquitto | Дом | high |
|
||||
| prometheus | Наблюдаемость | high |
|
||||
|
||||
## Что делать
|
||||
|
||||
1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`.
|
||||
2. Критичные без SSO — завести oauth2-proxy или нативный OIDC.
|
||||
3. Без мониторинга — добавить HTTP-монитор в Kuma.
|
||||
4. Остальное — по мере роста.
|
||||
@@ -0,0 +1,121 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Отчёт о дырах в структуре: SSO, бэкап, мониторинг, владелец."""
|
||||
import glob
|
||||
import os
|
||||
import re
|
||||
import sqlite3
|
||||
import subprocess
|
||||
|
||||
CARDS = "/root/wiki/cards"
|
||||
OUT = "/root/wiki/Gaps.md"
|
||||
KUMA_DB = "/opt/network-lxc/uptime/data/kuma.db"
|
||||
|
||||
|
||||
def sh(cmd, timeout=60):
|
||||
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
|
||||
return (r.stdout or "").strip()
|
||||
|
||||
|
||||
def parse_card(path):
|
||||
text = open(path, encoding="utf-8").read()
|
||||
name = os.path.basename(path)[:-3]
|
||||
def field(label):
|
||||
m = re.search(rf"\|\s*{label}\s*\|\s*(.+?)\s*\|", text)
|
||||
return m.group(1).strip() if m else ""
|
||||
return {
|
||||
"name": name,
|
||||
"group": field("Группа"),
|
||||
"criticality": field("Критичность"),
|
||||
"domain": field("Домен"),
|
||||
"sso": field("SSO"),
|
||||
"backup": field("Бэкап"),
|
||||
"deps": field("Зависимости"),
|
||||
}
|
||||
|
||||
|
||||
def kuma_monitors():
|
||||
try:
|
||||
raw = sh(f"pct exec 107 -- sqlite3 {KUMA_DB} "
|
||||
"\"select name,hostname from monitor where active=1;\"")
|
||||
except Exception:
|
||||
return []
|
||||
return [line.split("|") for line in raw.splitlines() if "|" in line]
|
||||
|
||||
|
||||
def main():
|
||||
cards = [parse_card(p) for p in glob.glob(os.path.join(CARDS, "*.md"))]
|
||||
monitors = kuma_monitors()
|
||||
mon_text = " ".join(f"{n} {h}" for n, h in monitors).lower()
|
||||
|
||||
no_sso, no_backup, no_mon, no_domain = [], [], [], []
|
||||
for c in cards:
|
||||
if c["group"] in ("Служебные", "Прочее"):
|
||||
continue
|
||||
if c["sso"] in ("нет", "—", ""):
|
||||
no_sso.append(c)
|
||||
if c["backup"] in ("нет", "—", ""):
|
||||
no_backup.append(c)
|
||||
if c["domain"] not in ("—", ""):
|
||||
base = c["domain"].split(".")[0]
|
||||
if base not in mon_text and c["name"] not in mon_text:
|
||||
no_mon.append(c)
|
||||
if c["domain"] in ("—", ""):
|
||||
no_domain.append(c)
|
||||
|
||||
critical = [c for c in cards if c["criticality"] == "high"]
|
||||
critical_gaps = [c for c in critical
|
||||
if c["backup"] in ("нет", "—", "") or c["sso"] in ("нет", "—", "")]
|
||||
|
||||
lines = [
|
||||
"# Дыры в структуре",
|
||||
"",
|
||||
f"Сервисов в карточках: **{len(cards)}** · критичных: **{len(critical)}**",
|
||||
"",
|
||||
"## Сводка",
|
||||
"",
|
||||
"| Проблема | Сервисов |",
|
||||
"|---|---|",
|
||||
f"| Нет SSO | {len(no_sso)} |",
|
||||
f"| Нет бэкапа | {len(no_backup)} |",
|
||||
f"| Нет мониторинга | {len(no_mon)} |",
|
||||
f"| Нет домена | {len(no_domain)} |",
|
||||
f"| Критичные с дырами | {len(critical_gaps)} |",
|
||||
"",
|
||||
]
|
||||
|
||||
def table(title, items, why):
|
||||
lines.append(f"## {title} ({len(items)})")
|
||||
lines.append("")
|
||||
lines.append(why)
|
||||
lines.append("")
|
||||
lines.append("| Сервис | Группа | Критичность |")
|
||||
lines.append("|---|---|---|")
|
||||
for c in sorted(items, key=lambda x: (x["criticality"] != "high", x["name"]))[:40]:
|
||||
lines.append(f"| {c['name']} | {c['group']} | {c['criticality']} |")
|
||||
lines.append("")
|
||||
|
||||
table("Нет SSO", no_sso, "Доступ по локальному паролю — выпадают из единого входа.")
|
||||
table("Нет бэкапа", no_backup, "Данные можно потерять безвозвратно.")
|
||||
table("Нет мониторинга", no_mon, "О падении узнаем случайно.")
|
||||
table("Критичные с дырами", critical_gaps,
|
||||
"Сначала закрываем эти: падение или потеря данных критичны.")
|
||||
|
||||
lines.append("## Что делать")
|
||||
lines.append("")
|
||||
lines.append("1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`.")
|
||||
lines.append("2. Критичные без SSO — завести oauth2-proxy или нативный OIDC.")
|
||||
lines.append("3. Без мониторинга — добавить HTTP-монитор в Kuma.")
|
||||
lines.append("4. Остальное — по мере роста.")
|
||||
lines.append("")
|
||||
|
||||
open(OUT, "w", encoding="utf-8").write("\n".join(lines))
|
||||
print(f"карточек: {len(cards)}")
|
||||
print(f"без SSO: {len(no_sso)} | без бэкапа: {len(no_backup)} | "
|
||||
f"без мониторинга: {len(no_mon)} | критичных с дырами: {len(critical_gaps)}")
|
||||
for c in critical_gaps[:8]:
|
||||
print(f" ! {c['name']} ({c['group']}): "
|
||||
f"sso={c['sso']}, backup={c['backup']}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in new issue
Block a user