Отчёт о дырах и ежедневный бэкап конфигураций

Отчёт Gaps.md: без SSO 27 сервисов, без бэкапа 39, без мониторинга 7,
критичных с дырами 4 (homeassistant, prometheus, gitea, mosquitto).

Бэкап конфигов: /usr/local/bin/backup-configs + cron 03:45, архив в
/mnt/backups/configs, хранение 30 дней. Собирает bind-монтирования
контейнеров и конфиги в /opt; данные (медиа, фото, БД) не дублируются.

Ограничение: конфиги сервисов, чьи данные лежат внутри CT, попадают только
при наличии bind-mount на хост — расширение через pct exec в следующем шаге.
This commit is contained in:
buryan-agent committed 2026-10-21 13:28:43 +03:00
1 parent 7c7655c905
commit d47a8c5bba
4 files changed
+363

No files matched your search

+109
View File
@@ -0,0 +1,109 @@
#!/usr/bin/env python3
"""Бэкап конфигураций: собирает bind-монтирования контейнеров (без данных)."""
import os
import subprocess
import tarfile
import time
DEST = "/mnt/backups/configs"
SKIP = ("/mnt/media", "/data", "/music", "/photos", "/downloads", "/library",
"/calibre-library", "/cwa-book-ingest")
MAX_FILE = 20 * 1024 * 1024
def sh(cmd, timeout=60):
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return (r.stdout or "").strip()
def containers():
out = []
for line in sh("pct list | tail -n +2").splitlines():
parts = line.split()
if len(parts) < 3:
continue
ct = parts[0]
names = sh(f"pct exec {ct} -- docker ps --format '{{{{.Names}}}}'").split()
for n in names:
out.append((ct, n))
for n in sh("docker ps --format '{{.Names}}'").split():
out.append(("0", n))
return out
def mounts(ct, name):
if ct == "0":
cmd = f"docker inspect {name} --format '{{{{json .Mounts}}}}'"
else:
cmd = f"pct exec {ct} -- docker inspect {name} --format '{{{{json .Mounts}}}}'"
raw = sh(cmd)
import json
try:
return json.loads(raw or "[]")
except Exception:
return []
def add_dir(tar, src, arc):
if not os.path.isdir(src):
return 0
if any(src.startswith(p) for p in SKIP):
return 0
n = 0
for root, dirs, files in os.walk(src):
dirs[:] = [d for d in dirs if not d.startswith(".")][:20]
for f in files[:200]:
p = os.path.join(root, f)
try:
if os.path.getsize(p) > MAX_FILE:
continue
rel = os.path.relpath(p, src)
tar.add(p, arcname=os.path.join(arc, rel))
n += 1
except Exception:
continue
if n > 800:
break
return n
def main():
os.makedirs(DEST, exist_ok=True)
stamp = time.strftime("%Y%m%d-%H%M")
path = os.path.join(DEST, f"configs-{stamp}.tar.gz")
total, count = 0, 0
import glob
with tarfile.open(path, "w:gz") as tar:
seen = set()
for ct, name in containers():
for m in mounts(ct, name):
src = m.get("Source") or ""
if not src.startswith("/opt") or src in seen:
continue
seen.add(src)
n = add_dir(tar, src, os.path.join(name, src.strip("/").replace("/", "_")))
if n:
count += 1
total += n
# конфиги CT-сервисов лежат на хосте в /opt/<...>/<сервис>/config
for src in (glob.glob("/opt/*/config") + glob.glob("/opt/*/*/config")
+ glob.glob("/opt/*/conf") + glob.glob("/opt/*/*/conf")):
if src in seen or not os.path.isdir(src):
continue
seen.add(src)
n = add_dir(tar, src, src.strip("/").replace("/", "_"))
if n:
count += 1
total += n
size = os.path.getsize(path)
# ротация
for f in sorted(os.listdir(DEST)):
full = os.path.join(DEST, f)
if f.startswith("configs-") and os.path.getmtime(full) < time.time() - 30 * 86400:
os.remove(full)
print(f"{time.strftime('%Y-%m-%dT%H:%M:%S')} configs: dirs={count} files={total} "
f"size={size} -> {path}")
if __name__ == "__main__":
main()
+8
View File
@@ -38,3 +38,11 @@
Медиатор (медиа), Библиотекарь (знания), Автомат (автоматизация), Страж
(наблюдаемость) и Голова. Пока они только смотрят и предлагают — ничего
не меняют без разрешения. Отчёт приходит, только если есть проблема.
## 2026-10-21 — Бэкап настроек и отчёт о дырах
Теперь ежедневно в 03:45 сохраняются конфигурации сервисов (не только базы):
`/mnt/backups/configs/`, хранение 30 дней.
И появился отчёт «дыры в структуре»: у каких сервисов нет единого входа,
бэкапа или мониторинга. Видно, что закрывать первым.
+125
View File
@@ -0,0 +1,125 @@
# Дыры в структуре
Сервисов в карточках: **83** · критичных: **9**
## Сводка
| Проблема | Сервисов |
|---|---|
| Нет SSO | 27 |
| Нет бэкапа | 39 |
| Нет мониторинга | 7 |
| Нет домена | 11 |
| Критичные с дырами | 4 |
## Нет SSO (27)
Доступ по локальному паролю — выпадают из единого входа.
| Сервис | Группа | Критичность |
|---|---|---|
| gitea | Знания | high |
| homeassistant | Дом | high |
| mosquitto | Дом | high |
| prometheus | Наблюдаемость | high |
| adguard | Дом | normal |
| alertmanager | Наблюдаемость | normal |
| book-bot | Медиа | normal |
| duplicati | Знания | normal |
| firefly | Знания | normal |
| frigate | Дом | normal |
| grafana | Наблюдаемость | normal |
| immich_database | Медиа | normal |
| immich_machine_learning | Медиа | normal |
| jackett | Медиа | normal |
| jellyfin | Медиа | normal |
| lidarr | Медиа | normal |
| loki | Наблюдаемость | normal |
| mealie | Знания | normal |
| nextcloud | Знания | normal |
| node_red | Автоматизация | normal |
| paperless_redis | Знания | normal |
| plex | Медиа | normal |
| seerr | Медиа | normal |
| syncthing | Знания | normal |
| tg-admin-bot | Автоматизация | normal |
| uptime_kuma | Наблюдаемость | normal |
| zigbee2mqtt | Дом | normal |
## Нет бэкапа (39)
Данные можно потерять безвозвратно.
| Сервис | Группа | Критичность |
|---|---|---|
| gitea | Знания | high |
| homeassistant | Дом | high |
| mosquitto | Дом | high |
| prometheus | Наблюдаемость | high |
| adguard | Дом | normal |
| alertmanager | Наблюдаемость | normal |
| bazarr | Медиа | normal |
| book-bot | Медиа | normal |
| calibre-web | Медиа | normal |
| catalog | Медиа | normal |
| dashy | Автоматизация | normal |
| duplicati | Знания | normal |
| firefly | Знания | normal |
| freshrss | Знания | normal |
| frigate | Дом | normal |
| grafana | Наблюдаемость | normal |
| immich_database | Медиа | normal |
| immich_machine_learning | Медиа | normal |
| jackett | Медиа | normal |
| jellyfin | Медиа | normal |
| lidarr | Медиа | normal |
| linkding | Знания | normal |
| loki | Наблюдаемость | normal |
| mealie | Знания | normal |
| navidrome | Медиа | normal |
| nextcloud | Знания | normal |
| node_red | Автоматизация | normal |
| openclaw | Автоматизация | normal |
| paperless | Знания | normal |
| paperless_redis | Знания | normal |
| plex | Медиа | normal |
| prowlarr | Медиа | normal |
| radarr | Медиа | normal |
| seerr | Медиа | normal |
| sonarr | Медиа | normal |
| syncthing | Знания | normal |
| tautulli | Медиа | normal |
| uptime_kuma | Наблюдаемость | normal |
| zigbee2mqtt | Дом | normal |
## Нет мониторинга (7)
О падении узнаем случайно.
| Сервис | Группа | Критичность |
|---|---|---|
| book-bot | Медиа | normal |
| catalog | Медиа | normal |
| frigate | Дом | normal |
| immich_database | Медиа | normal |
| immich_machine_learning | Медиа | normal |
| jackett | Медиа | normal |
| node_red | Автоматизация | normal |
## Критичные с дырами (4)
Сначала закрываем эти: падение или потеря данных критичны.
| Сервис | Группа | Критичность |
|---|---|---|
| gitea | Знания | high |
| homeassistant | Дом | high |
| mosquitto | Дом | high |
| prometheus | Наблюдаемость | high |
## Что делать
1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`.
2. Критичные без SSO — завести oauth2-proxy или нативный OIDC.
3. Без мониторинга — добавить HTTP-монитор в Kuma.
4. Остальное — по мере роста.
+121
View File
@@ -0,0 +1,121 @@
#!/usr/bin/env python3
"""Отчёт о дырах в структуре: SSO, бэкап, мониторинг, владелец."""
import glob
import os
import re
import sqlite3
import subprocess
CARDS = "/root/wiki/cards"
OUT = "/root/wiki/Gaps.md"
KUMA_DB = "/opt/network-lxc/uptime/data/kuma.db"
def sh(cmd, timeout=60):
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return (r.stdout or "").strip()
def parse_card(path):
text = open(path, encoding="utf-8").read()
name = os.path.basename(path)[:-3]
def field(label):
m = re.search(rf"\|\s*{label}\s*\|\s*(.+?)\s*\|", text)
return m.group(1).strip() if m else ""
return {
"name": name,
"group": field("Группа"),
"criticality": field("Критичность"),
"domain": field("Домен"),
"sso": field("SSO"),
"backup": field("Бэкап"),
"deps": field("Зависимости"),
}
def kuma_monitors():
try:
raw = sh(f"pct exec 107 -- sqlite3 {KUMA_DB} "
"\"select name,hostname from monitor where active=1;\"")
except Exception:
return []
return [line.split("|") for line in raw.splitlines() if "|" in line]
def main():
cards = [parse_card(p) for p in glob.glob(os.path.join(CARDS, "*.md"))]
monitors = kuma_monitors()
mon_text = " ".join(f"{n} {h}" for n, h in monitors).lower()
no_sso, no_backup, no_mon, no_domain = [], [], [], []
for c in cards:
if c["group"] in ("Служебные", "Прочее"):
continue
if c["sso"] in ("нет", "—", ""):
no_sso.append(c)
if c["backup"] in ("нет", "—", ""):
no_backup.append(c)
if c["domain"] not in ("—", ""):
base = c["domain"].split(".")[0]
if base not in mon_text and c["name"] not in mon_text:
no_mon.append(c)
if c["domain"] in ("—", ""):
no_domain.append(c)
critical = [c for c in cards if c["criticality"] == "high"]
critical_gaps = [c for c in critical
if c["backup"] in ("нет", "—", "") or c["sso"] in ("нет", "—", "")]
lines = [
"# Дыры в структуре",
"",
f"Сервисов в карточках: **{len(cards)}** · критичных: **{len(critical)}**",
"",
"## Сводка",
"",
"| Проблема | Сервисов |",
"|---|---|",
f"| Нет SSO | {len(no_sso)} |",
f"| Нет бэкапа | {len(no_backup)} |",
f"| Нет мониторинга | {len(no_mon)} |",
f"| Нет домена | {len(no_domain)} |",
f"| Критичные с дырами | {len(critical_gaps)} |",
"",
]
def table(title, items, why):
lines.append(f"## {title} ({len(items)})")
lines.append("")
lines.append(why)
lines.append("")
lines.append("| Сервис | Группа | Критичность |")
lines.append("|---|---|---|")
for c in sorted(items, key=lambda x: (x["criticality"] != "high", x["name"]))[:40]:
lines.append(f"| {c['name']} | {c['group']} | {c['criticality']} |")
lines.append("")
table("Нет SSO", no_sso, "Доступ по локальному паролю — выпадают из единого входа.")
table("Нет бэкапа", no_backup, "Данные можно потерять безвозвратно.")
table("Нет мониторинга", no_mon, "О падении узнаем случайно.")
table("Критичные с дырами", critical_gaps,
"Сначала закрываем эти: падение или потеря данных критичны.")
lines.append("## Что делать")
lines.append("")
lines.append("1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`.")
lines.append("2. Критичные без SSO — завести oauth2-proxy или нативный OIDC.")
lines.append("3. Без мониторинга — добавить HTTP-монитор в Kuma.")
lines.append("4. Остальное — по мере роста.")
lines.append("")
open(OUT, "w", encoding="utf-8").write("\n".join(lines))
print(f"карточек: {len(cards)}")
print(f"без SSO: {len(no_sso)} | без бэкапа: {len(no_backup)} | "
f"без мониторинга: {len(no_mon)} | критичных с дырами: {len(critical_gaps)}")
for c in critical_gaps[:8]:
print(f" ! {c['name']} ({c['group']}): "
f"sso={c['sso']}, backup={c['backup']}")
if __name__ == "__main__":
main()