From d47a8c5bba4eaec506b9e64c243ca57cbe4e56a3 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Wed, 21 Oct 2026 13:28:43 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9E=D1=82=D1=87=D1=91=D1=82=20=D0=BE=20?= =?UTF-8?q?=D0=B4=D1=8B=D1=80=D0=B0=D1=85=20=D0=B8=20=D0=B5=D0=B6=D0=B5?= =?UTF-8?q?=D0=B4=D0=BD=D0=B5=D0=B2=D0=BD=D1=8B=D0=B9=20=D0=B1=D1=8D=D0=BA?= =?UTF-8?q?=D0=B0=D0=BF=20=D0=BA=D0=BE=D0=BD=D1=84=D0=B8=D0=B3=D1=83=D1=80?= =?UTF-8?q?=D0=B0=D1=86=D0=B8=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Отчёт Gaps.md: без SSO 27 сервисов, без бэкапа 39, без мониторинга 7, критичных с дырами 4 (homeassistant, prometheus, gitea, mosquitto). Бэкап конфигов: /usr/local/bin/backup-configs + cron 03:45, архив в /mnt/backups/configs, хранение 30 дней. Собирает bind-монтирования контейнеров и конфиги в /opt; данные (медиа, фото, БД) не дублируются. Ограничение: конфиги сервисов, чьи данные лежат внутри CT, попадают только при наличии bind-mount на хост — расширение через pct exec в следующем шаге. --- ops/backup/backup_configs.py | 109 ++++++++++++++++++++++++++++++ ops/product/WHATS-NEW.md | 8 +++ ops/services/GAPS.md | 125 +++++++++++++++++++++++++++++++++++ ops/services/gaps.py | 121 +++++++++++++++++++++++++++++++++ 4 files changed, 363 insertions(+) create mode 100644 ops/backup/backup_configs.py create mode 100644 ops/services/GAPS.md create mode 100644 ops/services/gaps.py diff --git a/ops/backup/backup_configs.py b/ops/backup/backup_configs.py new file mode 100644 index 0000000..6886bfb --- /dev/null +++ b/ops/backup/backup_configs.py @@ -0,0 +1,109 @@ +#!/usr/bin/env python3 +"""Бэкап конфигураций: собирает bind-монтирования контейнеров (без данных).""" +import os +import subprocess +import tarfile +import time + +DEST = "/mnt/backups/configs" +SKIP = ("/mnt/media", "/data", "/music", "/photos", "/downloads", "/library", + "/calibre-library", "/cwa-book-ingest") +MAX_FILE = 20 * 1024 * 1024 + + +def sh(cmd, timeout=60): + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + + +def containers(): + out = [] + for line in sh("pct list | tail -n +2").splitlines(): + parts = line.split() + if len(parts) < 3: + continue + ct = parts[0] + names = sh(f"pct exec {ct} -- docker ps --format '{{{{.Names}}}}'").split() + for n in names: + out.append((ct, n)) + for n in sh("docker ps --format '{{.Names}}'").split(): + out.append(("0", n)) + return out + + +def mounts(ct, name): + if ct == "0": + cmd = f"docker inspect {name} --format '{{{{json .Mounts}}}}'" + else: + cmd = f"pct exec {ct} -- docker inspect {name} --format '{{{{json .Mounts}}}}'" + raw = sh(cmd) + import json + try: + return json.loads(raw or "[]") + except Exception: + return [] + + +def add_dir(tar, src, arc): + if not os.path.isdir(src): + return 0 + if any(src.startswith(p) for p in SKIP): + return 0 + n = 0 + for root, dirs, files in os.walk(src): + dirs[:] = [d for d in dirs if not d.startswith(".")][:20] + for f in files[:200]: + p = os.path.join(root, f) + try: + if os.path.getsize(p) > MAX_FILE: + continue + rel = os.path.relpath(p, src) + tar.add(p, arcname=os.path.join(arc, rel)) + n += 1 + except Exception: + continue + if n > 800: + break + return n + + +def main(): + os.makedirs(DEST, exist_ok=True) + stamp = time.strftime("%Y%m%d-%H%M") + path = os.path.join(DEST, f"configs-{stamp}.tar.gz") + total, count = 0, 0 + import glob + with tarfile.open(path, "w:gz") as tar: + seen = set() + for ct, name in containers(): + for m in mounts(ct, name): + src = m.get("Source") or "" + if not src.startswith("/opt") or src in seen: + continue + seen.add(src) + n = add_dir(tar, src, os.path.join(name, src.strip("/").replace("/", "_"))) + if n: + count += 1 + total += n + # конфиги CT-сервисов лежат на хосте в /opt/<...>/<сервис>/config + for src in (glob.glob("/opt/*/config") + glob.glob("/opt/*/*/config") + + glob.glob("/opt/*/conf") + glob.glob("/opt/*/*/conf")): + if src in seen or not os.path.isdir(src): + continue + seen.add(src) + n = add_dir(tar, src, src.strip("/").replace("/", "_")) + if n: + count += 1 + total += n + size = os.path.getsize(path) + # ротация + for f in sorted(os.listdir(DEST)): + full = os.path.join(DEST, f) + if f.startswith("configs-") and os.path.getmtime(full) < time.time() - 30 * 86400: + os.remove(full) + print(f"{time.strftime('%Y-%m-%dT%H:%M:%S')} configs: dirs={count} files={total} " + f"size={size} -> {path}") + + +if __name__ == "__main__": + main() diff --git a/ops/product/WHATS-NEW.md b/ops/product/WHATS-NEW.md index 789a88b..b38e7c9 100644 --- a/ops/product/WHATS-NEW.md +++ b/ops/product/WHATS-NEW.md @@ -38,3 +38,11 @@ Медиатор (медиа), Библиотекарь (знания), Автомат (автоматизация), Страж (наблюдаемость) и Голова. Пока они только смотрят и предлагают — ничего не меняют без разрешения. Отчёт приходит, только если есть проблема. + +## 2026-10-21 — Бэкап настроек и отчёт о дырах + +Теперь ежедневно в 03:45 сохраняются конфигурации сервисов (не только базы): +`/mnt/backups/configs/`, хранение 30 дней. + +И появился отчёт «дыры в структуре»: у каких сервисов нет единого входа, +бэкапа или мониторинга. Видно, что закрывать первым. diff --git a/ops/services/GAPS.md b/ops/services/GAPS.md new file mode 100644 index 0000000..1ddaf0d --- /dev/null +++ b/ops/services/GAPS.md @@ -0,0 +1,125 @@ +# Дыры в структуре + +Сервисов в карточках: **83** · критичных: **9** + +## Сводка + +| Проблема | Сервисов | +|---|---| +| Нет SSO | 27 | +| Нет бэкапа | 39 | +| Нет мониторинга | 7 | +| Нет домена | 11 | +| Критичные с дырами | 4 | + +## Нет SSO (27) + +Доступ по локальному паролю — выпадают из единого входа. + +| Сервис | Группа | Критичность | +|---|---|---| +| gitea | Знания | high | +| homeassistant | Дом | high | +| mosquitto | Дом | high | +| prometheus | Наблюдаемость | high | +| adguard | Дом | normal | +| alertmanager | Наблюдаемость | normal | +| book-bot | Медиа | normal | +| duplicati | Знания | normal | +| firefly | Знания | normal | +| frigate | Дом | normal | +| grafana | Наблюдаемость | normal | +| immich_database | Медиа | normal | +| immich_machine_learning | Медиа | normal | +| jackett | Медиа | normal | +| jellyfin | Медиа | normal | +| lidarr | Медиа | normal | +| loki | Наблюдаемость | normal | +| mealie | Знания | normal | +| nextcloud | Знания | normal | +| node_red | Автоматизация | normal | +| paperless_redis | Знания | normal | +| plex | Медиа | normal | +| seerr | Медиа | normal | +| syncthing | Знания | normal | +| tg-admin-bot | Автоматизация | normal | +| uptime_kuma | Наблюдаемость | normal | +| zigbee2mqtt | Дом | normal | + +## Нет бэкапа (39) + +Данные можно потерять безвозвратно. + +| Сервис | Группа | Критичность | +|---|---|---| +| gitea | Знания | high | +| homeassistant | Дом | high | +| mosquitto | Дом | high | +| prometheus | Наблюдаемость | high | +| adguard | Дом | normal | +| alertmanager | Наблюдаемость | normal | +| bazarr | Медиа | normal | +| book-bot | Медиа | normal | +| calibre-web | Медиа | normal | +| catalog | Медиа | normal | +| dashy | Автоматизация | normal | +| duplicati | Знания | normal | +| firefly | Знания | normal | +| freshrss | Знания | normal | +| frigate | Дом | normal | +| grafana | Наблюдаемость | normal | +| immich_database | Медиа | normal | +| immich_machine_learning | Медиа | normal | +| jackett | Медиа | normal | +| jellyfin | Медиа | normal | +| lidarr | Медиа | normal | +| linkding | Знания | normal | +| loki | Наблюдаемость | normal | +| mealie | Знания | normal | +| navidrome | Медиа | normal | +| nextcloud | Знания | normal | +| node_red | Автоматизация | normal | +| openclaw | Автоматизация | normal | +| paperless | Знания | normal | +| paperless_redis | Знания | normal | +| plex | Медиа | normal | +| prowlarr | Медиа | normal | +| radarr | Медиа | normal | +| seerr | Медиа | normal | +| sonarr | Медиа | normal | +| syncthing | Знания | normal | +| tautulli | Медиа | normal | +| uptime_kuma | Наблюдаемость | normal | +| zigbee2mqtt | Дом | normal | + +## Нет мониторинга (7) + +О падении узнаем случайно. + +| Сервис | Группа | Критичность | +|---|---|---| +| book-bot | Медиа | normal | +| catalog | Медиа | normal | +| frigate | Дом | normal | +| immich_database | Медиа | normal | +| immich_machine_learning | Медиа | normal | +| jackett | Медиа | normal | +| node_red | Автоматизация | normal | + +## Критичные с дырами (4) + +Сначала закрываем эти: падение или потеря данных критичны. + +| Сервис | Группа | Критичность | +|---|---|---| +| gitea | Знания | high | +| homeassistant | Дом | high | +| mosquitto | Дом | high | +| prometheus | Наблюдаемость | high | + +## Что делать + +1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`. +2. Критичные без SSO — завести oauth2-proxy или нативный OIDC. +3. Без мониторинга — добавить HTTP-монитор в Kuma. +4. Остальное — по мере роста. diff --git a/ops/services/gaps.py b/ops/services/gaps.py new file mode 100644 index 0000000..bf58659 --- /dev/null +++ b/ops/services/gaps.py @@ -0,0 +1,121 @@ +#!/usr/bin/env python3 +"""Отчёт о дырах в структуре: SSO, бэкап, мониторинг, владелец.""" +import glob +import os +import re +import sqlite3 +import subprocess + +CARDS = "/root/wiki/cards" +OUT = "/root/wiki/Gaps.md" +KUMA_DB = "/opt/network-lxc/uptime/data/kuma.db" + + +def sh(cmd, timeout=60): + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + + +def parse_card(path): + text = open(path, encoding="utf-8").read() + name = os.path.basename(path)[:-3] + def field(label): + m = re.search(rf"\|\s*{label}\s*\|\s*(.+?)\s*\|", text) + return m.group(1).strip() if m else "" + return { + "name": name, + "group": field("Группа"), + "criticality": field("Критичность"), + "domain": field("Домен"), + "sso": field("SSO"), + "backup": field("Бэкап"), + "deps": field("Зависимости"), + } + + +def kuma_monitors(): + try: + raw = sh(f"pct exec 107 -- sqlite3 {KUMA_DB} " + "\"select name,hostname from monitor where active=1;\"") + except Exception: + return [] + return [line.split("|") for line in raw.splitlines() if "|" in line] + + +def main(): + cards = [parse_card(p) for p in glob.glob(os.path.join(CARDS, "*.md"))] + monitors = kuma_monitors() + mon_text = " ".join(f"{n} {h}" for n, h in monitors).lower() + + no_sso, no_backup, no_mon, no_domain = [], [], [], [] + for c in cards: + if c["group"] in ("Служебные", "Прочее"): + continue + if c["sso"] in ("нет", "—", ""): + no_sso.append(c) + if c["backup"] in ("нет", "—", ""): + no_backup.append(c) + if c["domain"] not in ("—", ""): + base = c["domain"].split(".")[0] + if base not in mon_text and c["name"] not in mon_text: + no_mon.append(c) + if c["domain"] in ("—", ""): + no_domain.append(c) + + critical = [c for c in cards if c["criticality"] == "high"] + critical_gaps = [c for c in critical + if c["backup"] in ("нет", "—", "") or c["sso"] in ("нет", "—", "")] + + lines = [ + "# Дыры в структуре", + "", + f"Сервисов в карточках: **{len(cards)}** · критичных: **{len(critical)}**", + "", + "## Сводка", + "", + "| Проблема | Сервисов |", + "|---|---|", + f"| Нет SSO | {len(no_sso)} |", + f"| Нет бэкапа | {len(no_backup)} |", + f"| Нет мониторинга | {len(no_mon)} |", + f"| Нет домена | {len(no_domain)} |", + f"| Критичные с дырами | {len(critical_gaps)} |", + "", + ] + + def table(title, items, why): + lines.append(f"## {title} ({len(items)})") + lines.append("") + lines.append(why) + lines.append("") + lines.append("| Сервис | Группа | Критичность |") + lines.append("|---|---|---|") + for c in sorted(items, key=lambda x: (x["criticality"] != "high", x["name"]))[:40]: + lines.append(f"| {c['name']} | {c['group']} | {c['criticality']} |") + lines.append("") + + table("Нет SSO", no_sso, "Доступ по локальному паролю — выпадают из единого входа.") + table("Нет бэкапа", no_backup, "Данные можно потерять безвозвратно.") + table("Нет мониторинга", no_mon, "О падении узнаем случайно.") + table("Критичные с дырами", critical_gaps, + "Сначала закрываем эти: падение или потеря данных критичны.") + + lines.append("## Что делать") + lines.append("") + lines.append("1. Критичные без бэкапа — добавить в `/usr/local/bin/backup-configs`.") + lines.append("2. Критичные без SSO — завести oauth2-proxy или нативный OIDC.") + lines.append("3. Без мониторинга — добавить HTTP-монитор в Kuma.") + lines.append("4. Остальное — по мере роста.") + lines.append("") + + open(OUT, "w", encoding="utf-8").write("\n".join(lines)) + print(f"карточек: {len(cards)}") + print(f"без SSO: {len(no_sso)} | без бэкапа: {len(no_backup)} | " + f"без мониторинга: {len(no_mon)} | критичных с дырами: {len(critical_gaps)}") + for c in critical_gaps[:8]: + print(f" ! {c['name']} ({c['group']}): " + f"sso={c['sso']}, backup={c['backup']}") + + +if __name__ == "__main__": + main()