From 2ec0b721fdfe99e889cf6548cdd51c7a4a7a0021 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Tue, 20 Oct 2026 21:42:21 +0300 Subject: [PATCH] =?UTF-8?q?=D0=92=D0=BE=D1=81=D1=81=D1=82=D0=B0=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D1=8B=2015=20=D1=81=D1=86=D0=B5?= =?UTF-8?q?=D0=BD=D0=B0=D1=80=D0=B8=D0=B5=D0=B2=20n8n=20=D0=B8=20=D0=B4?= =?UTF-8?q?=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=20=D0=B5=D0=B3=D0=BE?= =?UTF-8?q?=20=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit n8n не был в бэкапах — поэтому после переезда на SQLite сценарии пропали. Нашлись дампы retired-инсталляций (3 шт., Postgres). Восстановил их во временные БД на CT 151 и вытащил 15 уникальных workflows, импортировал в текущий n8n (docker exec n8n n8n import:workflow). Credentials не переносятся: зашифрованы старым N8N_ENCRYPTION_KEY. Добавлен /usr/local/bin/backup-n8n + cron 03:30: копирует SQLite с WAL и логи, пакует в /mnt/backups/n8n, хранит 14 дней. Первый архив проверен. Nextcloud: calendar 6.6.2 и contacts 8.9.1 установлены через egress-прокси (occ app:install с https_proxy). Ловушки: psql -A -t переносит строки (нужен copy to stdout); Postgres base64 вставляет \n каждые 76 символов (нужен replace). --- ops/backup/BACKUPS.md | 72 +++++++++++++++++++++++++++++++++++++ ops/backup/backup-n8n | 21 +++++++++++ ops/n8n/export_workflows.py | 60 +++++++++++++++++++++++++++++++ 3 files changed, 153 insertions(+) create mode 100644 ops/backup/BACKUPS.md create mode 100755 ops/backup/backup-n8n create mode 100644 ops/n8n/export_workflows.py diff --git a/ops/backup/BACKUPS.md b/ops/backup/BACKUPS.md new file mode 100644 index 0000000..e773d29 --- /dev/null +++ b/ops/backup/BACKUPS.md @@ -0,0 +1,72 @@ +# Бэкапы: аудит и восстановление n8n + +## Что было + +| Что | Где | Свежесть | +|---|---|---| +| hub_core (Postgres) | `/mnt/backups/hub-core/*.sql.gz` | ежедневно, 02:30 | +| Вся Postgres | `/mnt/backups/postgresql/pg_dump_all_*.sql.gz` | ежедневно, 02:00 | +| Matrix | `/root/matrix-backups/pg/*.sql.gz` | ежедневно, 03:00 | +| Боты | `/mnt/backups/hub-bots/` | ежедневно | +| LXC | cron `lxc-backups`, `vzdump` | по расписанию | +| **n8n** | — | **НЕ БЫЛО** | + +Всего 29 SQL-дампов. Самые свежие — 20.10.2026. + +## Почему n8n был пуст + +n8n переехал на SQLite (`/home/node/.n8n/database.sqlite`), а **бэкап его не +покрывал**. Старые сценарии остались только в дампах retired-инсталляций: + +``` +/mnt/backups/retired/20261014_194539-n8n/n8n.sql.gz (3 МБ, 7 сценариев) +/mnt/backups/retired/20261014_194525-n8n_central/n8n_central.sql.gz (10 сценариев) +/mnt/backups/retired/20261014_194510-n8n_prod/n8n_prod.sql.gz (3 сценария) +``` + +## Что восстановлено + +Восстановил дампы в отдельные БД на CT 151, вытащил workflows и импортировал +в текущий n8n. **15 уникальных сценариев**: + +| Сценарий | Нод | +|---|---| +| Alert Queue Processor | 12 | +| Buryan Health Monitor | 7 | +| Uptime Kuma → Gitea Self-Healing | 6 | +| Gitea Task Dispatcher | 5 | +| Prometheus/Grafana Alert Webhook | 4 | +| F6-2: Self-Service Registration | 8 | +| F6-3: Version Watch Handler | 4 | +| Buryan Health Intake | 4 | +| Duplicati Backup Failed Alert | 4 | +| Agent Swarm → Telegram Relay | 0 | +| Agent Swarm -> Telegram (FIXED MAPPING) | 2 | +| My workflow 1–4 | 2–4 | + +Проверка: `docker exec n8n n8n list:workflow` — 15 записей. + +### Что не переносится + +**Credentials.** 2 старых кредентала зашифрованы старым +`N8N_ENCRYPTION_KEY` — их не восстановить. Сценарии, где они используются, +покажут «credential not found». Нужно заново ввести доступы в n8n. + +## Что добавлено + +`/usr/local/bin/backup-n8n` + cron `30 3 * * *`: + +* копирует `database.sqlite` (+ WAL/SHM) и логи; +* пакует в `/mnt/backups/n8n/n8n-YYYYmmdd-HHMMSS.tar.gz`; +* хранит 14 дней, старое удаляет. + +Первый архив: 427 КБ, проверен (`tar tzf` — файлы на месте). + +## Как это искали (ловушки) + +1. `psql` в CT через `pct exec` с вложенными кавычками — ломается; на хосте + `psql` уже есть, проще звать напрямую. +2. `-A -t` **всё равно переносит** длинные строки — нужен `copy (...) to + stdout`. +3. Postgres `encode(...,'base64')` **вставляет переводы строк** каждые 76 + символов — обязателен `replace(..., chr(10), '')`. diff --git a/ops/backup/backup-n8n b/ops/backup/backup-n8n new file mode 100755 index 0000000..e90380f --- /dev/null +++ b/ops/backup/backup-n8n @@ -0,0 +1,21 @@ +#!/bin/bash +# Резервная копия n8n (SQLite). Кладёт cp БД и WAL, сжимает, чистит старое. +set -uo pipefail +DEST=/mnt/backups/n8n +mkdir -p "$DEST" +STAMP=$(date +%Y%m%d-%H%M%S) +TMP=$(mktemp -d) + +docker cp n8n:/home/node/.n8n/database.sqlite "$TMP/database.sqlite" 2>/dev/null +docker cp n8n:/home/node/.n8n/database.sqlite-wal "$TMP/database.sqlite-wal" 2>/dev/null || true +docker cp n8n:/home/node/.n8n/database.sqlite-shm "$TMP/database.sqlite-shm" 2>/dev/null || true +cp /opt/buryan-hub/data/n8n/*.log "$TMP/" 2>/dev/null || true + +tar czf "$DEST/n8n-$STAMP.tar.gz" -C "$TMP" . 2>/dev/null +SIZE=$(stat -c%s "$DEST/n8n-$STAMP.tar.gz" 2>/dev/null || echo 0) +rm -rf "$TMP" + +# чистим старше 14 дней +find "$DEST" -name 'n8n-*.tar.gz' -mtime +14 -delete 2>/dev/null + +echo "$(date -Is) n8n backup $SIZE bytes -> $DEST/n8n-$STAMP.tar.gz" diff --git a/ops/n8n/export_workflows.py b/ops/n8n/export_workflows.py new file mode 100644 index 0000000..456a0b1 --- /dev/null +++ b/ops/n8n/export_workflows.py @@ -0,0 +1,60 @@ +import base64 +import json +import os +import re +import subprocess + +PW = "Buryan20261016mrAzbQ5SWdxwYg" +OUT = "/tmp/n8n_import" +os.makedirs(OUT, exist_ok=True) +DBS = ["n8n_big", "n8n_restore", "n8n_tmp"] + +SQL = ("copy (select replace(encode(convert_to(json_build_object(" + "'name',name,'nodes',nodes,'connections',connections,'settings',settings" + ")::text,'UTF8'),'base64'), chr(10), '') from workflow_entity) to stdout;") + + +def dump(db): + env = dict(os.environ, PGPASSWORD=PW) + r = subprocess.run(["psql", "-h", "192.168.1.151", "-U", "postgres", "-d", db, "-c", SQL], + capture_output=True, text=True, timeout=180, env=env) + if r.returncode != 0: + print(" ошибка", db, r.stderr[:150]) + return [ln.strip() for ln in r.stdout.splitlines() if len(ln.strip()) > 40] + + +seen = set() +total = 0 +for db in DBS: + rows = dump(db) + print(f" {db}: {len(rows)}") + for line in rows: + try: + row = json.loads(base64.b64decode(line).decode("utf-8")) + except Exception as e: + print(" decode:", str(e)[:80]) + continue + name = (row.get("name") or "workflow").strip() + if name in seen: + continue + seen.add(name) + + def parse(v): + if isinstance(v, str): + try: + return json.loads(v) + except Exception: + return {} + return v or {} + + wf = {"name": name, "nodes": parse(row.get("nodes")) or [], + "connections": parse(row.get("connections")) or {}, + "settings": parse(row.get("settings")) or {}, + "staticData": None, "pinData": {}, "active": False} + slug = re.sub(r"[^a-zA-Z0-9]+", "_", name)[:40].strip("_").lower() or f"wf{total}" + with open(f"{OUT}/{slug}.json", "w", encoding="utf-8") as f: + json.dump(wf, f, ensure_ascii=False) + total += 1 + print(f" {name} ({len(wf['nodes'])} нод)") + +print("итого уникальных:", total)