From 072591373be9284c2a5e726b768cc9d79e78a802 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sun, 18 Oct 2026 14:18:36 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=B1=D1=89=D0=B8=D0=B5=20=D0=B1=D0=B0?= =?UTF-8?q?=D0=B7=D1=8B:=20=D0=B8=D0=BD=D0=B2=D0=B5=D0=BD=D1=82=D0=B0?= =?UTF-8?q?=D1=80=D0=B8=D0=B7=D0=B0=D1=86=D0=B8=D1=8F=20=D0=B8=20=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=B2=D0=BE=D0=B4=20Paperless=20=D0=BD=D0=B0?= =?UTF-8?q?=20=D0=BE=D0=B1=D1=89=D0=B8=D0=B9=20PostgreSQL?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL (authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud, vaultwarden, grafana, firefly, mealie, headscale). ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён копией, создана база paperless_main на общем сервере, приложение создало структуру (75 таблиц), работает. Было безопасно: документов ноль — переносить данные не требовалось. ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос требует работы с данными: * uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL; * navidrome — есть плейлисты и история прослушиваний; * linkding — закладки. Переносить их «на живую» без проверки опасно: можно потерять данные. Записано задачами 5.5 и 5.13 с планом. ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то том», единые права, возможность поднять службу на другом узле. --- docs/DATABASES-SHARED.md | 69 ++++++++++++++++++++ docs/TASKS.md | 11 ++-- ops/databases/inventory.sh | 58 +++++++++++++++++ ops/databases/paperless-to-postgres.sh | 87 ++++++++++++++++++++++++++ 4 files changed, 221 insertions(+), 4 deletions(-) create mode 100644 docs/DATABASES-SHARED.md create mode 100755 ops/databases/inventory.sh create mode 100755 ops/databases/paperless-to-postgres.sh diff --git a/docs/DATABASES-SHARED.md b/docs/DATABASES-SHARED.md new file mode 100644 index 0000000..0ac8f2b --- /dev/null +++ b/docs/DATABASES-SHARED.md @@ -0,0 +1,69 @@ +# Общие базы: состояние и план (18.10.2026) + +Владелец: «базы делаем общие». Провёл инвентаризацию — картина лучше, +чем ожидалось. + +## Уже на общем PostgreSQL (192.168.1.151) + +| Служба | База | +|---|---| +| Authentik | `authentik_db` (UTF8) | +| Matrix (Synapse) | `matrix_db` | +| Мост Telegram | `matrix_telegram_db` | +| Gitea | `gitea_db` | +| n8n | `n8n` | +| Grafana | `grafana_db` | +| Immich | `immich_db` | +| Nextcloud | `nextcloud_db` | +| Vaultwarden | `vaultwarden_db` | +| Firefly | `firefly_db` | +| Mealie | `mealie_db` | +| Headscale | `headscale` | +| Sonarr / Radarr / Prowlarr / Bazarr | `*_db` + журналы | +| **Paperless** | **`paperless_main` — переведён сегодня** | + +## Переведено сегодня: Paperless + +Был SQLite-файл `db.sqlite3` (2,4 МБ). Переведён на общий PostgreSQL: + +1. остановлен, SQLite сохранён копией (`/root/paperless-sqlite-backup.db`); +2. создана база `paperless_main` на общем сервере; +3. в compose прописано подключение; +4. приложение само создало структуру — **75 таблиц**; +5. работает: контейнер `running`, домен отвечает. + +Было безопасно: документов ноль, переносить данные не требовалось. + +## Осталось на SQLite + +| Служба | Файл | Почему не переведено сразу | +|---|---|---| +| `uptime-kuma` | `kuma.db` | у него **нет** штатного переноса данных из SQLite в PostgreSQL; нужен ручной перенос таблиц | +| `navidrome` | `navidrome.db` | есть данные (пользователи, плейлисты, история) — нужен перенос и проверка | +| `linkding` | SQLite | закладки — есть данные, нужен перенос | + +Эти три — не «забытые», а те, где перенос требует работы с данными. Делать +их «на живую» без проверки опасно: можно потерять закладки и историю +прослушиваний. + +## Почему это важно + +Общий PostgreSQL означает: +* **один бэкап** на все базы вместо «где-то файл, где-то том»; +* единые права доступа и учёт; +* возможность поднять любую службу на другом узле. + +## План по остальным трём + +1. **Uptime-kuma** — экспорт таблиц в CSV/SQL и импорт в PostgreSQL + вручную, либо замена на мониторинг на Prometheus (он уже есть). +2. **Navidrome** — `navidrome` умеет работать с PostgreSQL; перенос: + остановить, дамп SQLite, залить в PostgreSQL, проверить плейлисты. +3. **Linkding** — то же: дамп SQLite → PostgreSQL. + +Каждый из трёх делать отдельным окном с проверкой, что данные на месте. + +## Что уже покрыто резервными копиями + +Файловые SQLite-базы попадают в копии контейнеров (Duplicati/Restic). +Общий PostgreSQL копируется через `pg_dump` всех баз. diff --git a/docs/TASKS.md b/docs/TASKS.md index 2b8ca46..971aaa0 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -35,10 +35,10 @@ | СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** | | ЗВОНКИ И МЕДИА | 6 | 4 | 0 | **2** | | СКВОЗНАЯ СВЯЗНОСТЬ | 13 | 5 | 3 | **5** | -| УЛУЧШЕНИЕ СЛУЖБ | 11 | 5 | 0 | **6** | +| УЛУЧШЕНИЕ СЛУЖБ | 13 | 7 | 0 | **6** | | VPN (этапы 1–4) | 29 | 21 | 3 | **5** | | РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** | -| **ИТОГО** | **97** | **66** | **7** | **24** | +| **ИТОГО** | **99** | **68** | **7** | **24** | --- @@ -66,6 +66,7 @@ + ## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ @@ -138,8 +139,10 @@ | 5.2 | `headscale` дома — определить назначение (координацию держит VPS) | ⬜ | | 5.3 | `paperless` — один экземпляр | ✅ оставлен CT 105; в обоих 0 документов — служба не используется | | 5.11 | Убрать отключённый paperless из наблюдения и реестра | ✅ 59 проверок, 47 служб | -| 5.4 | `immich` — свести базу в общий PostgreSQL | ⬜ | -| 5.5 | `uptime-kuma` — перевести на PostgreSQL или заменить | ⬜ | +| 5.4 | `immich` в общий PostgreSQL | ✅ уже там (`immich_db`) | +| 5.12 | Paperless переведён на общий PostgreSQL | ✅ `paperless_main`, 75 таблиц | +| 5.13 | Navidrome и Linkding на общий PostgreSQL | ⬜ нужен перенос данных | +| 5.5 | `uptime-kuma` на PostgreSQL | ⬜ нет штатного переноса, нужен ручной | | 5.6 | Запись в базы медиаслужб | ✅ 0 ошибок; диски 80% → 70% | | 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ | | 5.8 | `dashy` — стартовая страница со ссылками на всё | ✅ 34 службы в 9 разделах, собирается из реестра | diff --git a/ops/databases/inventory.sh b/ops/databases/inventory.sh new file mode 100755 index 0000000..5aad221 --- /dev/null +++ b/ops/databases/inventory.sh @@ -0,0 +1,58 @@ +#!/bin/bash +# ============================================================ +# db-inventory.sh — у кого какая база +# ============================================================ +# ЦЕЛЬ владельца: «базы делаем общие». Значит все службы должны жить в +# общем PostgreSQL на 192.168.1.151, а не в своих SQLite-файлах. +# Сначала смотрю, кто где. +# ============================================================ +set -uo pipefail + +echo "=== БАЗЫ НА ОБЩЕМ POSTGRES (192.168.1.151) ===" +pct exec 151 -- bash -c 'su - postgres -c "psql -tAc \"select datname from pg_database where datistemplate=false and datname not like '"'"'%pre_utf8%'"'"' and datname not like '"'"'%ascii%'"'"' order by 1;\"" 2>/dev/null' | sed 's/^/ /' + +echo +echo "=== СЛУЖБЫ: ГДЕ БАЗА ===" +printf ' %-18s %-8s %s\n' "служба" "CT" "база" +echo " ----------------------------------------------------------" + +check() { + local ct=$1 name=$2 + local cfg=$(pct exec $ct -- bash -c "grep -hE 'DBHOST|DB_HOST|POSTGRES|_DB_HOST|DBTYPE|DB_TYPE' /opt/*/docker-compose.yml /opt/*/*/docker-compose.yml 2>/dev/null | grep -v '^\s*#' | head -3" 2>/dev/null | tr -d '\r') + local sqlite=$(pct exec $ct -- bash -c 'find /opt -maxdepth 4 -name "*.db" -o -maxdepth 4 -name "*.sqlite*" 2>/dev/null | grep -v node_modules | head -2' 2>/dev/null | tr -d '\r') + + if echo "$cfg" | grep -q "192.168.1.151"; then + printf ' %-18s %-8s %s\n' "$name" "$ct" "ОБЩИЙ Postgres" + elif echo "$cfg" | grep -qiE "postgres|pg"; then + printf ' %-18s %-8s %s\n' "$name" "$ct" "свой Postgres (в контейнере)" + elif [ -n "$sqlite" ]; then + printf ' %-18s %-8s %s\n' "$name" "$ct" "SQLite: $(echo "$sqlite" | head -1 | sed 's|.*/||')" + else + printf ' %-18s %-8s %s\n' "$name" "$ct" "не определено" + fi +} + +check 104 "immich" +check 107 "uptime-kuma" +check 105 "paperless" +check 127 "linkding" +check 125 "navidrome" +check 102 "dashy" +check 201 "headscale" +check 110 "mealie" +check 110 "firefly" +check 109 "nextcloud" +check 109 "vaultwarden" +check 113 "grafana" +check 155 "matrix" +check 155 "mautrix-telegram" +check 108 "n8n" +check 140 "gitea" + +echo +echo "=== IMMICH: ЧТО В КОНФИГЕ ===" +pct exec 104 -- bash -c 'grep -hE "DB_|POSTGRES" /opt/*/docker-compose.yml 2>/dev/null | head -10' | sed 's/^/ /' + +echo +echo "=== UPTIME-KUMA: ЧТО В КОНФИГЕ ===" +pct exec 107 -- bash -c 'grep -hE "UPTIME_KUMA|DB_|volumes" -A2 /opt/network-lxc/docker-compose.yml 2>/dev/null | head -12' | sed 's/^/ /' diff --git a/ops/databases/paperless-to-postgres.sh b/ops/databases/paperless-to-postgres.sh new file mode 100755 index 0000000..6c7fcfe --- /dev/null +++ b/ops/databases/paperless-to-postgres.sh @@ -0,0 +1,87 @@ +#!/bin/bash +# ============================================================ +# paperless-to-pg.sh — paperless на общий PostgreSQL +# ============================================================ +# ПОЧЕМУ ЭТО БЕЗОПАСНО: в paperless НОЛЬ документов (проверено). Значит +# переносить данные нечего — достаточно переключить хранилище и дать +# приложению создать схему заново. +# +# ЧТО ДЕЛАЮ: +# 1. останавливаю paperless; +# 2. сохраняю SQLite-файл (на случай, если понадобится); +# 3. создаю отдельную базу на общем PostgreSQL; +# 4. прописываю подключение в compose; +# 5. запускаю — приложение само создаёт структуру; +# 6. проверяю. +# ============================================================ +set -uo pipefail +CT=105 +DB=paperless_main +USER=paperless_user + +echo "=== 1. СОСТОЯНИЕ ДО ===" +pct exec $CT -- docker ps --format ' {{.Names}} | {{.Status}}' 2>/dev/null | grep paperless +echo " --- размер SQLite ---" +pct exec $CT -- bash -c 'du -h /opt/sync-lxc/paperless/data/db.sqlite3 2>/dev/null' | sed 's/^/ /' + +echo +echo "=== 2. ОСТАНАВЛИВАЮ ===" +pct exec $CT -- bash -c 'cd /opt/sync-lxc && docker compose stop paperless 2>&1 | tail -2' | sed 's/^/ /' + +echo +echo "=== 3. СОХРАНЯЮ SQLITE ===" +pct exec $CT -- bash -c 'cp -p /opt/sync-lxc/paperless/data/db.sqlite3 /root/paperless-sqlite-backup.db 2>/dev/null && ls -la /root/paperless-sqlite-backup.db | sed "s/^/ /"' + +echo +echo "=== 4. СОЗДАЮ БАЗУ НА ОБЩЕМ POSTGRES ===" +# пароль пользователя беру из уже существующей базы paperless +PW=$(pct exec 110 -- bash -c 'grep -h "PAPERLESS_DBPASS" /opt/lifestyle-lxc/docker-compose.yml 2>/dev/null | head -1 | cut -d= -f2' | tr -d '\r ') +echo " пароль взят из существующей конфигурации: ${PW:0:4}..." + +pct exec 151 -- bash -c "su - postgres -c \"psql -tAc \\\"select 1 from pg_database where datname='$DB';\\\"\"" 2>/dev/null | grep -q 1 && echo " база уже есть" || { + pct exec 151 -- bash -c "su - postgres -c \"psql -c 'CREATE DATABASE $DB OWNER $USER;' 2>&1 | tail -1\"" | sed 's/^/ /' +} + +echo +echo "=== 5. ПРОПИСЫВАЮ ПОДКЛЮЧЕНИЕ ===" +pct exec $CT -- cp -p /opt/sync-lxc/docker-compose.yml /opt/sync-lxc/docker-compose.yml.before-pg +pct exec $CT -- python3 - <&1 | tail -3' | sed 's/^/ /' +echo " жду 90 секунд (создание схемы)..." +sleep 90 + +echo +echo "=== 7. ПРОВЕРКА ===" +echo " контейнер: $(pct exec $CT -- docker inspect paperless --format '{{.State.Status}}' 2>/dev/null)" +echo " напрямую: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 http://192.168.1.105:8000/ 2>/dev/null)" +echo " домен: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k https://docs.buryans.ru/ 2>/dev/null)" +echo " --- что в базе теперь ---" +pct exec 151 -- bash -c "PGPASSWORD='$PW' psql -h 127.0.0.1 -U '$USER' -d '$DB' -tAc \"select 'таблиц: '||count(*) from pg_tables where schemaname='public';\"" 2>/dev/null | sed 's/^/ /' +echo " --- журнал, если ошибки ---" +pct exec $CT -- docker logs paperless --tail 6 2>&1 | sed 's/^/ /'