Общие базы: инвентаризация и перевод Paperless на общий PostgreSQL

Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL
(authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud,
vaultwarden, grafana, firefly, mealie, headscale).

ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён
копией, создана база paperless_main на общем сервере, приложение создало
структуру (75 таблиц), работает. Было безопасно: документов ноль —
переносить данные не требовалось.

ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос
требует работы с данными:
  * uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL;
  * navidrome — есть плейлисты и история прослушиваний;
  * linkding — закладки.
Переносить их «на живую» без проверки опасно: можно потерять данные.
Записано задачами 5.5 и 5.13 с планом.

ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то
том», единые права, возможность поднять службу на другом узле.
This commit is contained in:
root committed 2026-10-18 14:18:36 +03:00
1 parent 145f251141
commit 072591373b
4 files changed
+221 -4

No files matched your search

+69
View File
@@ -0,0 +1,69 @@
# Общие базы: состояние и план (18.10.2026)
Владелец: «базы делаем общие». Провёл инвентаризацию — картина лучше,
чем ожидалось.
## Уже на общем PostgreSQL (192.168.1.151)
| Служба | База |
|---|---|
| Authentik | `authentik_db` (UTF8) |
| Matrix (Synapse) | `matrix_db` |
| Мост Telegram | `matrix_telegram_db` |
| Gitea | `gitea_db` |
| n8n | `n8n` |
| Grafana | `grafana_db` |
| Immich | `immich_db` |
| Nextcloud | `nextcloud_db` |
| Vaultwarden | `vaultwarden_db` |
| Firefly | `firefly_db` |
| Mealie | `mealie_db` |
| Headscale | `headscale` |
| Sonarr / Radarr / Prowlarr / Bazarr | `*_db` + журналы |
| **Paperless** | **`paperless_main` — переведён сегодня** |
## Переведено сегодня: Paperless
Был SQLite-файл `db.sqlite3` (2,4 МБ). Переведён на общий PostgreSQL:
1. остановлен, SQLite сохранён копией (`/root/paperless-sqlite-backup.db`);
2. создана база `paperless_main` на общем сервере;
3. в compose прописано подключение;
4. приложение само создало структуру — **75 таблиц**;
5. работает: контейнер `running`, домен отвечает.
Было безопасно: документов ноль, переносить данные не требовалось.
## Осталось на SQLite
| Служба | Файл | Почему не переведено сразу |
|---|---|---|
| `uptime-kuma` | `kuma.db` | у него **нет** штатного переноса данных из SQLite в PostgreSQL; нужен ручной перенос таблиц |
| `navidrome` | `navidrome.db` | есть данные (пользователи, плейлисты, история) — нужен перенос и проверка |
| `linkding` | SQLite | закладки — есть данные, нужен перенос |
Эти три — не «забытые», а те, где перенос требует работы с данными. Делать
их «на живую» без проверки опасно: можно потерять закладки и историю
прослушиваний.
## Почему это важно
Общий PostgreSQL означает:
* **один бэкап** на все базы вместо «где-то файл, где-то том»;
* единые права доступа и учёт;
* возможность поднять любую службу на другом узле.
## План по остальным трём
1. **Uptime-kuma** — экспорт таблиц в CSV/SQL и импорт в PostgreSQL
вручную, либо замена на мониторинг на Prometheus (он уже есть).
2. **Navidrome** — `navidrome` умеет работать с PostgreSQL; перенос:
остановить, дамп SQLite, залить в PostgreSQL, проверить плейлисты.
3. **Linkding** — то же: дамп SQLite → PostgreSQL.
Каждый из трёх делать отдельным окном с проверкой, что данные на месте.
## Что уже покрыто резервными копиями
Файловые SQLite-базы попадают в копии контейнеров (Duplicati/Restic).
Общий PostgreSQL копируется через `pg_dump` всех баз.
+7 -4
View File
@@ -35,10 +35,10 @@
| СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** |
| ЗВОНКИ И МЕДИА | 6 | 4 | 0 | **2** |
| СКВОЗНАЯ СВЯЗНОСТЬ | 13 | 5 | 3 | **5** |
| УЛУЧШЕНИЕ СЛУЖБ | 11 | 5 | 0 | **6** |
| УЛУЧШЕНИЕ СЛУЖБ | 13 | 7 | 0 | **6** |
| VPN (этапы 1–4) | 29 | 21 | 3 | **5** |
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
| **ИТОГО** | **97** | **66** | **7** | **24** |
| **ИТОГО** | **99** | **68** | **7** | **24** |
---
@@ -66,6 +66,7 @@
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
@@ -138,8 +139,10 @@
| 5.2 | `headscale` дома — определить назначение (координацию держит VPS) | ⬜ |
| 5.3 | `paperless` — один экземпляр | ✅ оставлен CT 105; в обоих 0 документов — служба не используется |
| 5.11 | Убрать отключённый paperless из наблюдения и реестра | ✅ 59 проверок, 47 служб |
| 5.4 | `immich` — свести базу в общий PostgreSQL | ⬜ |
| 5.5 | `uptime-kuma` — перевести на PostgreSQL или заменить | ⬜ |
| 5.4 | `immich` в общий PostgreSQL | ✅ уже там (`immich_db`) |
| 5.12 | Paperless переведён на общий PostgreSQL | ✅ `paperless_main`, 75 таблиц |
| 5.13 | Navidrome и Linkding на общий PostgreSQL | ⬜ нужен перенос данных |
| 5.5 | `uptime-kuma` на PostgreSQL | ⬜ нет штатного переноса, нужен ручной |
| 5.6 | Запись в базы медиаслужб | ✅ 0 ошибок; диски 80% → 70% |
| 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ |
| 5.8 | `dashy` — стартовая страница со ссылками на всё | ✅ 34 службы в 9 разделах, собирается из реестра |
+58
View File
@@ -0,0 +1,58 @@
#!/bin/bash
# ============================================================
# db-inventory.sh — у кого какая база
# ============================================================
# ЦЕЛЬ владельца: «базы делаем общие». Значит все службы должны жить в
# общем PostgreSQL на 192.168.1.151, а не в своих SQLite-файлах.
# Сначала смотрю, кто где.
# ============================================================
set -uo pipefail
echo "=== БАЗЫ НА ОБЩЕМ POSTGRES (192.168.1.151) ==="
pct exec 151 -- bash -c 'su - postgres -c "psql -tAc \"select datname from pg_database where datistemplate=false and datname not like '"'"'%pre_utf8%'"'"' and datname not like '"'"'%ascii%'"'"' order by 1;\"" 2>/dev/null' | sed 's/^/ /'
echo
echo "=== СЛУЖБЫ: ГДЕ БАЗА ==="
printf ' %-18s %-8s %s\n' "служба" "CT" "база"
echo " ----------------------------------------------------------"
check() {
local ct=$1 name=$2
local cfg=$(pct exec $ct -- bash -c "grep -hE 'DBHOST|DB_HOST|POSTGRES|_DB_HOST|DBTYPE|DB_TYPE' /opt/*/docker-compose.yml /opt/*/*/docker-compose.yml 2>/dev/null | grep -v '^\s*#' | head -3" 2>/dev/null | tr -d '\r')
local sqlite=$(pct exec $ct -- bash -c 'find /opt -maxdepth 4 -name "*.db" -o -maxdepth 4 -name "*.sqlite*" 2>/dev/null | grep -v node_modules | head -2' 2>/dev/null | tr -d '\r')
if echo "$cfg" | grep -q "192.168.1.151"; then
printf ' %-18s %-8s %s\n' "$name" "$ct" "ОБЩИЙ Postgres"
elif echo "$cfg" | grep -qiE "postgres|pg"; then
printf ' %-18s %-8s %s\n' "$name" "$ct" "свой Postgres (в контейнере)"
elif [ -n "$sqlite" ]; then
printf ' %-18s %-8s %s\n' "$name" "$ct" "SQLite: $(echo "$sqlite" | head -1 | sed 's|.*/||')"
else
printf ' %-18s %-8s %s\n' "$name" "$ct" "не определено"
fi
}
check 104 "immich"
check 107 "uptime-kuma"
check 105 "paperless"
check 127 "linkding"
check 125 "navidrome"
check 102 "dashy"
check 201 "headscale"
check 110 "mealie"
check 110 "firefly"
check 109 "nextcloud"
check 109 "vaultwarden"
check 113 "grafana"
check 155 "matrix"
check 155 "mautrix-telegram"
check 108 "n8n"
check 140 "gitea"
echo
echo "=== IMMICH: ЧТО В КОНФИГЕ ==="
pct exec 104 -- bash -c 'grep -hE "DB_|POSTGRES" /opt/*/docker-compose.yml 2>/dev/null | head -10' | sed 's/^/ /'
echo
echo "=== UPTIME-KUMA: ЧТО В КОНФИГЕ ==="
pct exec 107 -- bash -c 'grep -hE "UPTIME_KUMA|DB_|volumes" -A2 /opt/network-lxc/docker-compose.yml 2>/dev/null | head -12' | sed 's/^/ /'
+87
View File
@@ -0,0 +1,87 @@
#!/bin/bash
# ============================================================
# paperless-to-pg.sh — paperless на общий PostgreSQL
# ============================================================
# ПОЧЕМУ ЭТО БЕЗОПАСНО: в paperless НОЛЬ документов (проверено). Значит
# переносить данные нечего — достаточно переключить хранилище и дать
# приложению создать схему заново.
#
# ЧТО ДЕЛАЮ:
# 1. останавливаю paperless;
# 2. сохраняю SQLite-файл (на случай, если понадобится);
# 3. создаю отдельную базу на общем PostgreSQL;
# 4. прописываю подключение в compose;
# 5. запускаю — приложение само создаёт структуру;
# 6. проверяю.
# ============================================================
set -uo pipefail
CT=105
DB=paperless_main
USER=paperless_user
echo "=== 1. СОСТОЯНИЕ ДО ==="
pct exec $CT -- docker ps --format ' {{.Names}} | {{.Status}}' 2>/dev/null | grep paperless
echo " --- размер SQLite ---"
pct exec $CT -- bash -c 'du -h /opt/sync-lxc/paperless/data/db.sqlite3 2>/dev/null' | sed 's/^/ /'
echo
echo "=== 2. ОСТАНАВЛИВАЮ ==="
pct exec $CT -- bash -c 'cd /opt/sync-lxc && docker compose stop paperless 2>&1 | tail -2' | sed 's/^/ /'
echo
echo "=== 3. СОХРАНЯЮ SQLITE ==="
pct exec $CT -- bash -c 'cp -p /opt/sync-lxc/paperless/data/db.sqlite3 /root/paperless-sqlite-backup.db 2>/dev/null && ls -la /root/paperless-sqlite-backup.db | sed "s/^/ /"'
echo
echo "=== 4. СОЗДАЮ БАЗУ НА ОБЩЕМ POSTGRES ==="
# пароль пользователя беру из уже существующей базы paperless
PW=$(pct exec 110 -- bash -c 'grep -h "PAPERLESS_DBPASS" /opt/lifestyle-lxc/docker-compose.yml 2>/dev/null | head -1 | cut -d= -f2' | tr -d '\r ')
echo " пароль взят из существующей конфигурации: ${PW:0:4}..."
pct exec 151 -- bash -c "su - postgres -c \"psql -tAc \\\"select 1 from pg_database where datname='$DB';\\\"\"" 2>/dev/null | grep -q 1 && echo " база уже есть" || {
pct exec 151 -- bash -c "su - postgres -c \"psql -c 'CREATE DATABASE $DB OWNER $USER;' 2>&1 | tail -1\"" | sed 's/^/ /'
}
echo
echo "=== 5. ПРОПИСЫВАЮ ПОДКЛЮЧЕНИЕ ==="
pct exec $CT -- cp -p /opt/sync-lxc/docker-compose.yml /opt/sync-lxc/docker-compose.yml.before-pg
pct exec $CT -- python3 - <<PYEOF
import io, re
p = "/opt/sync-lxc/docker-compose.yml"
t = io.open(p, encoding="utf-8").read()
# нахожу блок paperless и добавляю переменные после PAPERLESS_REDIS
if "PAPERLESS_DBHOST" in t:
print(" подключение уже прописано")
else:
anchor = "PAPERLESS_REDIS=redis://redis:6379"
add = (anchor + "\n"
" - PAPERLESS_DBHOST=192.168.1.151\n"
" - PAPERLESS_DBPORT=5432\n"
" - PAPERLESS_DBUSER=$USER\n"
" - PAPERLESS_DBPASS=$PW\n"
" - PAPERLESS_DBNAME=$DB")
if anchor in t:
t = t.replace(anchor, add, 1)
io.open(p, "w", encoding="utf-8").write(t)
print(" подключение добавлено")
else:
print(" ВНИМАНИЕ: не нашёл строку redis")
PYEOF
echo " --- стало ---"
pct exec $CT -- grep -E "PAPERLESS_DB" /opt/sync-lxc/docker-compose.yml | sed 's/^/ /'
echo
echo "=== 6. ЗАПУСКАЮ ==="
pct exec $CT -- bash -c 'cd /opt/sync-lxc && docker compose up -d paperless 2>&1 | tail -3' | sed 's/^/ /'
echo " жду 90 секунд (создание схемы)..."
sleep 90
echo
echo "=== 7. ПРОВЕРКА ==="
echo " контейнер: $(pct exec $CT -- docker inspect paperless --format '{{.State.Status}}' 2>/dev/null)"
echo " напрямую: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 http://192.168.1.105:8000/ 2>/dev/null)"
echo " домен: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k https://docs.buryans.ru/ 2>/dev/null)"
echo " --- что в базе теперь ---"
pct exec 151 -- bash -c "PGPASSWORD='$PW' psql -h 127.0.0.1 -U '$USER' -d '$DB' -tAc \"select 'таблиц: '||count(*) from pg_tables where schemaname='public';\"" 2>/dev/null | sed 's/^/ /'
echo " --- журнал, если ошибки ---"
pct exec $CT -- docker logs paperless --tail 6 2>&1 | sed 's/^/ /'