Общие базы: инвентаризация и перевод Paperless на общий PostgreSQL
Инвентаризация показала: БОЛЬШИНСТВО уже на общем PostgreSQL (authentik, matrix, gitea, n8n, arr-службы, immich, nextcloud, vaultwarden, grafana, firefly, mealie, headscale). ПЕРЕВЕДЁН PAPERLESS (был SQLite 2,4 МБ): остановлен, SQLite сохранён копией, создана база paperless_main на общем сервере, приложение создало структуру (75 таблиц), работает. Было безопасно: документов ноль — переносить данные не требовалось. ОСТАЛОСЬ НА SQLITE три службы, и это не «забытые», а те, где перенос требует работы с данными: * uptime-kuma — у него НЕТ штатного переноса SQLite -> PostgreSQL; * navidrome — есть плейлисты и история прослушиваний; * linkding — закладки. Переносить их «на живую» без проверки опасно: можно потерять данные. Записано задачами 5.5 и 5.13 с планом. ЗАЧЕМ ОБЩИЕ БАЗЫ: один бэкап на все базы вместо «где-то файл, где-то том», единые права, возможность поднять службу на другом узле.
This commit is contained in:
1 parent
145f251141
commit
072591373b
4 files changed
+221
-4
No files matched your search
@@ -0,0 +1,69 @@
|
||||
# Общие базы: состояние и план (18.10.2026)
|
||||
|
||||
Владелец: «базы делаем общие». Провёл инвентаризацию — картина лучше,
|
||||
чем ожидалось.
|
||||
|
||||
## Уже на общем PostgreSQL (192.168.1.151)
|
||||
|
||||
| Служба | База |
|
||||
|---|---|
|
||||
| Authentik | `authentik_db` (UTF8) |
|
||||
| Matrix (Synapse) | `matrix_db` |
|
||||
| Мост Telegram | `matrix_telegram_db` |
|
||||
| Gitea | `gitea_db` |
|
||||
| n8n | `n8n` |
|
||||
| Grafana | `grafana_db` |
|
||||
| Immich | `immich_db` |
|
||||
| Nextcloud | `nextcloud_db` |
|
||||
| Vaultwarden | `vaultwarden_db` |
|
||||
| Firefly | `firefly_db` |
|
||||
| Mealie | `mealie_db` |
|
||||
| Headscale | `headscale` |
|
||||
| Sonarr / Radarr / Prowlarr / Bazarr | `*_db` + журналы |
|
||||
| **Paperless** | **`paperless_main` — переведён сегодня** |
|
||||
|
||||
## Переведено сегодня: Paperless
|
||||
|
||||
Был SQLite-файл `db.sqlite3` (2,4 МБ). Переведён на общий PostgreSQL:
|
||||
|
||||
1. остановлен, SQLite сохранён копией (`/root/paperless-sqlite-backup.db`);
|
||||
2. создана база `paperless_main` на общем сервере;
|
||||
3. в compose прописано подключение;
|
||||
4. приложение само создало структуру — **75 таблиц**;
|
||||
5. работает: контейнер `running`, домен отвечает.
|
||||
|
||||
Было безопасно: документов ноль, переносить данные не требовалось.
|
||||
|
||||
## Осталось на SQLite
|
||||
|
||||
| Служба | Файл | Почему не переведено сразу |
|
||||
|---|---|---|
|
||||
| `uptime-kuma` | `kuma.db` | у него **нет** штатного переноса данных из SQLite в PostgreSQL; нужен ручной перенос таблиц |
|
||||
| `navidrome` | `navidrome.db` | есть данные (пользователи, плейлисты, история) — нужен перенос и проверка |
|
||||
| `linkding` | SQLite | закладки — есть данные, нужен перенос |
|
||||
|
||||
Эти три — не «забытые», а те, где перенос требует работы с данными. Делать
|
||||
их «на живую» без проверки опасно: можно потерять закладки и историю
|
||||
прослушиваний.
|
||||
|
||||
## Почему это важно
|
||||
|
||||
Общий PostgreSQL означает:
|
||||
* **один бэкап** на все базы вместо «где-то файл, где-то том»;
|
||||
* единые права доступа и учёт;
|
||||
* возможность поднять любую службу на другом узле.
|
||||
|
||||
## План по остальным трём
|
||||
|
||||
1. **Uptime-kuma** — экспорт таблиц в CSV/SQL и импорт в PostgreSQL
|
||||
вручную, либо замена на мониторинг на Prometheus (он уже есть).
|
||||
2. **Navidrome** — `navidrome` умеет работать с PostgreSQL; перенос:
|
||||
остановить, дамп SQLite, залить в PostgreSQL, проверить плейлисты.
|
||||
3. **Linkding** — то же: дамп SQLite → PostgreSQL.
|
||||
|
||||
Каждый из трёх делать отдельным окном с проверкой, что данные на месте.
|
||||
|
||||
## Что уже покрыто резервными копиями
|
||||
|
||||
Файловые SQLite-базы попадают в копии контейнеров (Duplicati/Restic).
|
||||
Общий PostgreSQL копируется через `pg_dump` всех баз.
|
||||
+7
-4
@@ -35,10 +35,10 @@
|
||||
| СЕТЬ И ДОСТУП | 6 | 4 | 0 | **2** |
|
||||
| ЗВОНКИ И МЕДИА | 6 | 4 | 0 | **2** |
|
||||
| СКВОЗНАЯ СВЯЗНОСТЬ | 13 | 5 | 3 | **5** |
|
||||
| УЛУЧШЕНИЕ СЛУЖБ | 11 | 5 | 0 | **6** |
|
||||
| УЛУЧШЕНИЕ СЛУЖБ | 13 | 7 | 0 | **6** |
|
||||
| VPN (этапы 1–4) | 29 | 21 | 3 | **5** |
|
||||
| РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ | 17 | 12 | 1 | **4** |
|
||||
| **ИТОГО** | **97** | **66** | **7** | **24** |
|
||||
| **ИТОГО** | **99** | **68** | **7** | **24** |
|
||||
|
||||
---
|
||||
|
||||
@@ -66,6 +66,7 @@
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ
|
||||
@@ -138,8 +139,10 @@
|
||||
| 5.2 | `headscale` дома — определить назначение (координацию держит VPS) | ⬜ |
|
||||
| 5.3 | `paperless` — один экземпляр | ✅ оставлен CT 105; в обоих 0 документов — служба не используется |
|
||||
| 5.11 | Убрать отключённый paperless из наблюдения и реестра | ✅ 59 проверок, 47 служб |
|
||||
| 5.4 | `immich` — свести базу в общий PostgreSQL | ⬜ |
|
||||
| 5.5 | `uptime-kuma` — перевести на PostgreSQL или заменить | ⬜ |
|
||||
| 5.4 | `immich` в общий PostgreSQL | ✅ уже там (`immich_db`) |
|
||||
| 5.12 | Paperless переведён на общий PostgreSQL | ✅ `paperless_main`, 75 таблиц |
|
||||
| 5.13 | Navidrome и Linkding на общий PostgreSQL | ⬜ нужен перенос данных |
|
||||
| 5.5 | `uptime-kuma` на PostgreSQL | ⬜ нет штатного переноса, нужен ручной |
|
||||
| 5.6 | Запись в базы медиаслужб | ✅ 0 ошибок; диски 80% → 70% |
|
||||
| 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ |
|
||||
| 5.8 | `dashy` — стартовая страница со ссылками на всё | ✅ 34 службы в 9 разделах, собирается из реестра |
|
||||
|
||||
Executable
+58
@@ -0,0 +1,58 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# db-inventory.sh — у кого какая база
|
||||
# ============================================================
|
||||
# ЦЕЛЬ владельца: «базы делаем общие». Значит все службы должны жить в
|
||||
# общем PostgreSQL на 192.168.1.151, а не в своих SQLite-файлах.
|
||||
# Сначала смотрю, кто где.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
echo "=== БАЗЫ НА ОБЩЕМ POSTGRES (192.168.1.151) ==="
|
||||
pct exec 151 -- bash -c 'su - postgres -c "psql -tAc \"select datname from pg_database where datistemplate=false and datname not like '"'"'%pre_utf8%'"'"' and datname not like '"'"'%ascii%'"'"' order by 1;\"" 2>/dev/null' | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "=== СЛУЖБЫ: ГДЕ БАЗА ==="
|
||||
printf ' %-18s %-8s %s\n' "служба" "CT" "база"
|
||||
echo " ----------------------------------------------------------"
|
||||
|
||||
check() {
|
||||
local ct=$1 name=$2
|
||||
local cfg=$(pct exec $ct -- bash -c "grep -hE 'DBHOST|DB_HOST|POSTGRES|_DB_HOST|DBTYPE|DB_TYPE' /opt/*/docker-compose.yml /opt/*/*/docker-compose.yml 2>/dev/null | grep -v '^\s*#' | head -3" 2>/dev/null | tr -d '\r')
|
||||
local sqlite=$(pct exec $ct -- bash -c 'find /opt -maxdepth 4 -name "*.db" -o -maxdepth 4 -name "*.sqlite*" 2>/dev/null | grep -v node_modules | head -2' 2>/dev/null | tr -d '\r')
|
||||
|
||||
if echo "$cfg" | grep -q "192.168.1.151"; then
|
||||
printf ' %-18s %-8s %s\n' "$name" "$ct" "ОБЩИЙ Postgres"
|
||||
elif echo "$cfg" | grep -qiE "postgres|pg"; then
|
||||
printf ' %-18s %-8s %s\n' "$name" "$ct" "свой Postgres (в контейнере)"
|
||||
elif [ -n "$sqlite" ]; then
|
||||
printf ' %-18s %-8s %s\n' "$name" "$ct" "SQLite: $(echo "$sqlite" | head -1 | sed 's|.*/||')"
|
||||
else
|
||||
printf ' %-18s %-8s %s\n' "$name" "$ct" "не определено"
|
||||
fi
|
||||
}
|
||||
|
||||
check 104 "immich"
|
||||
check 107 "uptime-kuma"
|
||||
check 105 "paperless"
|
||||
check 127 "linkding"
|
||||
check 125 "navidrome"
|
||||
check 102 "dashy"
|
||||
check 201 "headscale"
|
||||
check 110 "mealie"
|
||||
check 110 "firefly"
|
||||
check 109 "nextcloud"
|
||||
check 109 "vaultwarden"
|
||||
check 113 "grafana"
|
||||
check 155 "matrix"
|
||||
check 155 "mautrix-telegram"
|
||||
check 108 "n8n"
|
||||
check 140 "gitea"
|
||||
|
||||
echo
|
||||
echo "=== IMMICH: ЧТО В КОНФИГЕ ==="
|
||||
pct exec 104 -- bash -c 'grep -hE "DB_|POSTGRES" /opt/*/docker-compose.yml 2>/dev/null | head -10' | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "=== UPTIME-KUMA: ЧТО В КОНФИГЕ ==="
|
||||
pct exec 107 -- bash -c 'grep -hE "UPTIME_KUMA|DB_|volumes" -A2 /opt/network-lxc/docker-compose.yml 2>/dev/null | head -12' | sed 's/^/ /'
|
||||
Executable
+87
@@ -0,0 +1,87 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# paperless-to-pg.sh — paperless на общий PostgreSQL
|
||||
# ============================================================
|
||||
# ПОЧЕМУ ЭТО БЕЗОПАСНО: в paperless НОЛЬ документов (проверено). Значит
|
||||
# переносить данные нечего — достаточно переключить хранилище и дать
|
||||
# приложению создать схему заново.
|
||||
#
|
||||
# ЧТО ДЕЛАЮ:
|
||||
# 1. останавливаю paperless;
|
||||
# 2. сохраняю SQLite-файл (на случай, если понадобится);
|
||||
# 3. создаю отдельную базу на общем PostgreSQL;
|
||||
# 4. прописываю подключение в compose;
|
||||
# 5. запускаю — приложение само создаёт структуру;
|
||||
# 6. проверяю.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
CT=105
|
||||
DB=paperless_main
|
||||
USER=paperless_user
|
||||
|
||||
echo "=== 1. СОСТОЯНИЕ ДО ==="
|
||||
pct exec $CT -- docker ps --format ' {{.Names}} | {{.Status}}' 2>/dev/null | grep paperless
|
||||
echo " --- размер SQLite ---"
|
||||
pct exec $CT -- bash -c 'du -h /opt/sync-lxc/paperless/data/db.sqlite3 2>/dev/null' | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "=== 2. ОСТАНАВЛИВАЮ ==="
|
||||
pct exec $CT -- bash -c 'cd /opt/sync-lxc && docker compose stop paperless 2>&1 | tail -2' | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "=== 3. СОХРАНЯЮ SQLITE ==="
|
||||
pct exec $CT -- bash -c 'cp -p /opt/sync-lxc/paperless/data/db.sqlite3 /root/paperless-sqlite-backup.db 2>/dev/null && ls -la /root/paperless-sqlite-backup.db | sed "s/^/ /"'
|
||||
|
||||
echo
|
||||
echo "=== 4. СОЗДАЮ БАЗУ НА ОБЩЕМ POSTGRES ==="
|
||||
# пароль пользователя беру из уже существующей базы paperless
|
||||
PW=$(pct exec 110 -- bash -c 'grep -h "PAPERLESS_DBPASS" /opt/lifestyle-lxc/docker-compose.yml 2>/dev/null | head -1 | cut -d= -f2' | tr -d '\r ')
|
||||
echo " пароль взят из существующей конфигурации: ${PW:0:4}..."
|
||||
|
||||
pct exec 151 -- bash -c "su - postgres -c \"psql -tAc \\\"select 1 from pg_database where datname='$DB';\\\"\"" 2>/dev/null | grep -q 1 && echo " база уже есть" || {
|
||||
pct exec 151 -- bash -c "su - postgres -c \"psql -c 'CREATE DATABASE $DB OWNER $USER;' 2>&1 | tail -1\"" | sed 's/^/ /'
|
||||
}
|
||||
|
||||
echo
|
||||
echo "=== 5. ПРОПИСЫВАЮ ПОДКЛЮЧЕНИЕ ==="
|
||||
pct exec $CT -- cp -p /opt/sync-lxc/docker-compose.yml /opt/sync-lxc/docker-compose.yml.before-pg
|
||||
pct exec $CT -- python3 - <<PYEOF
|
||||
import io, re
|
||||
p = "/opt/sync-lxc/docker-compose.yml"
|
||||
t = io.open(p, encoding="utf-8").read()
|
||||
# нахожу блок paperless и добавляю переменные после PAPERLESS_REDIS
|
||||
if "PAPERLESS_DBHOST" in t:
|
||||
print(" подключение уже прописано")
|
||||
else:
|
||||
anchor = "PAPERLESS_REDIS=redis://redis:6379"
|
||||
add = (anchor + "\n"
|
||||
" - PAPERLESS_DBHOST=192.168.1.151\n"
|
||||
" - PAPERLESS_DBPORT=5432\n"
|
||||
" - PAPERLESS_DBUSER=$USER\n"
|
||||
" - PAPERLESS_DBPASS=$PW\n"
|
||||
" - PAPERLESS_DBNAME=$DB")
|
||||
if anchor in t:
|
||||
t = t.replace(anchor, add, 1)
|
||||
io.open(p, "w", encoding="utf-8").write(t)
|
||||
print(" подключение добавлено")
|
||||
else:
|
||||
print(" ВНИМАНИЕ: не нашёл строку redis")
|
||||
PYEOF
|
||||
echo " --- стало ---"
|
||||
pct exec $CT -- grep -E "PAPERLESS_DB" /opt/sync-lxc/docker-compose.yml | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "=== 6. ЗАПУСКАЮ ==="
|
||||
pct exec $CT -- bash -c 'cd /opt/sync-lxc && docker compose up -d paperless 2>&1 | tail -3' | sed 's/^/ /'
|
||||
echo " жду 90 секунд (создание схемы)..."
|
||||
sleep 90
|
||||
|
||||
echo
|
||||
echo "=== 7. ПРОВЕРКА ==="
|
||||
echo " контейнер: $(pct exec $CT -- docker inspect paperless --format '{{.State.Status}}' 2>/dev/null)"
|
||||
echo " напрямую: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 http://192.168.1.105:8000/ 2>/dev/null)"
|
||||
echo " домен: $(curl -s -o /dev/null -w '%{http_code}' --max-time 15 -k https://docs.buryans.ru/ 2>/dev/null)"
|
||||
echo " --- что в базе теперь ---"
|
||||
pct exec 151 -- bash -c "PGPASSWORD='$PW' psql -h 127.0.0.1 -U '$USER' -d '$DB' -tAc \"select 'таблиц: '||count(*) from pg_tables where schemaname='public';\"" 2>/dev/null | sed 's/^/ /'
|
||||
echo " --- журнал, если ошибки ---"
|
||||
pct exec $CT -- docker logs paperless --tail 6 2>&1 | sed 's/^/ /'
|
||||
Reference in new issue
Block a user