[STORAGE] Все данные сервисов в общем хранилище: Nextcloud, Paperless, Immich (NFS), Matrix, Ollama

This commit is contained in:
buryan-agent committed 2026-10-27 18:51:34 +03:00
1 parent 335a8c39f3
commit c70c430d8e
1 file changed
+70 -52
+70 -52
View File
@@ -1,70 +1,88 @@
# Общее хранилище и бэкапы на отдельном диске (27.10)
# Общее хранилище: все данные сервисов на NVMe 1 ТБ (27.10)
## Принцип
## Итоговая раскладка
`/mnt/media` — **общее хранилище данных** для всех сервисов (NVMe 1 ТБ).
`/mnt/archive` — **отдельный диск под бэкапы** (HDD 1 ТБ).
Системный NVMe 477 ГБ — только ОС, контейнеры и базы, **12% занято**.
`/mnt/media` (NVMe 1 ТБ, свободно 882 ГБ) — **единое хранилище данных**:
## Структура общего хранилища
| Каталог | Размер | Сервис | Как подключено |
|---|---|---|---|
| `series/` | 35 ГБ | Jellyfin, Sonarr | CT103 `mp0`, CT117 `mp0` |
| `movies/` | 4.3 ГБ | Jellyfin, Radarr | CT103, CT118 |
| `nextcloud/` | 3.4 ГБ | Nextcloud | CT109 `mp1` → `/opt/files-lxc/nextcloud` |
| `models/` | 2.5 ГБ | Ollama | CT160 `mp1` → `/usr/share/ollama/.ollama/models` |
| `music/` | 2.3 ГБ | Navidrome | CT125 |
| `books/` | 251 МБ | Kavita / Calibre | CT111 `mp2` → `/opt/books` |
| **`photos/`** | 220 МБ | Immich (VM104) | **NFS** → `/mnt/photos` в VM |
| **`matrix/`** | 77 МБ | Synapse | CT155 `mp1` → `/opt/matrix/data/media_store` |
| **`documents/`** | 24 МБ | Paperless | CT105 `mp1–mp4` → `/opt/sync-lxc/paperless/*` |
| `downloads/` | — | qBittorrent, *arr | CT123 |
| `frigate/` | 256 КБ | Frigate | CT126 |
```
/mnt/media/
├── movies/ 4.3 ГБ Jellyfin, Radarr
├── series/ 35 ГБ Jellyfin, Sonarr
├── music/ 2.3 ГБ Navidrome
├── downloads/ qBittorrent (*arr через /data)
├── frigate/ записи Frigate
├── books/ 251 МБ Calibre / Kavita (было внутри CT111)
├── documents/ резерв под Paperless
├── photos/ резерв под Immich
├── models/ резерв под локальные LLM
└── finance/
`/mnt/archive` (HDD 1 ТБ) — бэкапы: `backups/` (vzdump, 68 ГБ) и `media/` (ночная копия).
## Как переносили (и что чуть не сломалось)
Порядок в каждом сервисе: **остановить контейнер → скопировать данные → добавить
монтирование → перезапустить контейнер → проверить HTTP и размеры**.
### Ловушка 1: копирование по путям хоста
Paperless: пути `/opt/sync-lxc/paperless/*` существуют **внутри CT105**, а не на
хосте. Первый `rsync` по хостовому пути скопировал пустоту, контейнер упал в
restart loop. Правильно:
```bash
pct exec 105 -- sh -c 'tar -C /opt/sync-lxc/paperless/data -cf - .' | tar -C /mnt/.../data -xf -
```
Свободно **888 ГБ**.
### Ловушка 2: unprivileged-контейнеры и uid
## Кто уже использует
В **непривилегированном** CT uid внутри = host uid + 100000.
Копия с `--numeric-owner` сохранила `uid=1000`, контейнер увидел чужого владельца
и получил `Permission denied` на запись (`migration_lock`, `.ocdata`).
| CT | Сервис | Монтирование |
|---|---|---|
| 103 | Jellyfin | `/mnt/media` → `/media` |
| 117 | Sonarr | `/mnt/media` → `/data` |
| 118 | Radarr | `/mnt/media` → `/data` |
| 120 | Bazarr | `/mnt/media` → `/data` |
| 123 | qBittorrent | `/mnt/media` → `/data` |
| 125 | Navidrome | `/mnt/media/music` → `/music` |
| 126 | Frigate | `/mnt/media/frigate` → `/media/frigate` |
| 111 | Kavita / Calibre | `/mnt/media/books` → `/opt/books` |
| CT | unprivileged | uid внутри | uid на хосте |
|---|---|---|---|
| 105 Paperless | да | 1000 | **101000** |
| 109 Nextcloud | да | 33 | **100033** |
| 160 Ollama | да | 999 / 996 | **100999:100996** |
| 111, 155 | нет | 0 | 0 |
## Бэкапы переехали на HDD
Лечение: `chown -R 101000:101000` (и аналогично) после копирования.
| Что | Было | Стало |
|---|---|---|
| vzdump | LV `pve-backups` (тот же NVMe, что данные) | `/mnt/archive/backups`, HDD 1 ТБ |
| Конфиги и дампы БД | `/mnt/backups/configs`, `db` | скопированы на HDD |
| Хранилище PVE | `backups` | `backups-hdd` (старое отключено) |
### Ловушка 3: VM не видит LXC-монтирования
Проверка: тестовый бэкап CT161 дал файл 173 МБ на новом хранилище.
Дампов на HDD: **37**, занято 68 ГБ, свободно 799 ГБ.
Immich живёт в **VM**, поэтому bind-монтирование не подходит. Сделали **NFS**:
Старое хранилище оставлено **отключённым как резерв на неделю** — потом удалим
LV и вернём 100 ГБ в thin pool.
```bash
# хост
apt install nfs-kernel-server
echo '/mnt/media/photos 192.168.1.104(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports
exportfs -ra
# VM
apt install nfs-common # без него mount.nfs4 «bad option»
echo '192.168.1.10:/mnt/media/photos /mnt/photos nfs4 defaults,_netdev,noatime 0 0' >> /etc/fstab
```
## Найдено по пути: `/mnt/backups` не монтировался при загрузке
Затем в `/home/roman/immich/docker-compose.yml` заменён том:
`/home/roman/immich/library:/data` → `/mnt/photos/library:/data`.
Тома `pve-backups` не было в `/etc/fstab` — после перезагрузки точка была пустой,
и `pvesm` считал размер по корневому диску. **Дампы не пострадали** (лежали на LV),
но выглядело как пустое хранилище.
## Проверка
**Решение:** добавлена запись в fstab по UUID с `nofail` — теперь монтируется
при загрузке.
| Сервис | Код |
|---|---|
| Paperless | 302 |
| Nextcloud | 302 |
| Matrix | 200 |
| Ollama (`/api/tags`) | 200 (4 модели: qwen2.5:3b, qwen2.5:0.5b, all-minilm, nomic-embed-text) |
| Immich (`/api/server/ping`) | 200 |
Хаб: **124 из 125** (Plex выведен намеренно).
## Что осталось
1. **Immich** (VM 104) — фото внутри собственного диска 50 ГБ; переезд на
`/mnt/media/photos` требует отдельной работы (virtiofs/9p или перенос данных).
2. **Paperless** — аналогично, перенос в `/mnt/media/documents`.
3. **LLM-модели** — в `/mnt/media/models`, когда поднимем MCore.
4. **Удалить старое LV бэкапов** через неделю (вернёт 100 ГБ).
5. **fsck корня** при следующей перезагрузке.
1. Nextcloud `data/` содержит и код приложения, и файлы пользователей — при
обновлении образа том перезаписывается, это нормально.
2. Старое LV бэкапов (100 ГБ) — удалить через неделю.
3. fsck корня при следующей перезагрузке.
4. Проверить после перезагрузки: NFS-монтирование в VM и все `mp` в CT.