[STORAGE] Все данные сервисов в общем хранилище: Nextcloud, Paperless, Immich (NFS), Matrix, Ollama
This commit is contained in:
1 parent
335a8c39f3
commit
c70c430d8e
1 file changed
+70
-52
+70
-52
@@ -1,70 +1,88 @@
|
||||
# Общее хранилище и бэкапы на отдельном диске (27.10)
|
||||
# Общее хранилище: все данные сервисов на NVMe 1 ТБ (27.10)
|
||||
|
||||
## Принцип
|
||||
## Итоговая раскладка
|
||||
|
||||
`/mnt/media` — **общее хранилище данных** для всех сервисов (NVMe 1 ТБ).
|
||||
`/mnt/archive` — **отдельный диск под бэкапы** (HDD 1 ТБ).
|
||||
Системный NVMe 477 ГБ — только ОС, контейнеры и базы, **12% занято**.
|
||||
`/mnt/media` (NVMe 1 ТБ, свободно 882 ГБ) — **единое хранилище данных**:
|
||||
|
||||
## Структура общего хранилища
|
||||
| Каталог | Размер | Сервис | Как подключено |
|
||||
|---|---|---|---|
|
||||
| `series/` | 35 ГБ | Jellyfin, Sonarr | CT103 `mp0`, CT117 `mp0` |
|
||||
| `movies/` | 4.3 ГБ | Jellyfin, Radarr | CT103, CT118 |
|
||||
| `nextcloud/` | 3.4 ГБ | Nextcloud | CT109 `mp1` → `/opt/files-lxc/nextcloud` |
|
||||
| `models/` | 2.5 ГБ | Ollama | CT160 `mp1` → `/usr/share/ollama/.ollama/models` |
|
||||
| `music/` | 2.3 ГБ | Navidrome | CT125 |
|
||||
| `books/` | 251 МБ | Kavita / Calibre | CT111 `mp2` → `/opt/books` |
|
||||
| **`photos/`** | 220 МБ | Immich (VM104) | **NFS** → `/mnt/photos` в VM |
|
||||
| **`matrix/`** | 77 МБ | Synapse | CT155 `mp1` → `/opt/matrix/data/media_store` |
|
||||
| **`documents/`** | 24 МБ | Paperless | CT105 `mp1–mp4` → `/opt/sync-lxc/paperless/*` |
|
||||
| `downloads/` | — | qBittorrent, *arr | CT123 |
|
||||
| `frigate/` | 256 КБ | Frigate | CT126 |
|
||||
|
||||
```
|
||||
/mnt/media/
|
||||
├── movies/ 4.3 ГБ Jellyfin, Radarr
|
||||
├── series/ 35 ГБ Jellyfin, Sonarr
|
||||
├── music/ 2.3 ГБ Navidrome
|
||||
├── downloads/ qBittorrent (*arr через /data)
|
||||
├── frigate/ записи Frigate
|
||||
├── books/ 251 МБ Calibre / Kavita (было внутри CT111)
|
||||
├── documents/ резерв под Paperless
|
||||
├── photos/ резерв под Immich
|
||||
├── models/ резерв под локальные LLM
|
||||
└── finance/
|
||||
`/mnt/archive` (HDD 1 ТБ) — бэкапы: `backups/` (vzdump, 68 ГБ) и `media/` (ночная копия).
|
||||
|
||||
## Как переносили (и что чуть не сломалось)
|
||||
|
||||
Порядок в каждом сервисе: **остановить контейнер → скопировать данные → добавить
|
||||
монтирование → перезапустить контейнер → проверить HTTP и размеры**.
|
||||
|
||||
### Ловушка 1: копирование по путям хоста
|
||||
|
||||
Paperless: пути `/opt/sync-lxc/paperless/*` существуют **внутри CT105**, а не на
|
||||
хосте. Первый `rsync` по хостовому пути скопировал пустоту, контейнер упал в
|
||||
restart loop. Правильно:
|
||||
|
||||
```bash
|
||||
pct exec 105 -- sh -c 'tar -C /opt/sync-lxc/paperless/data -cf - .' | tar -C /mnt/.../data -xf -
|
||||
```
|
||||
|
||||
Свободно **888 ГБ**.
|
||||
### Ловушка 2: unprivileged-контейнеры и uid
|
||||
|
||||
## Кто уже использует
|
||||
В **непривилегированном** CT uid внутри = host uid + 100000.
|
||||
Копия с `--numeric-owner` сохранила `uid=1000`, контейнер увидел чужого владельца
|
||||
и получил `Permission denied` на запись (`migration_lock`, `.ocdata`).
|
||||
|
||||
| CT | Сервис | Монтирование |
|
||||
|---|---|---|
|
||||
| 103 | Jellyfin | `/mnt/media` → `/media` |
|
||||
| 117 | Sonarr | `/mnt/media` → `/data` |
|
||||
| 118 | Radarr | `/mnt/media` → `/data` |
|
||||
| 120 | Bazarr | `/mnt/media` → `/data` |
|
||||
| 123 | qBittorrent | `/mnt/media` → `/data` |
|
||||
| 125 | Navidrome | `/mnt/media/music` → `/music` |
|
||||
| 126 | Frigate | `/mnt/media/frigate` → `/media/frigate` |
|
||||
| 111 | Kavita / Calibre | `/mnt/media/books` → `/opt/books` |
|
||||
| CT | unprivileged | uid внутри | uid на хосте |
|
||||
|---|---|---|---|
|
||||
| 105 Paperless | да | 1000 | **101000** |
|
||||
| 109 Nextcloud | да | 33 | **100033** |
|
||||
| 160 Ollama | да | 999 / 996 | **100999:100996** |
|
||||
| 111, 155 | нет | 0 | 0 |
|
||||
|
||||
## Бэкапы переехали на HDD
|
||||
Лечение: `chown -R 101000:101000` (и аналогично) после копирования.
|
||||
|
||||
| Что | Было | Стало |
|
||||
|---|---|---|
|
||||
| vzdump | LV `pve-backups` (тот же NVMe, что данные) | `/mnt/archive/backups`, HDD 1 ТБ |
|
||||
| Конфиги и дампы БД | `/mnt/backups/configs`, `db` | скопированы на HDD |
|
||||
| Хранилище PVE | `backups` | `backups-hdd` (старое отключено) |
|
||||
### Ловушка 3: VM не видит LXC-монтирования
|
||||
|
||||
Проверка: тестовый бэкап CT161 дал файл 173 МБ на новом хранилище.
|
||||
Дампов на HDD: **37**, занято 68 ГБ, свободно 799 ГБ.
|
||||
Immich живёт в **VM**, поэтому bind-монтирование не подходит. Сделали **NFS**:
|
||||
|
||||
Старое хранилище оставлено **отключённым как резерв на неделю** — потом удалим
|
||||
LV и вернём 100 ГБ в thin pool.
|
||||
```bash
|
||||
# хост
|
||||
apt install nfs-kernel-server
|
||||
echo '/mnt/media/photos 192.168.1.104(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports
|
||||
exportfs -ra
|
||||
# VM
|
||||
apt install nfs-common # без него mount.nfs4 «bad option»
|
||||
echo '192.168.1.10:/mnt/media/photos /mnt/photos nfs4 defaults,_netdev,noatime 0 0' >> /etc/fstab
|
||||
```
|
||||
|
||||
## Найдено по пути: `/mnt/backups` не монтировался при загрузке
|
||||
Затем в `/home/roman/immich/docker-compose.yml` заменён том:
|
||||
`/home/roman/immich/library:/data` → `/mnt/photos/library:/data`.
|
||||
|
||||
Тома `pve-backups` не было в `/etc/fstab` — после перезагрузки точка была пустой,
|
||||
и `pvesm` считал размер по корневому диску. **Дампы не пострадали** (лежали на LV),
|
||||
но выглядело как пустое хранилище.
|
||||
## Проверка
|
||||
|
||||
**Решение:** добавлена запись в fstab по UUID с `nofail` — теперь монтируется
|
||||
при загрузке.
|
||||
| Сервис | Код |
|
||||
|---|---|
|
||||
| Paperless | 302 |
|
||||
| Nextcloud | 302 |
|
||||
| Matrix | 200 |
|
||||
| Ollama (`/api/tags`) | 200 (4 модели: qwen2.5:3b, qwen2.5:0.5b, all-minilm, nomic-embed-text) |
|
||||
| Immich (`/api/server/ping`) | 200 |
|
||||
|
||||
Хаб: **124 из 125** (Plex выведен намеренно).
|
||||
|
||||
## Что осталось
|
||||
|
||||
1. **Immich** (VM 104) — фото внутри собственного диска 50 ГБ; переезд на
|
||||
`/mnt/media/photos` требует отдельной работы (virtiofs/9p или перенос данных).
|
||||
2. **Paperless** — аналогично, перенос в `/mnt/media/documents`.
|
||||
3. **LLM-модели** — в `/mnt/media/models`, когда поднимем MCore.
|
||||
4. **Удалить старое LV бэкапов** через неделю (вернёт 100 ГБ).
|
||||
5. **fsck корня** при следующей перезагрузке.
|
||||
1. Nextcloud `data/` содержит и код приложения, и файлы пользователей — при
|
||||
обновлении образа том перезаписывается, это нормально.
|
||||
2. Старое LV бэкапов (100 ГБ) — удалить через неделю.
|
||||
3. fsck корня при следующей перезагрузке.
|
||||
4. Проверить после перезагрузки: NFS-монтирование в VM и все `mp` в CT.
|
||||
Reference in new issue
Block a user