diff --git a/ops/ops/SHARED-STORAGE.md b/ops/ops/SHARED-STORAGE.md index 49e90a5..2c7a791 100644 --- a/ops/ops/SHARED-STORAGE.md +++ b/ops/ops/SHARED-STORAGE.md @@ -1,70 +1,88 @@ -# Общее хранилище и бэкапы на отдельном диске (27.10) +# Общее хранилище: все данные сервисов на NVMe 1 ТБ (27.10) -## Принцип +## Итоговая раскладка -`/mnt/media` — **общее хранилище данных** для всех сервисов (NVMe 1 ТБ). -`/mnt/archive` — **отдельный диск под бэкапы** (HDD 1 ТБ). -Системный NVMe 477 ГБ — только ОС, контейнеры и базы, **12% занято**. +`/mnt/media` (NVMe 1 ТБ, свободно 882 ГБ) — **единое хранилище данных**: -## Структура общего хранилища +| Каталог | Размер | Сервис | Как подключено | +|---|---|---|---| +| `series/` | 35 ГБ | Jellyfin, Sonarr | CT103 `mp0`, CT117 `mp0` | +| `movies/` | 4.3 ГБ | Jellyfin, Radarr | CT103, CT118 | +| `nextcloud/` | 3.4 ГБ | Nextcloud | CT109 `mp1` → `/opt/files-lxc/nextcloud` | +| `models/` | 2.5 ГБ | Ollama | CT160 `mp1` → `/usr/share/ollama/.ollama/models` | +| `music/` | 2.3 ГБ | Navidrome | CT125 | +| `books/` | 251 МБ | Kavita / Calibre | CT111 `mp2` → `/opt/books` | +| **`photos/`** | 220 МБ | Immich (VM104) | **NFS** → `/mnt/photos` в VM | +| **`matrix/`** | 77 МБ | Synapse | CT155 `mp1` → `/opt/matrix/data/media_store` | +| **`documents/`** | 24 МБ | Paperless | CT105 `mp1–mp4` → `/opt/sync-lxc/paperless/*` | +| `downloads/` | — | qBittorrent, *arr | CT123 | +| `frigate/` | 256 КБ | Frigate | CT126 | -``` -/mnt/media/ -├── movies/ 4.3 ГБ Jellyfin, Radarr -├── series/ 35 ГБ Jellyfin, Sonarr -├── music/ 2.3 ГБ Navidrome -├── downloads/ qBittorrent (*arr через /data) -├── frigate/ записи Frigate -├── books/ 251 МБ Calibre / Kavita (было внутри CT111) -├── documents/ резерв под Paperless -├── photos/ резерв под Immich -├── models/ резерв под локальные LLM -└── finance/ +`/mnt/archive` (HDD 1 ТБ) — бэкапы: `backups/` (vzdump, 68 ГБ) и `media/` (ночная копия). + +## Как переносили (и что чуть не сломалось) + +Порядок в каждом сервисе: **остановить контейнер → скопировать данные → добавить +монтирование → перезапустить контейнер → проверить HTTP и размеры**. + +### Ловушка 1: копирование по путям хоста + +Paperless: пути `/opt/sync-lxc/paperless/*` существуют **внутри CT105**, а не на +хосте. Первый `rsync` по хостовому пути скопировал пустоту, контейнер упал в +restart loop. Правильно: + +```bash +pct exec 105 -- sh -c 'tar -C /opt/sync-lxc/paperless/data -cf - .' | tar -C /mnt/.../data -xf - ``` -Свободно **888 ГБ**. +### Ловушка 2: unprivileged-контейнеры и uid -## Кто уже использует +В **непривилегированном** CT uid внутри = host uid + 100000. +Копия с `--numeric-owner` сохранила `uid=1000`, контейнер увидел чужого владельца +и получил `Permission denied` на запись (`migration_lock`, `.ocdata`). -| CT | Сервис | Монтирование | -|---|---|---| -| 103 | Jellyfin | `/mnt/media` → `/media` | -| 117 | Sonarr | `/mnt/media` → `/data` | -| 118 | Radarr | `/mnt/media` → `/data` | -| 120 | Bazarr | `/mnt/media` → `/data` | -| 123 | qBittorrent | `/mnt/media` → `/data` | -| 125 | Navidrome | `/mnt/media/music` → `/music` | -| 126 | Frigate | `/mnt/media/frigate` → `/media/frigate` | -| 111 | Kavita / Calibre | `/mnt/media/books` → `/opt/books` | +| CT | unprivileged | uid внутри | uid на хосте | +|---|---|---|---| +| 105 Paperless | да | 1000 | **101000** | +| 109 Nextcloud | да | 33 | **100033** | +| 160 Ollama | да | 999 / 996 | **100999:100996** | +| 111, 155 | нет | 0 | 0 | -## Бэкапы переехали на HDD +Лечение: `chown -R 101000:101000` (и аналогично) после копирования. -| Что | Было | Стало | -|---|---|---| -| vzdump | LV `pve-backups` (тот же NVMe, что данные) | `/mnt/archive/backups`, HDD 1 ТБ | -| Конфиги и дампы БД | `/mnt/backups/configs`, `db` | скопированы на HDD | -| Хранилище PVE | `backups` | `backups-hdd` (старое отключено) | +### Ловушка 3: VM не видит LXC-монтирования -Проверка: тестовый бэкап CT161 дал файл 173 МБ на новом хранилище. -Дампов на HDD: **37**, занято 68 ГБ, свободно 799 ГБ. +Immich живёт в **VM**, поэтому bind-монтирование не подходит. Сделали **NFS**: -Старое хранилище оставлено **отключённым как резерв на неделю** — потом удалим -LV и вернём 100 ГБ в thin pool. +```bash +# хост +apt install nfs-kernel-server +echo '/mnt/media/photos 192.168.1.104(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports +exportfs -ra +# VM +apt install nfs-common # без него mount.nfs4 «bad option» +echo '192.168.1.10:/mnt/media/photos /mnt/photos nfs4 defaults,_netdev,noatime 0 0' >> /etc/fstab +``` -## Найдено по пути: `/mnt/backups` не монтировался при загрузке +Затем в `/home/roman/immich/docker-compose.yml` заменён том: +`/home/roman/immich/library:/data` → `/mnt/photos/library:/data`. -Тома `pve-backups` не было в `/etc/fstab` — после перезагрузки точка была пустой, -и `pvesm` считал размер по корневому диску. **Дампы не пострадали** (лежали на LV), -но выглядело как пустое хранилище. +## Проверка -**Решение:** добавлена запись в fstab по UUID с `nofail` — теперь монтируется -при загрузке. +| Сервис | Код | +|---|---| +| Paperless | 302 | +| Nextcloud | 302 | +| Matrix | 200 | +| Ollama (`/api/tags`) | 200 (4 модели: qwen2.5:3b, qwen2.5:0.5b, all-minilm, nomic-embed-text) | +| Immich (`/api/server/ping`) | 200 | + +Хаб: **124 из 125** (Plex выведен намеренно). ## Что осталось -1. **Immich** (VM 104) — фото внутри собственного диска 50 ГБ; переезд на - `/mnt/media/photos` требует отдельной работы (virtiofs/9p или перенос данных). -2. **Paperless** — аналогично, перенос в `/mnt/media/documents`. -3. **LLM-модели** — в `/mnt/media/models`, когда поднимем MCore. -4. **Удалить старое LV бэкапов** через неделю (вернёт 100 ГБ). -5. **fsck корня** при следующей перезагрузке. +1. Nextcloud `data/` содержит и код приложения, и файлы пользователей — при + обновлении образа том перезаписывается, это нормально. +2. Старое LV бэкапов (100 ГБ) — удалить через неделю. +3. fsck корня при следующей перезагрузке. +4. Проверить после перезагрузки: NFS-монтирование в VM и все `mp` в CT.