[HW] План ИИ-узла: что переносить, сколько RAM нужно, апгрейды
This commit is contained in:
1 parent
7df1b445c3
commit
394f7b2aa1
1 file changed
+94
@@ -0,0 +1,94 @@
|
||||
# Централизация ИИ: что можно перенести на MCore4 Pro (23.10)
|
||||
|
||||
## Что уже есть в стеке (факты)
|
||||
|
||||
| Задача | Где сейчас | Ресурсы | GPU |
|
||||
|---|---|---|---|
|
||||
| LLM (Ollama) | CT160 `llm-lxc` | 2 ядра, 4 ГБ | **нет** (`/dev/dri` отсутствует) |
|
||||
| Frigate | CT126 `frigate-lxc` | 2 ядра, 2 ГБ | **нет**, Coral нет, камер нет |
|
||||
| Paperless OCR | CT105 | CPU | нет |
|
||||
| Immich ML | в реестре есть, не развёрнут | — | — |
|
||||
| DeepSeek (облако) | внешний API | — | — |
|
||||
|
||||
Отсюда 121 секунда на 3B-модель: **2 ядра без GPU**.
|
||||
|
||||
## Что можно перенести на MCore4 Pro
|
||||
|
||||
| Нагрузка | Пойдёт? | Комментарий |
|
||||
|---|---|---|
|
||||
| LLM 7B (Q4) | ✅ отлично | ~4.5 ГБ, iGPU/NPU |
|
||||
| LLM 14B (Q4) | ✅ при 32 ГБ RAM | ~9 ГБ |
|
||||
| Whisper STT | ✅ | small/medium в реальном времени |
|
||||
| Piper TTS | ✅ | копейки по ресурсам |
|
||||
| Эмбеддинги (RAG) | ✅ | ~0.5 ГБ |
|
||||
| Frigate-детекция | ✅ с **Coral USB** | иначе съест iGPU |
|
||||
| Frigate-декодирование | ✅ Arc (VAAPI) | лучше, чем CPU |
|
||||
| Immich ML | ⚠️ лучше рядом с фото | всплесковая нагрузка |
|
||||
| Paperless OCR | ⚠️ можно, но незачем | CPU-задача, места мало |
|
||||
|
||||
## Хватит ли 16 ГБ
|
||||
|
||||
| Комбинация | RAM | Вывод |
|
||||
|---|---|---|
|
||||
| LLM 7B + Whisper + TTS + эмбеддинги | ~7 ГБ | ✅ свободно |
|
||||
| LLM 14B + Whistper + TTS | ~12 ГБ | ✅ впритык, но можно |
|
||||
| LLM 7B + Frigate с 3 камерами + Whisper | ~10 ГБ | ⚠️ зависит от разрешения |
|
||||
| Всё сразу + Immich ML | 16 ГБ | ❌ будет swap |
|
||||
|
||||
**Вывод:** 16 ГБ хватает на «ИИ-хаб» (LLM+STT+TTS). Для 14B-моделей
|
||||
и камер одновременно нужно **32 ГБ** (2×16 DDR5 SO-DIMM, два слота есть).
|
||||
|
||||
## Как устроен (что проверить при вскрытии)
|
||||
|
||||
Корпус 188×188×47.5 мм, крепление VESA, нижняя крышка на винтах.
|
||||
|
||||
| Узел | Ожидание | Что проверить |
|
||||
|---|---|---|
|
||||
| RAM | 2× SO-DIMM DDR5, оба заняты 8+8 | есть ли запас по объёму (до 64/96 ГБ) |
|
||||
| SSD | M.2 NVMe 2280, 256 ГБ | длина слота, Key M, есть ли второй слот 2242 |
|
||||
| Coral | — | **M.2-слот занят SSD** → брать Coral **USB** |
|
||||
| Охлаждение | активный вентилятор | шум в гостиной |
|
||||
| BIOS | UEFI, Secure Boot, TPM 2.0 | можно ли отключить Secure Boot для Linux |
|
||||
|
||||
## Два варианта архитектуры
|
||||
|
||||
### A. ИИ-узел (рекомендую)
|
||||
```
|
||||
MCore4 Pro
|
||||
├── Ollama (7B/14B, OpenAI-совместимый API) ← единая точка для всех
|
||||
├── faster-whisper
|
||||
├── Piper TTS
|
||||
└── эмбеддинги для RAG
|
||||
```
|
||||
Все сервисы (HA, боты, секретарь, поиск, голос) ходят на **один адрес**.
|
||||
DeepSeek остаётся как fallback для сложных запросов.
|
||||
|
||||
Frigate — отдельно, с **Coral USB**, потому что видеопоток — это I/O,
|
||||
а не ИИ; смешивать с LLM на одной машине рискованно.
|
||||
|
||||
### B. Всё на одной машине
|
||||
MCore4 Pro + SSD 1 ТБ + 32 ГБ RAM + Coral USB: LLM, Frigate, Immich ML.
|
||||
Плюс — одна точка. Минус — единая точка отказа и 16 ГБ мало без апгрейда.
|
||||
|
||||
## Что даёт апгрейд
|
||||
|
||||
| Апгрейд | Цена (ориентир) | Что даёт |
|
||||
|---|---|---|
|
||||
| RAM 2×16 ГБ DDR5 | 5–8 тыс ₽ | 14B-модели, несколько задач |
|
||||
| SSD 1 ТБ NVMe | 5–7 тыс ₽ | модели + кэш Frigate + Docker |
|
||||
| Coral USB | 5–7 тыс ₽ | детекция без нагрузки на CPU/GPU |
|
||||
|
||||
**SSD 256 ГБ для ИИ-узла достаточно:** 7B ≈ 4.5 ГБ, 14B ≈ 9 ГБ,
|
||||
Whisper ≈ 1 ГБ, TTS ≈ 0.2 ГБ. Менять SSD стоит только под Frigate-кэш.
|
||||
|
||||
## Как решить без гаданий
|
||||
|
||||
1. Загрузиться с USB-флешки в Debian Live (не трогая внутренний SSD).
|
||||
2. Запустить замеры:
|
||||
* `ollama run qwen2.5:7b` → токенов в секунду;
|
||||
* `faster-whisper small` → время на 10-секундную фразу;
|
||||
* `vainfo`/`intel_gpu_top` → виден ли Arc.
|
||||
3. Если 7B даёт ≥10 ток/с — узел годится для ассистента.
|
||||
4. Если ≥20 ток/с — можно думать про 14B.
|
||||
|
||||
Пока нет этих цифр, решение — вера, а не инженерия.
|
||||
Reference in new issue
Block a user