Files
buryan-infra/ops/hardware/AI-NODE-PLAN.md
T

95 lines
5.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Централизация ИИ: что можно перенести на MCore4 Pro (23.10)
## Что уже есть в стеке (факты)
| Задача | Где сейчас | Ресурсы | GPU |
|---|---|---|---|
| LLM (Ollama) | CT160 `llm-lxc` | 2 ядра, 4 ГБ | **нет** (`/dev/dri` отсутствует) |
| Frigate | CT126 `frigate-lxc` | 2 ядра, 2 ГБ | **нет**, Coral нет, камер нет |
| Paperless OCR | CT105 | CPU | нет |
| Immich ML | в реестре есть, не развёрнут | — | — |
| DeepSeek (облако) | внешний API | — | — |
Отсюда 121 секунда на 3B-модель: **2 ядра без GPU**.
## Что можно перенести на MCore4 Pro
| Нагрузка | Пойдёт? | Комментарий |
|---|---|---|
| LLM 7B (Q4) | ✅ отлично | ~4.5 ГБ, iGPU/NPU |
| LLM 14B (Q4) | ✅ при 32 ГБ RAM | ~9 ГБ |
| Whisper STT | ✅ | small/medium в реальном времени |
| Piper TTS | ✅ | копейки по ресурсам |
| Эмбеддинги (RAG) | ✅ | ~0.5 ГБ |
| Frigate-детекция | ✅ с **Coral USB** | иначе съест iGPU |
| Frigate-декодирование | ✅ Arc (VAAPI) | лучше, чем CPU |
| Immich ML | ⚠️ лучше рядом с фото | всплесковая нагрузка |
| Paperless OCR | ⚠️ можно, но незачем | CPU-задача, места мало |
## Хватит ли 16 ГБ
| Комбинация | RAM | Вывод |
|---|---|---|
| LLM 7B + Whisper + TTS + эмбеддинги | ~7 ГБ | ✅ свободно |
| LLM 14B + Whistper + TTS | ~12 ГБ | ✅ впритык, но можно |
| LLM 7B + Frigate с 3 камерами + Whisper | ~10 ГБ | ⚠️ зависит от разрешения |
| Всё сразу + Immich ML | 16 ГБ | ❌ будет swap |
**Вывод:** 16 ГБ хватает на «ИИ-хаб» (LLM+STT+TTS). Для 14B-моделей
и камер одновременно нужно **32 ГБ** (2×16 DDR5 SO-DIMM, два слота есть).
## Как устроен (что проверить при вскрытии)
Корпус 188×188×47.5 мм, крепление VESA, нижняя крышка на винтах.
| Узел | Ожидание | Что проверить |
|---|---|---|
| RAM | 2× SO-DIMM DDR5, оба заняты 8+8 | есть ли запас по объёму (до 64/96 ГБ) |
| SSD | M.2 NVMe 2280, 256 ГБ | длина слота, Key M, есть ли второй слот 2242 |
| Coral | — | **M.2-слот занят SSD** → брать Coral **USB** |
| Охлаждение | активный вентилятор | шум в гостиной |
| BIOS | UEFI, Secure Boot, TPM 2.0 | можно ли отключить Secure Boot для Linux |
## Два варианта архитектуры
### A. ИИ-узел (рекомендую)
```
MCore4 Pro
├── Ollama (7B/14B, OpenAI-совместимый API) ← единая точка для всех
├── faster-whisper
├── Piper TTS
└── эмбеддинги для RAG
```
Все сервисы (HA, боты, секретарь, поиск, голос) ходят на **один адрес**.
DeepSeek остаётся как fallback для сложных запросов.
Frigate — отдельно, с **Coral USB**, потому что видеопоток — это I/O,
а не ИИ; смешивать с LLM на одной машине рискованно.
### B. Всё на одной машине
MCore4 Pro + SSD 1 ТБ + 32 ГБ RAM + Coral USB: LLM, Frigate, Immich ML.
Плюс — одна точка. Минус — единая точка отказа и 16 ГБ мало без апгрейда.
## Что даёт апгрейд
| Апгрейд | Цена (ориентир) | Что даёт |
|---|---|---|
| RAM 2×16 ГБ DDR5 | 5–8 тыс ₽ | 14B-модели, несколько задач |
| SSD 1 ТБ NVMe | 5–7 тыс ₽ | модели + кэш Frigate + Docker |
| Coral USB | 5–7 тыс ₽ | детекция без нагрузки на CPU/GPU |
**SSD 256 ГБ для ИИ-узла достаточно:** 7B ≈ 4.5 ГБ, 14B ≈ 9 ГБ,
Whisper ≈ 1 ГБ, TTS ≈ 0.2 ГБ. Менять SSD стоит только под Frigate-кэш.
## Как решить без гаданий
1. Загрузиться с USB-флешки в Debian Live (не трогая внутренний SSD).
2. Запустить замеры:
* `ollama run qwen2.5:7b` → токенов в секунду;
* `faster-whisper small` → время на 10-секундную фразу;
* `vainfo`/`intel_gpu_top` → виден ли Arc.
3. Если 7B даёт ≥10 ток/с — узел годится для ассистента.
4. Если ≥20 ток/с — можно думать про 14B.
Пока нет этих цифр, решение — вера, а не инженерия.