Files
buryan-infra/ops/hardware/AI-NODE-PLAN.md
T

5.0 KiB
Raw Blame History

Централизация ИИ: что можно перенести на MCore4 Pro (23.10)

Что уже есть в стеке (факты)

Задача Где сейчас Ресурсы GPU
LLM (Ollama) CT160 llm-lxc 2 ядра, 4 ГБ нет (/dev/dri отсутствует)
Frigate CT126 frigate-lxc 2 ядра, 2 ГБ нет, Coral нет, камер нет
Paperless OCR CT105 CPU нет
Immich ML в реестре есть, не развёрнут — —
DeepSeek (облако) внешний API — —

Отсюда 121 секунда на 3B-модель: 2 ядра без GPU.

Что можно перенести на MCore4 Pro

Нагрузка Пойдёт? Комментарий
LLM 7B (Q4) ✅ отлично ~4.5 ГБ, iGPU/NPU
LLM 14B (Q4) ✅ при 32 ГБ RAM ~9 ГБ
Whisper STT ✅ small/medium в реальном времени
Piper TTS ✅ копейки по ресурсам
Эмбеддинги (RAG) ✅ ~0.5 ГБ
Frigate-детекция ✅ с Coral USB иначе съест iGPU
Frigate-декодирование ✅ Arc (VAAPI) лучше, чем CPU
Immich ML ⚠️ лучше рядом с фото всплесковая нагрузка
Paperless OCR ⚠️ можно, но незачем CPU-задача, места мало

Хватит ли 16 ГБ

Комбинация RAM Вывод
LLM 7B + Whisper + TTS + эмбеддинги ~7 ГБ ✅ свободно
LLM 14B + Whistper + TTS ~12 ГБ ✅ впритык, но можно
LLM 7B + Frigate с 3 камерами + Whisper ~10 ГБ ⚠️ зависит от разрешения
Всё сразу + Immich ML 16 ГБ ❌ будет swap

Вывод: 16 ГБ хватает на «ИИ-хаб» (LLM+STT+TTS). Для 14B-моделей и камер одновременно нужно 32 ГБ (2×16 DDR5 SO-DIMM, два слота есть).

Как устроен (что проверить при вскрытии)

Корпус 188×188×47.5 мм, крепление VESA, нижняя крышка на винтах.

Узел Ожидание Что проверить
RAM 2× SO-DIMM DDR5, оба заняты 8+8 есть ли запас по объёму (до 64/96 ГБ)
SSD M.2 NVMe 2280, 256 ГБ длина слота, Key M, есть ли второй слот 2242
Coral — M.2-слот занят SSD → брать Coral USB
Охлаждение активный вентилятор шум в гостиной
BIOS UEFI, Secure Boot, TPM 2.0 можно ли отключить Secure Boot для Linux

Два варианта архитектуры

A. ИИ-узел (рекомендую)

MCore4 Pro
├── Ollama (7B/14B, OpenAI-совместимый API)  ← единая точка для всех
├── faster-whisper
├── Piper TTS
└── эмбеддинги для RAG

Все сервисы (HA, боты, секретарь, поиск, голос) ходят на один адрес. DeepSeek остаётся как fallback для сложных запросов.

Frigate — отдельно, с Coral USB, потому что видеопоток — это I/O, а не ИИ; смешивать с LLM на одной машине рискованно.

B. Всё на одной машине

MCore4 Pro + SSD 1 ТБ + 32 ГБ RAM + Coral USB: LLM, Frigate, Immich ML. Плюс — одна точка. Минус — единая точка отказа и 16 ГБ мало без апгрейда.

Что даёт апгрейд

Апгрейд Цена (ориентир) Что даёт
RAM 2×16 ГБ DDR5 5–8 тыс ₽ 14B-модели, несколько задач
SSD 1 ТБ NVMe 5–7 тыс ₽ модели + кэш Frigate + Docker
Coral USB 5–7 тыс ₽ детекция без нагрузки на CPU/GPU

SSD 256 ГБ для ИИ-узла достаточно: 7B ≈ 4.5 ГБ, 14B ≈ 9 ГБ, Whisper ≈ 1 ГБ, TTS ≈ 0.2 ГБ. Менять SSD стоит только под Frigate-кэш.

Как решить без гаданий

  1. Загрузиться с USB-флешки в Debian Live (не трогая внутренний SSD).
  2. Запустить замеры:
    • ollama run qwen2.5:7b → токенов в секунду;
    • faster-whisper small → время на 10-секундную фразу;
    • vainfo/intel_gpu_top → виден ли Arc.
  3. Если 7B даёт ≥10 ток/с — узел годится для ассистента.
  4. Если ≥20 ток/с — можно думать про 14B.

Пока нет этих цифр, решение — вера, а не инженерия.