From 394f7b2aa1a04e18a0bf5b087a877897d46e8aa8 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Fri, 23 Oct 2026 17:44:27 +0300 Subject: [PATCH] =?UTF-8?q?[HW]=20=D0=9F=D0=BB=D0=B0=D0=BD=20=D0=98=D0=98-?= =?UTF-8?q?=D1=83=D0=B7=D0=BB=D0=B0:=20=D1=87=D1=82=D0=BE=20=D0=BF=D0=B5?= =?UTF-8?q?=D1=80=D0=B5=D0=BD=D0=BE=D1=81=D0=B8=D1=82=D1=8C,=20=D1=81?= =?UTF-8?q?=D0=BA=D0=BE=D0=BB=D1=8C=D0=BA=D0=BE=20RAM=20=D0=BD=D1=83=D0=B6?= =?UTF-8?q?=D0=BD=D0=BE,=20=D0=B0=D0=BF=D0=B3=D1=80=D0=B5=D0=B9=D0=B4?= =?UTF-8?q?=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hardware/AI-NODE-PLAN.md | 94 ++++++++++++++++++++++++++++++++++++ 1 file changed, 94 insertions(+) create mode 100644 ops/hardware/AI-NODE-PLAN.md diff --git a/ops/hardware/AI-NODE-PLAN.md b/ops/hardware/AI-NODE-PLAN.md new file mode 100644 index 0000000..29ec083 --- /dev/null +++ b/ops/hardware/AI-NODE-PLAN.md @@ -0,0 +1,94 @@ +# Централизация ИИ: что можно перенести на MCore4 Pro (23.10) + +## Что уже есть в стеке (факты) + +| Задача | Где сейчас | Ресурсы | GPU | +|---|---|---|---| +| LLM (Ollama) | CT160 `llm-lxc` | 2 ядра, 4 ГБ | **нет** (`/dev/dri` отсутствует) | +| Frigate | CT126 `frigate-lxc` | 2 ядра, 2 ГБ | **нет**, Coral нет, камер нет | +| Paperless OCR | CT105 | CPU | нет | +| Immich ML | в реестре есть, не развёрнут | — | — | +| DeepSeek (облако) | внешний API | — | — | + +Отсюда 121 секунда на 3B-модель: **2 ядра без GPU**. + +## Что можно перенести на MCore4 Pro + +| Нагрузка | Пойдёт? | Комментарий | +|---|---|---| +| LLM 7B (Q4) | ✅ отлично | ~4.5 ГБ, iGPU/NPU | +| LLM 14B (Q4) | ✅ при 32 ГБ RAM | ~9 ГБ | +| Whisper STT | ✅ | small/medium в реальном времени | +| Piper TTS | ✅ | копейки по ресурсам | +| Эмбеддинги (RAG) | ✅ | ~0.5 ГБ | +| Frigate-детекция | ✅ с **Coral USB** | иначе съест iGPU | +| Frigate-декодирование | ✅ Arc (VAAPI) | лучше, чем CPU | +| Immich ML | ⚠️ лучше рядом с фото | всплесковая нагрузка | +| Paperless OCR | ⚠️ можно, но незачем | CPU-задача, места мало | + +## Хватит ли 16 ГБ + +| Комбинация | RAM | Вывод | +|---|---|---| +| LLM 7B + Whisper + TTS + эмбеддинги | ~7 ГБ | ✅ свободно | +| LLM 14B + Whistper + TTS | ~12 ГБ | ✅ впритык, но можно | +| LLM 7B + Frigate с 3 камерами + Whisper | ~10 ГБ | ⚠️ зависит от разрешения | +| Всё сразу + Immich ML | 16 ГБ | ❌ будет swap | + +**Вывод:** 16 ГБ хватает на «ИИ-хаб» (LLM+STT+TTS). Для 14B-моделей +и камер одновременно нужно **32 ГБ** (2×16 DDR5 SO-DIMM, два слота есть). + +## Как устроен (что проверить при вскрытии) + +Корпус 188×188×47.5 мм, крепление VESA, нижняя крышка на винтах. + +| Узел | Ожидание | Что проверить | +|---|---|---| +| RAM | 2× SO-DIMM DDR5, оба заняты 8+8 | есть ли запас по объёму (до 64/96 ГБ) | +| SSD | M.2 NVMe 2280, 256 ГБ | длина слота, Key M, есть ли второй слот 2242 | +| Coral | — | **M.2-слот занят SSD** → брать Coral **USB** | +| Охлаждение | активный вентилятор | шум в гостиной | +| BIOS | UEFI, Secure Boot, TPM 2.0 | можно ли отключить Secure Boot для Linux | + +## Два варианта архитектуры + +### A. ИИ-узел (рекомендую) +``` +MCore4 Pro +├── Ollama (7B/14B, OpenAI-совместимый API) ← единая точка для всех +├── faster-whisper +├── Piper TTS +└── эмбеддинги для RAG +``` +Все сервисы (HA, боты, секретарь, поиск, голос) ходят на **один адрес**. +DeepSeek остаётся как fallback для сложных запросов. + +Frigate — отдельно, с **Coral USB**, потому что видеопоток — это I/O, +а не ИИ; смешивать с LLM на одной машине рискованно. + +### B. Всё на одной машине +MCore4 Pro + SSD 1 ТБ + 32 ГБ RAM + Coral USB: LLM, Frigate, Immich ML. +Плюс — одна точка. Минус — единая точка отказа и 16 ГБ мало без апгрейда. + +## Что даёт апгрейд + +| Апгрейд | Цена (ориентир) | Что даёт | +|---|---|---| +| RAM 2×16 ГБ DDR5 | 5–8 тыс ₽ | 14B-модели, несколько задач | +| SSD 1 ТБ NVMe | 5–7 тыс ₽ | модели + кэш Frigate + Docker | +| Coral USB | 5–7 тыс ₽ | детекция без нагрузки на CPU/GPU | + +**SSD 256 ГБ для ИИ-узла достаточно:** 7B ≈ 4.5 ГБ, 14B ≈ 9 ГБ, +Whisper ≈ 1 ГБ, TTS ≈ 0.2 ГБ. Менять SSD стоит только под Frigate-кэш. + +## Как решить без гаданий + +1. Загрузиться с USB-флешки в Debian Live (не трогая внутренний SSD). +2. Запустить замеры: + * `ollama run qwen2.5:7b` → токенов в секунду; + * `faster-whisper small` → время на 10-секундную фразу; + * `vainfo`/`intel_gpu_top` → виден ли Arc. +3. Если 7B даёт ≥10 ток/с — узел годится для ассистента. +4. Если ≥20 ток/с — можно думать про 14B. + +Пока нет этих цифр, решение — вера, а не инженерия.