Files

LLM-узел Buryans Hub

Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.

Железо и ОС

Параметр Значение
Машина мини-ПК, Intel Core Ultra 5 125H
Ядра/потоки 18
RAM 15 ГиБ DDR5
iGPU Intel Arc Graphics (Meteor Lake-P), /dev/dri/renderD128
Диск 98 ГБ (занято 6.7 ГБ)
ОС Ubuntu 24.04.3 LTS, ядро 6.8.0-147
IP 192.168.1.229
Пользователь roman (доступ по SSH-ключу с Proxmox)

Настройка памяти (сделано под модели)

Параметр Было Стало Зачем
swap 4 ГБ 11 ГБ (/swap.img 4 ГБ + /swap-llm.img 8 ГБ) запас на загрузку весов и пики
vm.swappiness 60 10 модель остаётся в RAM, не вытесняется в swap
vm.vfs_cache_pressure 100 50 кэш файлов не мешает
journald без лимита 500 МБ журнал не съедает память

Файлы: /etc/sysctl.d/99-llm.conf, /etc/systemd/journald.conf.d/99-llm.conf. Swap в /etc/fstab — переживает перезагрузку.

Ollama

Параметр Значение
Версия 0.40.14
API http://192.168.1.229:11434
Модель qwen2.5:7b (4.7 ГБ, Q4)
Скорость 8.2 ток/с (CPU, 18 потоков)
Память под модель ~5.1 ГБ RSS

Конфиг /etc/systemd/system/ollama.service.d/override.conf:

OLLAMA_HOST=0.0.0.0:11434      # доступ из LAN
OLLAMA_KEEP_ALIVE=-1           # модель резидентна, без перезагрузки
OLLAMA_NUM_PARALLEL=1          # один запрос за раз (16 ГБ)
OLLAMA_MAX_LOADED_MODELS=1     # не держим две модели
OLLAMA_FLASH_ATTENTION=1
OLLAMA_CONTEXT_LENGTH=8192

Замеры

Задача Результат
Загрузка модели 4.8 с
Генерация 8.2 ток/с
Память при работе 5.7 ГиБ занято, 9.4 ГиБ свободно
Swap при работе 0 Б (не тронут)

iGPU: не завелось (честно)

Intel Arc в этом билде Ollama не подхватывается: OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1 принимаются, но в логе остаётся inference compute id=cpu library=cpu. Установка intel-opencl-icd + intel-level-zero-gpu не помогла.

Вывод: CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).

Что тянет узел

Задача Подходит
Анализ логов, сводки, отчёты ✅ (batch, не важно время)
RAG-эмбеддинги, суммаризация документов ✅
Классификация событий, черновики текстов ✅
Интерактивный диалог (Секретарь) ⚠️ медленно — для этого DeepSeek API

Правило роутинга: интерактив → DeepSeek, batch/приватное → локальный узел.

Как пользоваться

# проверка
curl -s http://192.168.1.229:11434/api/tags

# запрос
curl -s http://192.168.1.229:11434/api/generate \
  -d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'

Из агентов/скриптов — через ops/scripts/llm_query.py.

Следующие шаги

  1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
  2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
  3. Позже — OpenVINO для iGPU или дискретная GPU.