# LLM-узел Buryans Hub Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста. ## Железо и ОС | Параметр | Значение | |---|---| | Машина | мини-ПК, Intel Core Ultra 5 125H | | Ядра/потоки | 18 | | RAM | 15 ГиБ DDR5 | | iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` | | Диск | 98 ГБ (занято 6.7 ГБ) | | ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 | | IP | **192.168.1.229** | | Пользователь | `roman` (доступ по SSH-ключу с Proxmox) | ## Настройка памяти (сделано под модели) | Параметр | Было | Стало | Зачем | |---|---|---|---| | swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики | | `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap | | `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает | | journald | без лимита | **500 МБ** | журнал не съедает память | Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`. Swap в `/etc/fstab` — переживает перезагрузку. ## Ollama | Параметр | Значение | |---|---| | Версия | 0.40.14 | | API | `http://192.168.1.229:11434` | | Модель | **qwen2.5:7b** (4.7 ГБ, Q4) | | Скорость | **8.2 ток/с** (CPU, 18 потоков) | | Память под модель | ~5.1 ГБ RSS | Конфиг `/etc/systemd/system/ollama.service.d/override.conf`: ```ini OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ) OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели OLLAMA_FLASH_ATTENTION=1 OLLAMA_CONTEXT_LENGTH=8192 ``` ## Замеры | Задача | Результат | |---|---| | Загрузка модели | 4.8 с | | Генерация | 8.2 ток/с | | Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно | | Swap при работе | 0 Б (не тронут) | ## iGPU: не завелось (честно) Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла. **Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану). ## Что тянет узел | Задача | Подходит | |---|---| | Анализ логов, сводки, отчёты | ✅ (batch, не важно время) | | RAG-эмбеддинги, суммаризация документов | ✅ | | Классификация событий, черновики текстов | ✅ | | Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API | Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.** ## Как пользоваться ```bash # проверка curl -s http://192.168.1.229:11434/api/tags # запрос curl -s http://192.168.1.229:11434/api/generate \ -d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}' ``` Из агентов/скриптов — через `ops/scripts/llm_query.py`. ## Следующие шаги 1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи). 2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с). 3. Позже — OpenVINO для iGPU или дискретная GPU.