LLM-узел Buryans Hub
Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.
Железо и ОС
| Параметр | Значение |
|---|---|
| Машина | мини-ПК, Intel Core Ultra 5 125H |
| Ядра/потоки | 18 |
| RAM | 15 ГиБ DDR5 |
| iGPU | Intel Arc Graphics (Meteor Lake-P), /dev/dri/renderD128 |
| Диск | 98 ГБ (занято 6.7 ГБ) |
| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 |
| IP | 192.168.1.229 |
| Пользователь | roman (доступ по SSH-ключу с Proxmox) |
Настройка памяти (сделано под модели)
| Параметр | Было | Стало | Зачем |
|---|---|---|---|
| swap | 4 ГБ | 11 ГБ (/swap.img 4 ГБ + /swap-llm.img 8 ГБ) |
запас на загрузку весов и пики |
vm.swappiness |
60 | 10 | модель остаётся в RAM, не вытесняется в swap |
vm.vfs_cache_pressure |
100 | 50 | кэш файлов не мешает |
| journald | без лимита | 500 МБ | журнал не съедает память |
Файлы: /etc/sysctl.d/99-llm.conf, /etc/systemd/journald.conf.d/99-llm.conf.
Swap в /etc/fstab — переживает перезагрузку.
Ollama
| Параметр | Значение |
|---|---|
| Версия | 0.40.14 |
| API | http://192.168.1.229:11434 |
| Модель | qwen2.5:7b (4.7 ГБ, Q4) |
| Скорость | 8.2 ток/с (CPU, 18 потоков) |
| Память под модель | ~5.1 ГБ RSS |
Конфиг /etc/systemd/system/ollama.service.d/override.conf:
OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN
OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки
OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ)
OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели
OLLAMA_FLASH_ATTENTION=1
OLLAMA_CONTEXT_LENGTH=8192
Замеры
| Задача | Результат |
|---|---|
| Загрузка модели | 4.8 с |
| Генерация | 8.2 ток/с |
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно |
| Swap при работе | 0 Б (не тронут) |
iGPU: не завелось (честно)
Intel Arc в этом билде Ollama не подхватывается: OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1 принимаются, но в логе остаётся inference compute id=cpu library=cpu. Установка intel-opencl-icd + intel-level-zero-gpu не помогла.
Вывод: CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).
Что тянет узел
| Задача | Подходит |
|---|---|
| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) |
| RAG-эмбеддинги, суммаризация документов | ✅ |
| Классификация событий, черновики текстов | ✅ |
| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API |
Правило роутинга: интерактив → DeepSeek, batch/приватное → локальный узел.
Как пользоваться
# проверка
curl -s http://192.168.1.229:11434/api/tags
# запрос
curl -s http://192.168.1.229:11434/api/generate \
-d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'
Из агентов/скриптов — через ops/scripts/llm_query.py.
Следующие шаги
- Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
- Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
- Позже — OpenVINO для iGPU или дискретная GPU.