95 lines
4.1 KiB
Markdown
95 lines
4.1 KiB
Markdown
# LLM-узел Buryans Hub
|
||
|
||
Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.
|
||
|
||
## Железо и ОС
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| Машина | мини-ПК, Intel Core Ultra 5 125H |
|
||
| Ядра/потоки | 18 |
|
||
| RAM | 15 ГиБ DDR5 |
|
||
| iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` |
|
||
| Диск | 98 ГБ (занято 6.7 ГБ) |
|
||
| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 |
|
||
| IP | **192.168.1.229** |
|
||
| Пользователь | `roman` (доступ по SSH-ключу с Proxmox) |
|
||
|
||
## Настройка памяти (сделано под модели)
|
||
|
||
| Параметр | Было | Стало | Зачем |
|
||
|---|---|---|---|
|
||
| swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики |
|
||
| `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap |
|
||
| `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает |
|
||
| journald | без лимита | **500 МБ** | журнал не съедает память |
|
||
|
||
Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`.
|
||
Swap в `/etc/fstab` — переживает перезагрузку.
|
||
|
||
## Ollama
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| Версия | 0.40.14 |
|
||
| API | `http://192.168.1.229:11434` |
|
||
| Модель | **qwen2.5:7b** (4.7 ГБ, Q4) |
|
||
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
|
||
| Память под модель | ~5.1 ГБ RSS |
|
||
|
||
Конфиг `/etc/systemd/system/ollama.service.d/override.conf`:
|
||
|
||
```ini
|
||
OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN
|
||
OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки
|
||
OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ)
|
||
OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели
|
||
OLLAMA_FLASH_ATTENTION=1
|
||
OLLAMA_CONTEXT_LENGTH=8192
|
||
```
|
||
|
||
## Замеры
|
||
|
||
| Задача | Результат |
|
||
|---|---|
|
||
| Загрузка модели | 4.8 с |
|
||
| Генерация | 8.2 ток/с |
|
||
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно |
|
||
| Swap при работе | 0 Б (не тронут) |
|
||
|
||
## iGPU: не завелось (честно)
|
||
|
||
Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла.
|
||
|
||
**Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).
|
||
|
||
## Что тянет узел
|
||
|
||
| Задача | Подходит |
|
||
|---|---|
|
||
| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) |
|
||
| RAG-эмбеддинги, суммаризация документов | ✅ |
|
||
| Классификация событий, черновики текстов | ✅ |
|
||
| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API |
|
||
|
||
Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.**
|
||
|
||
## Как пользоваться
|
||
|
||
```bash
|
||
# проверка
|
||
curl -s http://192.168.1.229:11434/api/tags
|
||
|
||
# запрос
|
||
curl -s http://192.168.1.229:11434/api/generate \
|
||
-d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'
|
||
```
|
||
|
||
Из агентов/скриптов — через `ops/scripts/llm_query.py`.
|
||
|
||
## Следующие шаги
|
||
|
||
1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
|
||
2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
|
||
3. Позже — OpenVINO для iGPU или дискретная GPU.
|