Files
buryan-infra/ops/llm/README.md
T

95 lines
4.1 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# LLM-узел Buryans Hub
Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.
## Железо и ОС
| Параметр | Значение |
|---|---|
| Машина | мини-ПК, Intel Core Ultra 5 125H |
| Ядра/потоки | 18 |
| RAM | 15 ГиБ DDR5 |
| iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` |
| Диск | 98 ГБ (занято 6.7 ГБ) |
| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 |
| IP | **192.168.1.229** |
| Пользователь | `roman` (доступ по SSH-ключу с Proxmox) |
## Настройка памяти (сделано под модели)
| Параметр | Было | Стало | Зачем |
|---|---|---|---|
| swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики |
| `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap |
| `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает |
| journald | без лимита | **500 МБ** | журнал не съедает память |
Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`.
Swap в `/etc/fstab` — переживает перезагрузку.
## Ollama
| Параметр | Значение |
|---|---|
| Версия | 0.40.14 |
| API | `http://192.168.1.229:11434` |
| Модель | **qwen2.5:7b** (4.7 ГБ, Q4) |
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
| Память под модель | ~5.1 ГБ RSS |
Конфиг `/etc/systemd/system/ollama.service.d/override.conf`:
```ini
OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN
OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки
OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ)
OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели
OLLAMA_FLASH_ATTENTION=1
OLLAMA_CONTEXT_LENGTH=8192
```
## Замеры
| Задача | Результат |
|---|---|
| Загрузка модели | 4.8 с |
| Генерация | 8.2 ток/с |
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно |
| Swap при работе | 0 Б (не тронут) |
## iGPU: не завелось (честно)
Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла.
**Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).
## Что тянет узел
| Задача | Подходит |
|---|---|
| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) |
| RAG-эмбеддинги, суммаризация документов | ✅ |
| Классификация событий, черновики текстов | ✅ |
| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API |
Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.**
## Как пользоваться
```bash
# проверка
curl -s http://192.168.1.229:11434/api/tags
# запрос
curl -s http://192.168.1.229:11434/api/generate \
-d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'
```
Из агентов/скриптов — через `ops/scripts/llm_query.py`.
## Следующие шаги
1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
3. Позже — OpenVINO для iGPU или дискретная GPU.