[SPRINT-V1][C] LLM-узел: Ollama+qwen2.5:7b на 192.168.1.229, память под модели, клиент llm_query.py, проверка в гигиене
This commit is contained in:
1 parent
e556a9f42f
commit
98845feb0f
4 files changed
+188
-6
No files matched your search
@@ -1,7 +1,7 @@
|
||||
# Гигиенический отчёт — 2026-11-05
|
||||
|
||||
Проверок: 17 · находок: **21**
|
||||
· high: 0 · medium: 9 · low: 5 · info: 7
|
||||
Проверок: 18 · находок: **22**
|
||||
· high: 0 · medium: 9 · low: 5 · info: 8
|
||||
|
||||
## Сводка по категориям
|
||||
|
||||
@@ -18,6 +18,7 @@
|
||||
| мультипроектные CT | 1 | info |
|
||||
| compose-паритет | 1 | info |
|
||||
| docker-мусор | 1 | info |
|
||||
| LLM-узел | 1 | info |
|
||||
|
||||
## [MEDIUM] дубль сервиса
|
||||
|
||||
@@ -85,7 +86,7 @@
|
||||
|
||||
## [MEDIUM] крупный потребитель RAM
|
||||
|
||||
**Что:** netbox (CT103) — 848.7MiB / 4GiB, CPU 0.00%
|
||||
**Что:** netbox (CT103) — 848.5MiB / 4GiB, CPU 0.00%
|
||||
|
||||
**Почему:** больше 800 МиБ — кандидат на оптимизацию
|
||||
|
||||
@@ -133,7 +134,7 @@
|
||||
|
||||
## [INFO] потребление RAM
|
||||
|
||||
**Что:** топ: netbox 848.7MiB · paperless 518.9MiB · docmost 382.6MiB · n8n 323.2MiB · homeassistant 303.9MiB · jellyfin 268.5MiB
|
||||
**Что:** топ: netbox 848.5MiB · paperless 518.5MiB · docmost 384.1MiB · n8n 343.8MiB · homeassistant 306.8MiB · jellyfin 270.6MiB
|
||||
|
||||
**Почему:** лёджер: следим за ростом
|
||||
|
||||
@@ -157,7 +158,7 @@
|
||||
|
||||
## [INFO] бэкапы в норме
|
||||
|
||||
**Что:** postgres (18.3 ч), matrix (17.3 ч), infra-ops (16.8 ч), offsite (16.2 ч), vzdump (16.3 ч)
|
||||
**Что:** postgres (18.8 ч), matrix (17.8 ч), infra-ops (17.3 ч), offsite (16.8 ч), vzdump (16.8 ч)
|
||||
|
||||
**Почему:** свежесть подтверждена
|
||||
|
||||
@@ -187,3 +188,11 @@
|
||||
|
||||
**Что делать:** docker image prune -a (осторожно)
|
||||
|
||||
## [INFO] LLM-узел
|
||||
|
||||
**Что:** доступен, моделей: 1 (qwen2.5:7b)
|
||||
|
||||
**Почему:** batch-инференс готов
|
||||
|
||||
**Что делать:** —
|
||||
|
||||
@@ -0,0 +1,94 @@
|
||||
# LLM-узел Buryans Hub
|
||||
|
||||
Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.
|
||||
|
||||
## Железо и ОС
|
||||
|
||||
| Параметр | Значение |
|
||||
|---|---|
|
||||
| Машина | мини-ПК, Intel Core Ultra 5 125H |
|
||||
| Ядра/потоки | 18 |
|
||||
| RAM | 15 ГиБ DDR5 |
|
||||
| iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` |
|
||||
| Диск | 98 ГБ (занято 6.7 ГБ) |
|
||||
| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 |
|
||||
| IP | **192.168.1.229** |
|
||||
| Пользователь | `roman` (доступ по SSH-ключу с Proxmox) |
|
||||
|
||||
## Настройка памяти (сделано под модели)
|
||||
|
||||
| Параметр | Было | Стало | Зачем |
|
||||
|---|---|---|---|
|
||||
| swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики |
|
||||
| `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap |
|
||||
| `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает |
|
||||
| journald | без лимита | **500 МБ** | журнал не съедает память |
|
||||
|
||||
Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`.
|
||||
Swap в `/etc/fstab` — переживает перезагрузку.
|
||||
|
||||
## Ollama
|
||||
|
||||
| Параметр | Значение |
|
||||
|---|---|
|
||||
| Версия | 0.40.14 |
|
||||
| API | `http://192.168.1.229:11434` |
|
||||
| Модель | **qwen2.5:7b** (4.7 ГБ, Q4) |
|
||||
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
|
||||
| Память под модель | ~5.1 ГБ RSS |
|
||||
|
||||
Конфиг `/etc/systemd/system/ollama.service.d/override.conf`:
|
||||
|
||||
```ini
|
||||
OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN
|
||||
OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки
|
||||
OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ)
|
||||
OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели
|
||||
OLLAMA_FLASH_ATTENTION=1
|
||||
OLLAMA_CONTEXT_LENGTH=8192
|
||||
```
|
||||
|
||||
## Замеры
|
||||
|
||||
| Задача | Результат |
|
||||
|---|---|
|
||||
| Загрузка модели | 4.8 с |
|
||||
| Генерация | 8.2 ток/с |
|
||||
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно |
|
||||
| Swap при работе | 0 Б (не тронут) |
|
||||
|
||||
## iGPU: не завелось (честно)
|
||||
|
||||
Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла.
|
||||
|
||||
**Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).
|
||||
|
||||
## Что тянет узел
|
||||
|
||||
| Задача | Подходит |
|
||||
|---|---|
|
||||
| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) |
|
||||
| RAG-эмбеддинги, суммаризация документов | ✅ |
|
||||
| Классификация событий, черновики текстов | ✅ |
|
||||
| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API |
|
||||
|
||||
Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.**
|
||||
|
||||
## Как пользоваться
|
||||
|
||||
```bash
|
||||
# проверка
|
||||
curl -s http://192.168.1.229:11434/api/tags
|
||||
|
||||
# запрос
|
||||
curl -s http://192.168.1.229:11434/api/generate \
|
||||
-d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'
|
||||
```
|
||||
|
||||
Из агентов/скриптов — через `ops/scripts/llm_query.py`.
|
||||
|
||||
## Следующие шаги
|
||||
|
||||
1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
|
||||
2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
|
||||
3. Позже — OpenVINO для iGPU или дискретная GPU.
|
||||
@@ -413,10 +413,31 @@ def check_backup_freshness():
|
||||
add("info", "бэкапы в норме", ", ".join(ok[:6]), "свежесть подтверждена", "—")
|
||||
|
||||
|
||||
def check_llm_node():
|
||||
"""Локальный LLM-узел: доступен ли и загружена ли модель."""
|
||||
host = "http://192.168.1.229:11434"
|
||||
out = sh("curl -s -m 10 %s/api/tags" % host, 20)
|
||||
if not out:
|
||||
add("high", "LLM-узел недоступен", "%s не отвечает" % host,
|
||||
"batch-задачи (анализ логов, сводки) выполняться не смогут",
|
||||
"проверить питание/сеть узла, systemctl status ollama")
|
||||
return
|
||||
try:
|
||||
models = [m.get("name") for m in (json.loads(out).get("models") or [])]
|
||||
except Exception:
|
||||
models = []
|
||||
if not models:
|
||||
add("medium", "LLM-узел без модели", "API отвечает, но моделей нет",
|
||||
"узел работает вхолостую", "ollama pull qwen2.5:7b")
|
||||
return
|
||||
add("info", "LLM-узел", "доступен, моделей: %d (%s)" % (len(models), ", ".join(models[:3])),
|
||||
"batch-инференс готов", "—")
|
||||
|
||||
|
||||
CHECKS = [check_duplicates, check_units, check_failed_units, check_onboot, check_ram,
|
||||
check_monitoring, check_disk, check_ct_disk, check_certs, check_backups,
|
||||
check_backup_freshness, check_compose_drift, check_docker_waste, check_logs,
|
||||
check_secrets_perms, check_swap_pressure, check_cron_hotspots]
|
||||
check_secrets_perms, check_swap_pressure, check_cron_hotspots, check_llm_node]
|
||||
|
||||
|
||||
def main():
|
||||
|
||||
Executable
+58
@@ -0,0 +1,58 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Клиент локального LLM-узла (batch-задачи, приватные данные).
|
||||
|
||||
Использование:
|
||||
llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300]
|
||||
echo "текст" | llm_query.py -
|
||||
|
||||
Возвращает только текст ответа. Код возврата 0 при успехе.
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import sys
|
||||
import urllib.request
|
||||
|
||||
HOST = "http://192.168.1.229:11434"
|
||||
DEFAULT_MODEL = "qwen2.5:7b"
|
||||
|
||||
|
||||
def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300):
|
||||
body = json.dumps({
|
||||
"model": model,
|
||||
"prompt": prompt,
|
||||
"stream": False,
|
||||
"options": {"num_predict": max_tokens, "temperature": 0.2},
|
||||
}).encode()
|
||||
req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST")
|
||||
req.add_header("Content-Type", "application/json")
|
||||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||||
d = json.loads(r.read().decode())
|
||||
return d.get("response", "").strip(), d
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("prompt", help="текст запроса или - для stdin")
|
||||
ap.add_argument("--model", default=DEFAULT_MODEL)
|
||||
ap.add_argument("--max", type=int, default=300, dest="max_tokens")
|
||||
ap.add_argument("--json", action="store_true", help="вывести полный ответ API")
|
||||
a = ap.parse_args()
|
||||
|
||||
text = sys.stdin.read() if a.prompt == "-" else a.prompt
|
||||
if not text.strip():
|
||||
print("пустой запрос", file=sys.stderr)
|
||||
return 2
|
||||
try:
|
||||
out, raw = ask(text, a.model, a.max_tokens)
|
||||
except Exception as e:
|
||||
print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr)
|
||||
return 1
|
||||
if a.json:
|
||||
print(json.dumps(raw, ensure_ascii=False, indent=1))
|
||||
else:
|
||||
print(out)
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in new issue
Block a user