[SPRINT-V1][C] LLM-узел: Ollama+qwen2.5:7b на 192.168.1.229, память под модели, клиент llm_query.py, проверка в гигиене

This commit is contained in:
root committed 2026-11-05 20:50:28 +03:00
1 parent e556a9f42f
commit 98845feb0f
4 files changed
+188 -6

No files matched your search

+14 -5
View File
@@ -1,7 +1,7 @@
# Гигиенический отчёт — 2026-11-05
Проверок: 17 · находок: **21**
· high: 0 · medium: 9 · low: 5 · info: 7
Проверок: 18 · находок: **22**
· high: 0 · medium: 9 · low: 5 · info: 8
## Сводка по категориям
@@ -18,6 +18,7 @@
| мультипроектные CT | 1 | info |
| compose-паритет | 1 | info |
| docker-мусор | 1 | info |
| LLM-узел | 1 | info |
## [MEDIUM] дубль сервиса
@@ -85,7 +86,7 @@
## [MEDIUM] крупный потребитель RAM
**Что:** netbox (CT103) — 848.7MiB / 4GiB, CPU 0.00%
**Что:** netbox (CT103) — 848.5MiB / 4GiB, CPU 0.00%
**Почему:** больше 800 МиБ — кандидат на оптимизацию
@@ -133,7 +134,7 @@
## [INFO] потребление RAM
**Что:** топ: netbox 848.7MiB · paperless 518.9MiB · docmost 382.6MiB · n8n 323.2MiB · homeassistant 303.9MiB · jellyfin 268.5MiB
**Что:** топ: netbox 848.5MiB · paperless 518.5MiB · docmost 384.1MiB · n8n 343.8MiB · homeassistant 306.8MiB · jellyfin 270.6MiB
**Почему:** лёджер: следим за ростом
@@ -157,7 +158,7 @@
## [INFO] бэкапы в норме
**Что:** postgres (18.3 ч), matrix (17.3 ч), infra-ops (16.8 ч), offsite (16.2 ч), vzdump (16.3 ч)
**Что:** postgres (18.8 ч), matrix (17.8 ч), infra-ops (17.3 ч), offsite (16.8 ч), vzdump (16.8 ч)
**Почему:** свежесть подтверждена
@@ -187,3 +188,11 @@
**Что делать:** docker image prune -a (осторожно)
## [INFO] LLM-узел
**Что:** доступен, моделей: 1 (qwen2.5:7b)
**Почему:** batch-инференс готов
**Что делать:** —
+94
View File
@@ -0,0 +1,94 @@
# LLM-узел Buryans Hub
Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста.
## Железо и ОС
| Параметр | Значение |
|---|---|
| Машина | мини-ПК, Intel Core Ultra 5 125H |
| Ядра/потоки | 18 |
| RAM | 15 ГиБ DDR5 |
| iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` |
| Диск | 98 ГБ (занято 6.7 ГБ) |
| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 |
| IP | **192.168.1.229** |
| Пользователь | `roman` (доступ по SSH-ключу с Proxmox) |
## Настройка памяти (сделано под модели)
| Параметр | Было | Стало | Зачем |
|---|---|---|---|
| swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики |
| `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap |
| `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает |
| journald | без лимита | **500 МБ** | журнал не съедает память |
Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`.
Swap в `/etc/fstab` — переживает перезагрузку.
## Ollama
| Параметр | Значение |
|---|---|
| Версия | 0.40.14 |
| API | `http://192.168.1.229:11434` |
| Модель | **qwen2.5:7b** (4.7 ГБ, Q4) |
| Скорость | **8.2 ток/с** (CPU, 18 потоков) |
| Память под модель | ~5.1 ГБ RSS |
Конфиг `/etc/systemd/system/ollama.service.d/override.conf`:
```ini
OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN
OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки
OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ)
OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели
OLLAMA_FLASH_ATTENTION=1
OLLAMA_CONTEXT_LENGTH=8192
```
## Замеры
| Задача | Результат |
|---|---|
| Загрузка модели | 4.8 с |
| Генерация | 8.2 ток/с |
| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно |
| Swap при работе | 0 Б (не тронут) |
## iGPU: не завелось (честно)
Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла.
**Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану).
## Что тянет узел
| Задача | Подходит |
|---|---|
| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) |
| RAG-эмбеддинги, суммаризация документов | ✅ |
| Классификация событий, черновики текстов | ✅ |
| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API |
Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.**
## Как пользоваться
```bash
# проверка
curl -s http://192.168.1.229:11434/api/tags
# запрос
curl -s http://192.168.1.229:11434/api/generate \
-d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}'
```
Из агентов/скриптов — через `ops/scripts/llm_query.py`.
## Следующие шаги
1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи).
2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с).
3. Позже — OpenVINO для iGPU или дискретная GPU.
+22 -1
View File
@@ -413,10 +413,31 @@ def check_backup_freshness():
add("info", "бэкапы в норме", ", ".join(ok[:6]), "свежесть подтверждена", "—")
def check_llm_node():
"""Локальный LLM-узел: доступен ли и загружена ли модель."""
host = "http://192.168.1.229:11434"
out = sh("curl -s -m 10 %s/api/tags" % host, 20)
if not out:
add("high", "LLM-узел недоступен", "%s не отвечает" % host,
"batch-задачи (анализ логов, сводки) выполняться не смогут",
"проверить питание/сеть узла, systemctl status ollama")
return
try:
models = [m.get("name") for m in (json.loads(out).get("models") or [])]
except Exception:
models = []
if not models:
add("medium", "LLM-узел без модели", "API отвечает, но моделей нет",
"узел работает вхолостую", "ollama pull qwen2.5:7b")
return
add("info", "LLM-узел", "доступен, моделей: %d (%s)" % (len(models), ", ".join(models[:3])),
"batch-инференс готов", "—")
CHECKS = [check_duplicates, check_units, check_failed_units, check_onboot, check_ram,
check_monitoring, check_disk, check_ct_disk, check_certs, check_backups,
check_backup_freshness, check_compose_drift, check_docker_waste, check_logs,
check_secrets_perms, check_swap_pressure, check_cron_hotspots]
check_secrets_perms, check_swap_pressure, check_cron_hotspots, check_llm_node]
def main():
+58
View File
@@ -0,0 +1,58 @@
#!/usr/bin/env python3
"""Клиент локального LLM-узла (batch-задачи, приватные данные).
Использование:
llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300]
echo "текст" | llm_query.py -
Возвращает только текст ответа. Код возврата 0 при успехе.
"""
import argparse
import json
import sys
import urllib.request
HOST = "http://192.168.1.229:11434"
DEFAULT_MODEL = "qwen2.5:7b"
def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300):
body = json.dumps({
"model": model,
"prompt": prompt,
"stream": False,
"options": {"num_predict": max_tokens, "temperature": 0.2},
}).encode()
req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST")
req.add_header("Content-Type", "application/json")
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return d.get("response", "").strip(), d
def main():
ap = argparse.ArgumentParser()
ap.add_argument("prompt", help="текст запроса или - для stdin")
ap.add_argument("--model", default=DEFAULT_MODEL)
ap.add_argument("--max", type=int, default=300, dest="max_tokens")
ap.add_argument("--json", action="store_true", help="вывести полный ответ API")
a = ap.parse_args()
text = sys.stdin.read() if a.prompt == "-" else a.prompt
if not text.strip():
print("пустой запрос", file=sys.stderr)
return 2
try:
out, raw = ask(text, a.model, a.max_tokens)
except Exception as e:
print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr)
return 1
if a.json:
print(json.dumps(raw, ensure_ascii=False, indent=1))
else:
print(out)
return 0
if __name__ == "__main__":
sys.exit(main())