diff --git a/ops/hygiene/report-2026-11-05.md b/ops/hygiene/report-2026-11-05.md index 364f070..8af2d1c 100644 --- a/ops/hygiene/report-2026-11-05.md +++ b/ops/hygiene/report-2026-11-05.md @@ -1,7 +1,7 @@ # Гигиенический отчёт — 2026-11-05 -Проверок: 17 · находок: **21** -· high: 0 · medium: 9 · low: 5 · info: 7 +Проверок: 18 · находок: **22** +· high: 0 · medium: 9 · low: 5 · info: 8 ## Сводка по категориям @@ -18,6 +18,7 @@ | мультипроектные CT | 1 | info | | compose-паритет | 1 | info | | docker-мусор | 1 | info | +| LLM-узел | 1 | info | ## [MEDIUM] дубль сервиса @@ -85,7 +86,7 @@ ## [MEDIUM] крупный потребитель RAM -**Что:** netbox (CT103) — 848.7MiB / 4GiB, CPU 0.00% +**Что:** netbox (CT103) — 848.5MiB / 4GiB, CPU 0.00% **Почему:** больше 800 МиБ — кандидат на оптимизацию @@ -133,7 +134,7 @@ ## [INFO] потребление RAM -**Что:** топ: netbox 848.7MiB · paperless 518.9MiB · docmost 382.6MiB · n8n 323.2MiB · homeassistant 303.9MiB · jellyfin 268.5MiB +**Что:** топ: netbox 848.5MiB · paperless 518.5MiB · docmost 384.1MiB · n8n 343.8MiB · homeassistant 306.8MiB · jellyfin 270.6MiB **Почему:** лёджер: следим за ростом @@ -157,7 +158,7 @@ ## [INFO] бэкапы в норме -**Что:** postgres (18.3 ч), matrix (17.3 ч), infra-ops (16.8 ч), offsite (16.2 ч), vzdump (16.3 ч) +**Что:** postgres (18.8 ч), matrix (17.8 ч), infra-ops (17.3 ч), offsite (16.8 ч), vzdump (16.8 ч) **Почему:** свежесть подтверждена @@ -187,3 +188,11 @@ **Что делать:** docker image prune -a (осторожно) +## [INFO] LLM-узел + +**Что:** доступен, моделей: 1 (qwen2.5:7b) + +**Почему:** batch-инференс готов + +**Что делать:** — + diff --git a/ops/llm/README.md b/ops/llm/README.md new file mode 100644 index 0000000..62c5a93 --- /dev/null +++ b/ops/llm/README.md @@ -0,0 +1,94 @@ +# LLM-узел Buryans Hub + +Локальный вычислительный узел для моделей. Отделён от Proxmox — не расходует память хоста. + +## Железо и ОС + +| Параметр | Значение | +|---|---| +| Машина | мини-ПК, Intel Core Ultra 5 125H | +| Ядра/потоки | 18 | +| RAM | 15 ГиБ DDR5 | +| iGPU | Intel Arc Graphics (Meteor Lake-P), `/dev/dri/renderD128` | +| Диск | 98 ГБ (занято 6.7 ГБ) | +| ОС | Ubuntu 24.04.3 LTS, ядро 6.8.0-147 | +| IP | **192.168.1.229** | +| Пользователь | `roman` (доступ по SSH-ключу с Proxmox) | + +## Настройка памяти (сделано под модели) + +| Параметр | Было | Стало | Зачем | +|---|---|---|---| +| swap | 4 ГБ | **11 ГБ** (`/swap.img` 4 ГБ + `/swap-llm.img` 8 ГБ) | запас на загрузку весов и пики | +| `vm.swappiness` | 60 | **10** | модель остаётся в RAM, не вытесняется в swap | +| `vm.vfs_cache_pressure` | 100 | **50** | кэш файлов не мешает | +| journald | без лимита | **500 МБ** | журнал не съедает память | + +Файлы: `/etc/sysctl.d/99-llm.conf`, `/etc/systemd/journald.conf.d/99-llm.conf`. +Swap в `/etc/fstab` — переживает перезагрузку. + +## Ollama + +| Параметр | Значение | +|---|---| +| Версия | 0.40.14 | +| API | `http://192.168.1.229:11434` | +| Модель | **qwen2.5:7b** (4.7 ГБ, Q4) | +| Скорость | **8.2 ток/с** (CPU, 18 потоков) | +| Память под модель | ~5.1 ГБ RSS | + +Конфиг `/etc/systemd/system/ollama.service.d/override.conf`: + +```ini +OLLAMA_HOST=0.0.0.0:11434 # доступ из LAN +OLLAMA_KEEP_ALIVE=-1 # модель резидентна, без перезагрузки +OLLAMA_NUM_PARALLEL=1 # один запрос за раз (16 ГБ) +OLLAMA_MAX_LOADED_MODELS=1 # не держим две модели +OLLAMA_FLASH_ATTENTION=1 +OLLAMA_CONTEXT_LENGTH=8192 +``` + +## Замеры + +| Задача | Результат | +|---|---| +| Загрузка модели | 4.8 с | +| Генерация | 8.2 ток/с | +| Память при работе | 5.7 ГиБ занято, 9.4 ГиБ свободно | +| Swap при работе | 0 Б (не тронут) | + +## iGPU: не завелось (честно) + +Intel Arc в этом билде Ollama **не подхватывается**: `OLLAMA_VULKAN=1` и `OLLAMA_IGPU_ENABLE=1` принимаются, но в логе остаётся `inference compute id=cpu library=cpu`. Установка `intel-opencl-icd` + `intel-level-zero-gpu` не помогла. + +**Вывод:** CPU-only. Для ускорения на Arc позже нужен OpenVINO/IPEX-LLM или GPU (по вашему плану). + +## Что тянет узел + +| Задача | Подходит | +|---|---| +| Анализ логов, сводки, отчёты | ✅ (batch, не важно время) | +| RAG-эмбеддинги, суммаризация документов | ✅ | +| Классификация событий, черновики текстов | ✅ | +| Интерактивный диалог (Секретарь) | ⚠️ медленно — для этого DeepSeek API | + +Правило роутинга: **интерактив → DeepSeek, batch/приватное → локальный узел.** + +## Как пользоваться + +```bash +# проверка +curl -s http://192.168.1.229:11434/api/tags + +# запрос +curl -s http://192.168.1.229:11434/api/generate \ + -d '{"model":"qwen2.5:7b","prompt":"Привет","stream":false}' +``` + +Из агентов/скриптов — через `ops/scripts/llm_query.py`. + +## Следующие шаги + +1. Подключить как «медленный, но приватный» провайдер в Hermes (batch-задачи). +2. Опционально поднять модель 14B (влезает в память, но ~4 ток/с). +3. Позже — OpenVINO для iGPU или дискретная GPU. diff --git a/ops/scripts/hygiene_scan.py b/ops/scripts/hygiene_scan.py index a647047..8bed4a3 100644 --- a/ops/scripts/hygiene_scan.py +++ b/ops/scripts/hygiene_scan.py @@ -413,10 +413,31 @@ def check_backup_freshness(): add("info", "бэкапы в норме", ", ".join(ok[:6]), "свежесть подтверждена", "—") +def check_llm_node(): + """Локальный LLM-узел: доступен ли и загружена ли модель.""" + host = "http://192.168.1.229:11434" + out = sh("curl -s -m 10 %s/api/tags" % host, 20) + if not out: + add("high", "LLM-узел недоступен", "%s не отвечает" % host, + "batch-задачи (анализ логов, сводки) выполняться не смогут", + "проверить питание/сеть узла, systemctl status ollama") + return + try: + models = [m.get("name") for m in (json.loads(out).get("models") or [])] + except Exception: + models = [] + if not models: + add("medium", "LLM-узел без модели", "API отвечает, но моделей нет", + "узел работает вхолостую", "ollama pull qwen2.5:7b") + return + add("info", "LLM-узел", "доступен, моделей: %d (%s)" % (len(models), ", ".join(models[:3])), + "batch-инференс готов", "—") + + CHECKS = [check_duplicates, check_units, check_failed_units, check_onboot, check_ram, check_monitoring, check_disk, check_ct_disk, check_certs, check_backups, check_backup_freshness, check_compose_drift, check_docker_waste, check_logs, - check_secrets_perms, check_swap_pressure, check_cron_hotspots] + check_secrets_perms, check_swap_pressure, check_cron_hotspots, check_llm_node] def main(): diff --git a/ops/scripts/llm_query.py b/ops/scripts/llm_query.py new file mode 100755 index 0000000..8f7258f --- /dev/null +++ b/ops/scripts/llm_query.py @@ -0,0 +1,58 @@ +#!/usr/bin/env python3 +"""Клиент локального LLM-узла (batch-задачи, приватные данные). + +Использование: + llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300] + echo "текст" | llm_query.py - + +Возвращает только текст ответа. Код возврата 0 при успехе. +""" +import argparse +import json +import sys +import urllib.request + +HOST = "http://192.168.1.229:11434" +DEFAULT_MODEL = "qwen2.5:7b" + + +def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300): + body = json.dumps({ + "model": model, + "prompt": prompt, + "stream": False, + "options": {"num_predict": max_tokens, "temperature": 0.2}, + }).encode() + req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST") + req.add_header("Content-Type", "application/json") + with urllib.request.urlopen(req, timeout=timeout) as r: + d = json.loads(r.read().decode()) + return d.get("response", "").strip(), d + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("prompt", help="текст запроса или - для stdin") + ap.add_argument("--model", default=DEFAULT_MODEL) + ap.add_argument("--max", type=int, default=300, dest="max_tokens") + ap.add_argument("--json", action="store_true", help="вывести полный ответ API") + a = ap.parse_args() + + text = sys.stdin.read() if a.prompt == "-" else a.prompt + if not text.strip(): + print("пустой запрос", file=sys.stderr) + return 2 + try: + out, raw = ask(text, a.model, a.max_tokens) + except Exception as e: + print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr) + return 1 + if a.json: + print(json.dumps(raw, ensure_ascii=False, indent=1)) + else: + print(out) + return 0 + + +if __name__ == "__main__": + sys.exit(main())