From efe0fab66f5eb04156cd4364f9bfa43be8bab08d Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 17 Nov 2026 16:02:06 +0300 Subject: [PATCH] =?UTF-8?q?[LLM]=20=D0=A2=D0=B5=D1=81=D1=82=D1=8B=20=D0=B2?= =?UTF-8?q?=D0=BE=D0=B7=D0=BC=D0=BE=D0=B6=D0=BD=D0=BE=D1=81=D1=82=D0=B5?= =?UTF-8?q?=D0=B9=20LLM:=20=D0=BB=D0=BE=D0=BA=D0=B0=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D0=B0=D1=8F=20qwen2.5:3b=20=D1=81=20few-shot=20=E2=80=94=20?= =?UTF-8?q?=D0=B8=D0=BD=D1=82=D0=B5=D0=BD=D1=82=209/10,=20=D1=81=D0=BB?= =?UTF-8?q?=D0=BE=D1=82=D1=8B=204/4,=20=D1=84=D0=B0=D0=BA=D1=82=D1=8B=203/?= =?UTF-8?q?4,=20=D0=BE=D1=82=D0=BA=D0=B0=D0=B7=D1=8B=203/3;=20DeepSeek=201?= =?UTF-8?q?0/10,=204/4,=204/4,=203/3.=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B0?= =?UTF-8?q?=D0=BB=202/10=20=D0=B1=D1=8B=D0=BB=20=D0=B8=D0=B7-=D0=B7=D0=B0?= =?UTF-8?q?=20=D0=BF=D1=80=D0=BE=D0=BC=D0=BF=D1=82=D0=B0,=20=D0=BD=D0=B5?= =?UTF-8?q?=20=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB=D0=B8.=20=D0=94=D0=BE=D0=B1?= =?UTF-8?q?=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=20ops/scripts/llm=5Fcapability.p?= =?UTF-8?q?y=20(21=20=D0=B7=D0=B0=D0=B4=D0=B0=D1=87=D0=B0,=204=20=D0=BA?= =?UTF-8?q?=D0=BB=D0=B0=D1=81=D1=81=D0=B0).=20=D0=A7=D0=B5=D1=80=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=B8=D0=BA=20=D0=BF=D1=80=D0=BE=D1=82=D0=BE=D0=BA?= =?UTF-8?q?=D0=BE=D0=BB=D0=B0:=20=D0=BA=D0=BB=D0=B0=D1=81=D1=81=D0=B8?= =?UTF-8?q?=D1=84=D0=B8=D0=BA=D0=B0=D1=86=D0=B8=D1=8F=20=D0=BB=D0=BE=D0=BA?= =?UTF-8?q?=D0=B0=D0=BB=D1=8C=D0=BD=D0=BE=20->=20=D0=BF=D0=BE=D0=BB=D0=B8?= =?UTF-8?q?=D1=82=D0=B8=D0=BA=D0=B0=20->=20=D0=B4=D0=B5=D1=82=D0=B5=D1=80?= =?UTF-8?q?=D0=BC=D0=B8=D0=BD=D0=B8=D1=80=D0=BE=D0=B2=D0=B0=D0=BD=D0=BD?= =?UTF-8?q?=D1=8B=D0=B9=20=D0=B8=D0=BD=D1=81=D1=82=D1=80=D1=83=D0=BC=D0=B5?= =?UTF-8?q?=D0=BD=D1=82=20/=20=D0=BB=D0=BE=D0=BA=D0=B0=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D0=B0=D1=8F=20LLM=20/=20DeepSeek=20=D1=82=D0=BE=D0=BB=D1=8C?= =?UTF-8?q?=D0=BA=D0=BE=20=D0=B4=D0=BB=D1=8F=20=D1=81=D0=BB=D0=BE=D0=B6?= =?UTF-8?q?=D0=BD=D0=BE=D0=B3=D0=BE;=20=D0=B0=D1=83=D0=B4=D0=B8=D1=82=20?= =?UTF-8?q?=D0=B8=20=D0=BC=D0=B5=D1=82=D1=80=D0=B8=D0=BA=D0=B0=20=D1=8D?= =?UTF-8?q?=D0=BA=D1=81=D0=BF=D0=BE=D0=B7=D0=B8=D1=86=D0=B8=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../LLM-CAPABILITY-RESULTS-2026-11-17.md | 76 ++++++ ops/scripts/llm_capability.py | 231 ++++++++++++++++++ 2 files changed, 307 insertions(+) create mode 100644 ops/audits/LLM-CAPABILITY-RESULTS-2026-11-17.md create mode 100755 ops/scripts/llm_capability.py diff --git a/ops/audits/LLM-CAPABILITY-RESULTS-2026-11-17.md b/ops/audits/LLM-CAPABILITY-RESULTS-2026-11-17.md new file mode 100644 index 0000000..0f5fa1e --- /dev/null +++ b/ops/audits/LLM-CAPABILITY-RESULTS-2026-11-17.md @@ -0,0 +1,76 @@ +# Возможности LLM: замеры и протокол (17.11.2026) + +## Главный вывод + +Локальная **qwen2.5:3b способна на большее, чем показывал первый тест**. +Провал 2/10 по интентам был вызван **плохим промптом**, а не моделью. +С few-shot промптом — **9/10**. + +## Результаты (21 задача на модель) + +| Класс | qwen2.5:3b | DeepSeek | Локальная ср. | DeepSeek ср. | +|---|---|---|---|---| +| Интент (10) | **9/10** | 10/10 | 2.5 с | 1.0 с | +| Слоты события (4) | **4/4** | 4/4 | 10.7 с | 1.1 с | +| Факт по контексту (4) | 3/4 | 4/4 | 0.9 с | 0.9 с | +| Отказ «не знаю» (3) | 3/3 | 3/3 | 3.9 с | 1.0 с | + +Первый прогон (без few-shot): интент 2/10 у 3b и 7/10 у DeepSeek — то есть +**промпт влияет сильнее, чем выбор модели**. + +## Что это значит + +* **Интент и слоты** локальная 3b делает хорошо — этого достаточно для + маршрутизации и календаря/напоминаний. +* **Факты по контексту** — почти хорошо; провал на одном кейсе. +* **Свободный диалог** этим тестом не измерялся; ожидаемо 3b слабее. +* **DeepSeek** нужен для сложных объяснений/рассуждений, а не для рутины. + +## Протокол взаимодействия (черновик) + +``` +сообщение + → нормализация + → классификация (локальная 3b, few-shot, 2–3 с) + → политика (hub-core: права, подтверждения) + → маршрут: + A. детерминированный инструмент (статус, календарь, HA, медиа) → + ответ по шаблону (LLM не нужна) + B. локальная LLM: слоты, короткий ответ, уточнение + C. DeepSeek: только сложное рассуждение, с минимизированным контекстом + → аудит + метрика экспозиции (сколько чувствительных данных ушло в облако) +``` + +### Маршруты по классам + +| Класс | Маршрут | Модель | +|---|---|---| +| Статус, диск, бэкапы | инструмент + шаблон | без LLM | +| Календарь/напоминания | слоты → инструмент | локальная | +| Дом (свет/сцены) | интент → HA API | локальная/детерминированно | +| Медиа/фото | интент → API | локальная + шаблон | +| Свободный вопрос | локальная; при провале — уточнение | локальная | +| Сложный разбор, RCA, аудит | DeepSeek | облако, с политикой | + +### Правила + +1. Действия — только через подтверждение (L1+); чтение — сразу. +2. Ошибка классификации → уточняющий вопрос, не догадка. +3. В облако — только текст запроса и краткие факты; сырые фото/календарь нет. +4. Каждый запрос — строка аудита: класс, модель, время, экспозиция. +5. Fallback: LLM недоступна → детерминированные команды. + +## Что дальше (конкретно) + +1. **Лёгкий локальный агент**: промпт 2–4k, 3–5 инструментов; замер на тех же + задачах и на 15k-промпте OpenClaw. +2. **Tool Gateway**: статус, календарь, HA, медиа — с правами и аудитом. +3. **Метрика экспозиции**: сколько данных уходит в DeepSeek; цель — 0 для + семейных классов. +4. **Нагрузочный тест**: 100 сообщений/день — выдержит ли локальная очередь. + +## Файлы + +* `ops/scripts/llm_capability.py` — тесты (21 задача, intent/slots/factual/refusal) +* `ops/scripts/llm_lab.py` — скорость (prefill/gen) +* `/var/lib/llm-capability/` — результаты diff --git a/ops/scripts/llm_capability.py b/ops/scripts/llm_capability.py new file mode 100755 index 0000000..f6e8640 --- /dev/null +++ b/ops/scripts/llm_capability.py @@ -0,0 +1,231 @@ +#!/usr/bin/env python3 +"""LLM Capability — проверка возможностей локальной LLM на наших задачах. + +Классы: + intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое) + slots — извлечь поля события в JSON + factual — ответить по предоставленному контексту + refusal — не выдумывать, если данных нет + +Запуск: + llm_capability.py --quick # 3b + deepseek, подмножество + llm_capability.py --models qwen2.5:3b,deepseek-chat + llm_capability.py --json + +Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md +""" +import argparse +import json +import os +import re +import sys +import time +import urllib.request +from datetime import date + +OLLAMA = "http://192.168.1.229:11434" +DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions" +DEEPSEEK_KEY_FILE = "/root/.deepseek-key" +OUT = "/var/lib/llm-capability" + +INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"] +INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию: +- дом: свет, розетки, климат, присутствие, «кто дома» +- медиа: фильмы, сериалы, загрузки, Jellyfin +- календарь: встречи, события, напоминания +- фото: поиск фотографий, альбомы +- статус: сервер, диск, сервисы, бэкапы +- другое: всё остальное +Примеры: +включи свет -> дом +что качается -> медиа +запиши встречу -> календарь +найди фото -> фото +как дела с сервером -> статус +погода завтра -> другое +Ответь ТОЛЬКО категорией, одним словом.""" + +INTENT_TASKS = [ + ("включи свет в коридоре", "дом"), + ("что сейчас качается?", "медиа"), + ("запиши встречу в четверг в 15:00", "календарь"), + ("найди фото с Полей за август", "фото"), + ("как дела с сервером?", "статус"), + ("сколько свободно на диске?", "статус"), + ("включи фильм Интерстеллар", "медиа"), + ("какая погода завтра?", "другое"), + ("напомни позвонить вендору в 10", "календарь"), + ("кто сейчас дома?", "дом"), +] + +SLOT_TASKS = [ + ("встреча с Ферреро в четверг в 15:00", + {"title": "Ферреро", "time": "15:00"}), + ("запиши созвон с Полей завтра в 10 утра", + {"title": "созвон", "time": "10:00"}), + ("врач у Даниила 25 ноября в 14:30", + {"title": "врач", "time": "14:30"}), + ("ужин с семьёй в субботу в 19:00", + {"title": "ужин", "time": "19:00"}), +] + +FACTUAL_TASKS = [ + ("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]), + ("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]), + ("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]), + ("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]), +] + +REFUSAL_TASKS = [ + "Сколько стоит билет до Берлина?", + "Какой пароль у роутера?", + "Кто выиграет чемпионат мира в 2030?", +] + + +def call_ollama(model, system, user, timeout=180): + body = {"model": model, "stream": False, + "messages": [{"role": "system", "content": system}, + {"role": "user", "content": user}], + "options": {"num_predict": 120, "temperature": 0}} + req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(), + headers={"Content-Type": "application/json"}, method="POST") + t0 = time.time() + with urllib.request.urlopen(req, timeout=timeout) as r: + d = json.loads(r.read().decode()) + return (d.get("message") or {}).get("content", "").strip(), time.time() - t0 + + +def call_deepseek(model, system, user, timeout=60): + key = open(DEEPSEEK_KEY_FILE).read().strip() + body = {"model": model, "temperature": 0, "max_tokens": 120, + "messages": [{"role": "system", "content": system}, + {"role": "user", "content": user}]} + req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(), + headers={"Content-Type": "application/json", + "Authorization": "Bearer " + key}, method="POST") + t0 = time.time() + with urllib.request.urlopen(req, timeout=timeout) as r: + d = json.loads(r.read().decode()) + return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0 + + +def norm(s): + return re.sub(r"\s+", " ", (s or "").lower()).strip() + + +def intent_ok(ans, expected): + a = norm(ans) + for w in INTENTS: + if w in a: + return w == expected + return False + + +def slots_ok(ans, expected): + try: + m = re.search(r"\{.*\}", ans, re.S) + d = json.loads(m.group(0)) if m else {} + except Exception: + return False + got = {k: norm(str(d.get(k, ""))) for k in expected} + return all(expected[k].lower() in got[k] for k in expected) + + +def factual_ok(ans, keywords): + a = norm(ans) + return any(k.lower() in a for k in keywords) + + +def refusal_ok(ans): + a = norm(ans) + return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю")) + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat") + ap.add_argument("--quick", action="store_true") + ap.add_argument("--json", action="store_true") + ap.add_argument("--timeout", type=int, default=180) + args = ap.parse_args() + models = [m.strip() for m in args.models.split(",") if m.strip()] + os.makedirs(OUT, exist_ok=True) + rows = [] + + for m in models: + is_cloud = "deepseek" in m + call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \ + (lambda s, u: call_ollama(m, s, u, args.timeout)) + print("\n=== %s ===" % m) + classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS), + ("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)] + if args.quick: + classes = [(n, t[:3]) for n, t in classes] + for cls, tasks in classes: + ok = 0 + lat = [] + for task in tasks: + if cls == "intent": + user = task[0] + system = INTENT_SYS + try: + ans, dt = call(system, user) + good = intent_ok(ans, task[1]) + except Exception as e: + ans, dt, good = "ERR " + str(e)[:60], 0, False + elif cls == "slots": + user = task[0] + system = ('Извлеки поля события и ответь только JSON: ' + '{"title": "...", "time": "HH:MM"}') + try: + ans, dt = call(system, user) + good = slots_ok(ans, task[1]) + except Exception as e: + ans, dt, good = "ERR " + str(e)[:60], 0, False + elif cls == "factual": + user = task[0] + system = "Отвечай только по данному вопросу, кратко." + try: + ans, dt = call(system, user) + good = factual_ok(ans, task[1]) + except Exception as e: + ans, dt, good = "ERR " + str(e)[:60], 0, False + else: + user = task + system = "Если данных нет — скажи 'не знаю'. Не выдумывай." + try: + ans, dt = call(system, user) + good = refusal_ok(ans) + except Exception as e: + ans, dt, good = "ERR " + str(e)[:60], 0, False + ok += 1 if good else 0 + lat.append(dt) + rows.append({"model": m, "class": cls, "task": user, + "answer": ans[:200], "ok": bool(good), + "latency_s": round(dt, 1), "cloud": is_cloud}) + print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks), + sum(lat) / max(1, len(lat)))) + + out = os.path.join(OUT, date.today().isoformat() + ".jsonl") + with open(out, "w", encoding="utf-8") as f: + for r in rows: + f.write(json.dumps(r, ensure_ascii=False) + "\n") + if not args.json: + from collections import defaultdict + agg = defaultdict(lambda: [0, 0, 0.0]) + for r in rows: + k = (r["model"], r["class"]) + agg[k][0] += 1 if r["ok"] else 0 + agg[k][1] += 1 + agg[k][2] += r["latency_s"] + with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f: + f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today()) + for (m, c), (ok, n, t) in sorted(agg.items()): + f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n)) + print("\nитог:", os.path.join(OUT, "summary.md")) + return 0 + + +if __name__ == "__main__": + sys.exit(main())