[LLM] Тесты возможностей LLM: локальная qwen2.5:3b с few-shot — интент 9/10, слоты 4/4, факты 3/4, отказы 3/3; DeepSeek 10/10, 4/4, 4/4, 3/3. Провал 2/10 был из-за промпта, не модели. Добавлен ops/scripts/llm_capability.py (21 задача, 4 класса). Черновик протокола: классификация локально -> политика -> детерминированный инструмент / локальная LLM / DeepSeek только для сложного; аудит и метрика экспозиции

This commit is contained in:
root committed 2026-11-17 16:02:06 +03:00
1 parent 893bf687e6
commit efe0fab66f
2 files changed
+307

No files matched your search

@@ -0,0 +1,76 @@
# Возможности LLM: замеры и протокол (17.11.2026)
## Главный вывод
Локальная **qwen2.5:3b способна на большее, чем показывал первый тест**.
Провал 2/10 по интентам был вызван **плохим промптом**, а не моделью.
С few-shot промптом — **9/10**.
## Результаты (21 задача на модель)
| Класс | qwen2.5:3b | DeepSeek | Локальная ср. | DeepSeek ср. |
|---|---|---|---|---|
| Интент (10) | **9/10** | 10/10 | 2.5 с | 1.0 с |
| Слоты события (4) | **4/4** | 4/4 | 10.7 с | 1.1 с |
| Факт по контексту (4) | 3/4 | 4/4 | 0.9 с | 0.9 с |
| Отказ «не знаю» (3) | 3/3 | 3/3 | 3.9 с | 1.0 с |
Первый прогон (без few-shot): интент 2/10 у 3b и 7/10 у DeepSeek — то есть
**промпт влияет сильнее, чем выбор модели**.
## Что это значит
* **Интент и слоты** локальная 3b делает хорошо — этого достаточно для
маршрутизации и календаря/напоминаний.
* **Факты по контексту** — почти хорошо; провал на одном кейсе.
* **Свободный диалог** этим тестом не измерялся; ожидаемо 3b слабее.
* **DeepSeek** нужен для сложных объяснений/рассуждений, а не для рутины.
## Протокол взаимодействия (черновик)
```
сообщение
→ нормализация
→ классификация (локальная 3b, few-shot, 2–3 с)
→ политика (hub-core: права, подтверждения)
→ маршрут:
A. детерминированный инструмент (статус, календарь, HA, медиа) →
ответ по шаблону (LLM не нужна)
B. локальная LLM: слоты, короткий ответ, уточнение
C. DeepSeek: только сложное рассуждение, с минимизированным контекстом
→ аудит + метрика экспозиции (сколько чувствительных данных ушло в облако)
```
### Маршруты по классам
| Класс | Маршрут | Модель |
|---|---|---|
| Статус, диск, бэкапы | инструмент + шаблон | без LLM |
| Календарь/напоминания | слоты → инструмент | локальная |
| Дом (свет/сцены) | интент → HA API | локальная/детерминированно |
| Медиа/фото | интент → API | локальная + шаблон |
| Свободный вопрос | локальная; при провале — уточнение | локальная |
| Сложный разбор, RCA, аудит | DeepSeek | облако, с политикой |
### Правила
1. Действия — только через подтверждение (L1+); чтение — сразу.
2. Ошибка классификации → уточняющий вопрос, не догадка.
3. В облако — только текст запроса и краткие факты; сырые фото/календарь нет.
4. Каждый запрос — строка аудита: класс, модель, время, экспозиция.
5. Fallback: LLM недоступна → детерминированные команды.
## Что дальше (конкретно)
1. **Лёгкий локальный агент**: промпт 2–4k, 3–5 инструментов; замер на тех же
задачах и на 15k-промпте OpenClaw.
2. **Tool Gateway**: статус, календарь, HA, медиа — с правами и аудитом.
3. **Метрика экспозиции**: сколько данных уходит в DeepSeek; цель — 0 для
семейных классов.
4. **Нагрузочный тест**: 100 сообщений/день — выдержит ли локальная очередь.
## Файлы
* `ops/scripts/llm_capability.py` — тесты (21 задача, intent/slots/factual/refusal)
* `ops/scripts/llm_lab.py` — скорость (prefill/gen)
* `/var/lib/llm-capability/` — результаты
+231
View File
@@ -0,0 +1,231 @@
#!/usr/bin/env python3
"""LLM Capability — проверка возможностей локальной LLM на наших задачах.
Классы:
intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое)
slots — извлечь поля события в JSON
factual — ответить по предоставленному контексту
refusal — не выдумывать, если данных нет
Запуск:
llm_capability.py --quick # 3b + deepseek, подмножество
llm_capability.py --models qwen2.5:3b,deepseek-chat
llm_capability.py --json
Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md
"""
import argparse
import json
import os
import re
import sys
import time
import urllib.request
from datetime import date
OLLAMA = "http://192.168.1.229:11434"
DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions"
DEEPSEEK_KEY_FILE = "/root/.deepseek-key"
OUT = "/var/lib/llm-capability"
INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"]
INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию:
- дом: свет, розетки, климат, присутствие, «кто дома»
- медиа: фильмы, сериалы, загрузки, Jellyfin
- календарь: встречи, события, напоминания
- фото: поиск фотографий, альбомы
- статус: сервер, диск, сервисы, бэкапы
- другое: всё остальное
Примеры:
включи свет -> дом
что качается -> медиа
запиши встречу -> календарь
найди фото -> фото
как дела с сервером -> статус
погода завтра -> другое
Ответь ТОЛЬКО категорией, одним словом."""
INTENT_TASKS = [
("включи свет в коридоре", "дом"),
("что сейчас качается?", "медиа"),
("запиши встречу в четверг в 15:00", "календарь"),
("найди фото с Полей за август", "фото"),
("как дела с сервером?", "статус"),
("сколько свободно на диске?", "статус"),
("включи фильм Интерстеллар", "медиа"),
("какая погода завтра?", "другое"),
("напомни позвонить вендору в 10", "календарь"),
("кто сейчас дома?", "дом"),
]
SLOT_TASKS = [
("встреча с Ферреро в четверг в 15:00",
{"title": "Ферреро", "time": "15:00"}),
("запиши созвон с Полей завтра в 10 утра",
{"title": "созвон", "time": "10:00"}),
("врач у Даниила 25 ноября в 14:30",
{"title": "врач", "time": "14:30"}),
("ужин с семьёй в субботу в 19:00",
{"title": "ужин", "time": "19:00"}),
]
FACTUAL_TASKS = [
("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]),
("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]),
("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]),
("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]),
]
REFUSAL_TASKS = [
"Сколько стоит билет до Берлина?",
"Какой пароль у роутера?",
"Кто выиграет чемпионат мира в 2030?",
]
def call_ollama(model, system, user, timeout=180):
body = {"model": model, "stream": False,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}],
"options": {"num_predict": 120, "temperature": 0}}
req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(),
headers={"Content-Type": "application/json"}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return (d.get("message") or {}).get("content", "").strip(), time.time() - t0
def call_deepseek(model, system, user, timeout=60):
key = open(DEEPSEEK_KEY_FILE).read().strip()
body = {"model": model, "temperature": 0, "max_tokens": 120,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}]}
req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(),
headers={"Content-Type": "application/json",
"Authorization": "Bearer " + key}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0
def norm(s):
return re.sub(r"\s+", " ", (s or "").lower()).strip()
def intent_ok(ans, expected):
a = norm(ans)
for w in INTENTS:
if w in a:
return w == expected
return False
def slots_ok(ans, expected):
try:
m = re.search(r"\{.*\}", ans, re.S)
d = json.loads(m.group(0)) if m else {}
except Exception:
return False
got = {k: norm(str(d.get(k, ""))) for k in expected}
return all(expected[k].lower() in got[k] for k in expected)
def factual_ok(ans, keywords):
a = norm(ans)
return any(k.lower() in a for k in keywords)
def refusal_ok(ans):
a = norm(ans)
return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю"))
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat")
ap.add_argument("--quick", action="store_true")
ap.add_argument("--json", action="store_true")
ap.add_argument("--timeout", type=int, default=180)
args = ap.parse_args()
models = [m.strip() for m in args.models.split(",") if m.strip()]
os.makedirs(OUT, exist_ok=True)
rows = []
for m in models:
is_cloud = "deepseek" in m
call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \
(lambda s, u: call_ollama(m, s, u, args.timeout))
print("\n=== %s ===" % m)
classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS),
("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)]
if args.quick:
classes = [(n, t[:3]) for n, t in classes]
for cls, tasks in classes:
ok = 0
lat = []
for task in tasks:
if cls == "intent":
user = task[0]
system = INTENT_SYS
try:
ans, dt = call(system, user)
good = intent_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "slots":
user = task[0]
system = ('Извлеки поля события и ответь только JSON: '
'{"title": "...", "time": "HH:MM"}')
try:
ans, dt = call(system, user)
good = slots_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "factual":
user = task[0]
system = "Отвечай только по данному вопросу, кратко."
try:
ans, dt = call(system, user)
good = factual_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
else:
user = task
system = "Если данных нет — скажи 'не знаю'. Не выдумывай."
try:
ans, dt = call(system, user)
good = refusal_ok(ans)
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
ok += 1 if good else 0
lat.append(dt)
rows.append({"model": m, "class": cls, "task": user,
"answer": ans[:200], "ok": bool(good),
"latency_s": round(dt, 1), "cloud": is_cloud})
print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks),
sum(lat) / max(1, len(lat))))
out = os.path.join(OUT, date.today().isoformat() + ".jsonl")
with open(out, "w", encoding="utf-8") as f:
for r in rows:
f.write(json.dumps(r, ensure_ascii=False) + "\n")
if not args.json:
from collections import defaultdict
agg = defaultdict(lambda: [0, 0, 0.0])
for r in rows:
k = (r["model"], r["class"])
agg[k][0] += 1 if r["ok"] else 0
agg[k][1] += 1
agg[k][2] += r["latency_s"]
with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f:
f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today())
for (m, c), (ok, n, t) in sorted(agg.items()):
f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n))
print("\nитог:", os.path.join(OUT, "summary.md"))
return 0
if __name__ == "__main__":
sys.exit(main())