[LLM] Тесты возможностей LLM: локальная qwen2.5:3b с few-shot — интент 9/10, слоты 4/4, факты 3/4, отказы 3/3; DeepSeek 10/10, 4/4, 4/4, 3/3. Провал 2/10 был из-за промпта, не модели. Добавлен ops/scripts/llm_capability.py (21 задача, 4 класса). Черновик протокола: классификация локально -> политика -> детерминированный инструмент / локальная LLM / DeepSeek только для сложного; аудит и метрика экспозиции
This commit is contained in:
1 parent
893bf687e6
commit
efe0fab66f
2 files changed
+307
No files matched your search
@@ -0,0 +1,76 @@
|
||||
# Возможности LLM: замеры и протокол (17.11.2026)
|
||||
|
||||
## Главный вывод
|
||||
|
||||
Локальная **qwen2.5:3b способна на большее, чем показывал первый тест**.
|
||||
Провал 2/10 по интентам был вызван **плохим промптом**, а не моделью.
|
||||
С few-shot промптом — **9/10**.
|
||||
|
||||
## Результаты (21 задача на модель)
|
||||
|
||||
| Класс | qwen2.5:3b | DeepSeek | Локальная ср. | DeepSeek ср. |
|
||||
|---|---|---|---|---|
|
||||
| Интент (10) | **9/10** | 10/10 | 2.5 с | 1.0 с |
|
||||
| Слоты события (4) | **4/4** | 4/4 | 10.7 с | 1.1 с |
|
||||
| Факт по контексту (4) | 3/4 | 4/4 | 0.9 с | 0.9 с |
|
||||
| Отказ «не знаю» (3) | 3/3 | 3/3 | 3.9 с | 1.0 с |
|
||||
|
||||
Первый прогон (без few-shot): интент 2/10 у 3b и 7/10 у DeepSeek — то есть
|
||||
**промпт влияет сильнее, чем выбор модели**.
|
||||
|
||||
## Что это значит
|
||||
|
||||
* **Интент и слоты** локальная 3b делает хорошо — этого достаточно для
|
||||
маршрутизации и календаря/напоминаний.
|
||||
* **Факты по контексту** — почти хорошо; провал на одном кейсе.
|
||||
* **Свободный диалог** этим тестом не измерялся; ожидаемо 3b слабее.
|
||||
* **DeepSeek** нужен для сложных объяснений/рассуждений, а не для рутины.
|
||||
|
||||
## Протокол взаимодействия (черновик)
|
||||
|
||||
```
|
||||
сообщение
|
||||
→ нормализация
|
||||
→ классификация (локальная 3b, few-shot, 2–3 с)
|
||||
→ политика (hub-core: права, подтверждения)
|
||||
→ маршрут:
|
||||
A. детерминированный инструмент (статус, календарь, HA, медиа) →
|
||||
ответ по шаблону (LLM не нужна)
|
||||
B. локальная LLM: слоты, короткий ответ, уточнение
|
||||
C. DeepSeek: только сложное рассуждение, с минимизированным контекстом
|
||||
→ аудит + метрика экспозиции (сколько чувствительных данных ушло в облако)
|
||||
```
|
||||
|
||||
### Маршруты по классам
|
||||
|
||||
| Класс | Маршрут | Модель |
|
||||
|---|---|---|
|
||||
| Статус, диск, бэкапы | инструмент + шаблон | без LLM |
|
||||
| Календарь/напоминания | слоты → инструмент | локальная |
|
||||
| Дом (свет/сцены) | интент → HA API | локальная/детерминированно |
|
||||
| Медиа/фото | интент → API | локальная + шаблон |
|
||||
| Свободный вопрос | локальная; при провале — уточнение | локальная |
|
||||
| Сложный разбор, RCA, аудит | DeepSeek | облако, с политикой |
|
||||
|
||||
### Правила
|
||||
|
||||
1. Действия — только через подтверждение (L1+); чтение — сразу.
|
||||
2. Ошибка классификации → уточняющий вопрос, не догадка.
|
||||
3. В облако — только текст запроса и краткие факты; сырые фото/календарь нет.
|
||||
4. Каждый запрос — строка аудита: класс, модель, время, экспозиция.
|
||||
5. Fallback: LLM недоступна → детерминированные команды.
|
||||
|
||||
## Что дальше (конкретно)
|
||||
|
||||
1. **Лёгкий локальный агент**: промпт 2–4k, 3–5 инструментов; замер на тех же
|
||||
задачах и на 15k-промпте OpenClaw.
|
||||
2. **Tool Gateway**: статус, календарь, HA, медиа — с правами и аудитом.
|
||||
3. **Метрика экспозиции**: сколько данных уходит в DeepSeek; цель — 0 для
|
||||
семейных классов.
|
||||
4. **Нагрузочный тест**: 100 сообщений/день — выдержит ли локальная очередь.
|
||||
|
||||
## Файлы
|
||||
|
||||
* `ops/scripts/llm_capability.py` — тесты (21 задача, intent/slots/factual/refusal)
|
||||
* `ops/scripts/llm_lab.py` — скорость (prefill/gen)
|
||||
* `/var/lib/llm-capability/` — результаты
|
||||
Executable
+231
@@ -0,0 +1,231 @@
|
||||
#!/usr/bin/env python3
|
||||
"""LLM Capability — проверка возможностей локальной LLM на наших задачах.
|
||||
|
||||
Классы:
|
||||
intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое)
|
||||
slots — извлечь поля события в JSON
|
||||
factual — ответить по предоставленному контексту
|
||||
refusal — не выдумывать, если данных нет
|
||||
|
||||
Запуск:
|
||||
llm_capability.py --quick # 3b + deepseek, подмножество
|
||||
llm_capability.py --models qwen2.5:3b,deepseek-chat
|
||||
llm_capability.py --json
|
||||
|
||||
Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md
|
||||
"""
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import time
|
||||
import urllib.request
|
||||
from datetime import date
|
||||
|
||||
OLLAMA = "http://192.168.1.229:11434"
|
||||
DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions"
|
||||
DEEPSEEK_KEY_FILE = "/root/.deepseek-key"
|
||||
OUT = "/var/lib/llm-capability"
|
||||
|
||||
INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"]
|
||||
INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию:
|
||||
- дом: свет, розетки, климат, присутствие, «кто дома»
|
||||
- медиа: фильмы, сериалы, загрузки, Jellyfin
|
||||
- календарь: встречи, события, напоминания
|
||||
- фото: поиск фотографий, альбомы
|
||||
- статус: сервер, диск, сервисы, бэкапы
|
||||
- другое: всё остальное
|
||||
Примеры:
|
||||
включи свет -> дом
|
||||
что качается -> медиа
|
||||
запиши встречу -> календарь
|
||||
найди фото -> фото
|
||||
как дела с сервером -> статус
|
||||
погода завтра -> другое
|
||||
Ответь ТОЛЬКО категорией, одним словом."""
|
||||
|
||||
INTENT_TASKS = [
|
||||
("включи свет в коридоре", "дом"),
|
||||
("что сейчас качается?", "медиа"),
|
||||
("запиши встречу в четверг в 15:00", "календарь"),
|
||||
("найди фото с Полей за август", "фото"),
|
||||
("как дела с сервером?", "статус"),
|
||||
("сколько свободно на диске?", "статус"),
|
||||
("включи фильм Интерстеллар", "медиа"),
|
||||
("какая погода завтра?", "другое"),
|
||||
("напомни позвонить вендору в 10", "календарь"),
|
||||
("кто сейчас дома?", "дом"),
|
||||
]
|
||||
|
||||
SLOT_TASKS = [
|
||||
("встреча с Ферреро в четверг в 15:00",
|
||||
{"title": "Ферреро", "time": "15:00"}),
|
||||
("запиши созвон с Полей завтра в 10 утра",
|
||||
{"title": "созвон", "time": "10:00"}),
|
||||
("врач у Даниила 25 ноября в 14:30",
|
||||
{"title": "врач", "time": "14:30"}),
|
||||
("ужин с семьёй в субботу в 19:00",
|
||||
{"title": "ужин", "time": "19:00"}),
|
||||
]
|
||||
|
||||
FACTUAL_TASKS = [
|
||||
("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]),
|
||||
("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]),
|
||||
("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]),
|
||||
("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]),
|
||||
]
|
||||
|
||||
REFUSAL_TASKS = [
|
||||
"Сколько стоит билет до Берлина?",
|
||||
"Какой пароль у роутера?",
|
||||
"Кто выиграет чемпионат мира в 2030?",
|
||||
]
|
||||
|
||||
|
||||
def call_ollama(model, system, user, timeout=180):
|
||||
body = {"model": model, "stream": False,
|
||||
"messages": [{"role": "system", "content": system},
|
||||
{"role": "user", "content": user}],
|
||||
"options": {"num_predict": 120, "temperature": 0}}
|
||||
req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(),
|
||||
headers={"Content-Type": "application/json"}, method="POST")
|
||||
t0 = time.time()
|
||||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||||
d = json.loads(r.read().decode())
|
||||
return (d.get("message") or {}).get("content", "").strip(), time.time() - t0
|
||||
|
||||
|
||||
def call_deepseek(model, system, user, timeout=60):
|
||||
key = open(DEEPSEEK_KEY_FILE).read().strip()
|
||||
body = {"model": model, "temperature": 0, "max_tokens": 120,
|
||||
"messages": [{"role": "system", "content": system},
|
||||
{"role": "user", "content": user}]}
|
||||
req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(),
|
||||
headers={"Content-Type": "application/json",
|
||||
"Authorization": "Bearer " + key}, method="POST")
|
||||
t0 = time.time()
|
||||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||||
d = json.loads(r.read().decode())
|
||||
return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0
|
||||
|
||||
|
||||
def norm(s):
|
||||
return re.sub(r"\s+", " ", (s or "").lower()).strip()
|
||||
|
||||
|
||||
def intent_ok(ans, expected):
|
||||
a = norm(ans)
|
||||
for w in INTENTS:
|
||||
if w in a:
|
||||
return w == expected
|
||||
return False
|
||||
|
||||
|
||||
def slots_ok(ans, expected):
|
||||
try:
|
||||
m = re.search(r"\{.*\}", ans, re.S)
|
||||
d = json.loads(m.group(0)) if m else {}
|
||||
except Exception:
|
||||
return False
|
||||
got = {k: norm(str(d.get(k, ""))) for k in expected}
|
||||
return all(expected[k].lower() in got[k] for k in expected)
|
||||
|
||||
|
||||
def factual_ok(ans, keywords):
|
||||
a = norm(ans)
|
||||
return any(k.lower() in a for k in keywords)
|
||||
|
||||
|
||||
def refusal_ok(ans):
|
||||
a = norm(ans)
|
||||
return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю"))
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat")
|
||||
ap.add_argument("--quick", action="store_true")
|
||||
ap.add_argument("--json", action="store_true")
|
||||
ap.add_argument("--timeout", type=int, default=180)
|
||||
args = ap.parse_args()
|
||||
models = [m.strip() for m in args.models.split(",") if m.strip()]
|
||||
os.makedirs(OUT, exist_ok=True)
|
||||
rows = []
|
||||
|
||||
for m in models:
|
||||
is_cloud = "deepseek" in m
|
||||
call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \
|
||||
(lambda s, u: call_ollama(m, s, u, args.timeout))
|
||||
print("\n=== %s ===" % m)
|
||||
classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS),
|
||||
("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)]
|
||||
if args.quick:
|
||||
classes = [(n, t[:3]) for n, t in classes]
|
||||
for cls, tasks in classes:
|
||||
ok = 0
|
||||
lat = []
|
||||
for task in tasks:
|
||||
if cls == "intent":
|
||||
user = task[0]
|
||||
system = INTENT_SYS
|
||||
try:
|
||||
ans, dt = call(system, user)
|
||||
good = intent_ok(ans, task[1])
|
||||
except Exception as e:
|
||||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||||
elif cls == "slots":
|
||||
user = task[0]
|
||||
system = ('Извлеки поля события и ответь только JSON: '
|
||||
'{"title": "...", "time": "HH:MM"}')
|
||||
try:
|
||||
ans, dt = call(system, user)
|
||||
good = slots_ok(ans, task[1])
|
||||
except Exception as e:
|
||||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||||
elif cls == "factual":
|
||||
user = task[0]
|
||||
system = "Отвечай только по данному вопросу, кратко."
|
||||
try:
|
||||
ans, dt = call(system, user)
|
||||
good = factual_ok(ans, task[1])
|
||||
except Exception as e:
|
||||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||||
else:
|
||||
user = task
|
||||
system = "Если данных нет — скажи 'не знаю'. Не выдумывай."
|
||||
try:
|
||||
ans, dt = call(system, user)
|
||||
good = refusal_ok(ans)
|
||||
except Exception as e:
|
||||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||||
ok += 1 if good else 0
|
||||
lat.append(dt)
|
||||
rows.append({"model": m, "class": cls, "task": user,
|
||||
"answer": ans[:200], "ok": bool(good),
|
||||
"latency_s": round(dt, 1), "cloud": is_cloud})
|
||||
print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks),
|
||||
sum(lat) / max(1, len(lat))))
|
||||
|
||||
out = os.path.join(OUT, date.today().isoformat() + ".jsonl")
|
||||
with open(out, "w", encoding="utf-8") as f:
|
||||
for r in rows:
|
||||
f.write(json.dumps(r, ensure_ascii=False) + "\n")
|
||||
if not args.json:
|
||||
from collections import defaultdict
|
||||
agg = defaultdict(lambda: [0, 0, 0.0])
|
||||
for r in rows:
|
||||
k = (r["model"], r["class"])
|
||||
agg[k][0] += 1 if r["ok"] else 0
|
||||
agg[k][1] += 1
|
||||
agg[k][2] += r["latency_s"]
|
||||
with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f:
|
||||
f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today())
|
||||
for (m, c), (ok, n, t) in sorted(agg.items()):
|
||||
f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n))
|
||||
print("\nитог:", os.path.join(OUT, "summary.md"))
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in new issue
Block a user