[LLM] Тесты возможностей LLM: локальная qwen2.5:3b с few-shot — интент 9/10, слоты 4/4, факты 3/4, отказы 3/3; DeepSeek 10/10, 4/4, 4/4, 3/3. Провал 2/10 был из-за промпта, не модели. Добавлен ops/scripts/llm_capability.py (21 задача, 4 класса). Черновик протокола: классификация локально -> политика -> детерминированный инструмент / локальная LLM / DeepSeek только для сложного; аудит и метрика экспозиции

This commit is contained in:
root committed 2026-11-17 16:02:06 +03:00
1 parent 893bf687e6
commit efe0fab66f
2 files changed
+307

No files matched your search

+231
View File
@@ -0,0 +1,231 @@
#!/usr/bin/env python3
"""LLM Capability — проверка возможностей локальной LLM на наших задачах.
Классы:
intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое)
slots — извлечь поля события в JSON
factual — ответить по предоставленному контексту
refusal — не выдумывать, если данных нет
Запуск:
llm_capability.py --quick # 3b + deepseek, подмножество
llm_capability.py --models qwen2.5:3b,deepseek-chat
llm_capability.py --json
Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md
"""
import argparse
import json
import os
import re
import sys
import time
import urllib.request
from datetime import date
OLLAMA = "http://192.168.1.229:11434"
DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions"
DEEPSEEK_KEY_FILE = "/root/.deepseek-key"
OUT = "/var/lib/llm-capability"
INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"]
INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию:
- дом: свет, розетки, климат, присутствие, «кто дома»
- медиа: фильмы, сериалы, загрузки, Jellyfin
- календарь: встречи, события, напоминания
- фото: поиск фотографий, альбомы
- статус: сервер, диск, сервисы, бэкапы
- другое: всё остальное
Примеры:
включи свет -> дом
что качается -> медиа
запиши встречу -> календарь
найди фото -> фото
как дела с сервером -> статус
погода завтра -> другое
Ответь ТОЛЬКО категорией, одним словом."""
INTENT_TASKS = [
("включи свет в коридоре", "дом"),
("что сейчас качается?", "медиа"),
("запиши встречу в четверг в 15:00", "календарь"),
("найди фото с Полей за август", "фото"),
("как дела с сервером?", "статус"),
("сколько свободно на диске?", "статус"),
("включи фильм Интерстеллар", "медиа"),
("какая погода завтра?", "другое"),
("напомни позвонить вендору в 10", "календарь"),
("кто сейчас дома?", "дом"),
]
SLOT_TASKS = [
("встреча с Ферреро в четверг в 15:00",
{"title": "Ферреро", "time": "15:00"}),
("запиши созвон с Полей завтра в 10 утра",
{"title": "созвон", "time": "10:00"}),
("врач у Даниила 25 ноября в 14:30",
{"title": "врач", "time": "14:30"}),
("ужин с семьёй в субботу в 19:00",
{"title": "ужин", "time": "19:00"}),
]
FACTUAL_TASKS = [
("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]),
("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]),
("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]),
("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]),
]
REFUSAL_TASKS = [
"Сколько стоит билет до Берлина?",
"Какой пароль у роутера?",
"Кто выиграет чемпионат мира в 2030?",
]
def call_ollama(model, system, user, timeout=180):
body = {"model": model, "stream": False,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}],
"options": {"num_predict": 120, "temperature": 0}}
req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(),
headers={"Content-Type": "application/json"}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return (d.get("message") or {}).get("content", "").strip(), time.time() - t0
def call_deepseek(model, system, user, timeout=60):
key = open(DEEPSEEK_KEY_FILE).read().strip()
body = {"model": model, "temperature": 0, "max_tokens": 120,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}]}
req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(),
headers={"Content-Type": "application/json",
"Authorization": "Bearer " + key}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0
def norm(s):
return re.sub(r"\s+", " ", (s or "").lower()).strip()
def intent_ok(ans, expected):
a = norm(ans)
for w in INTENTS:
if w in a:
return w == expected
return False
def slots_ok(ans, expected):
try:
m = re.search(r"\{.*\}", ans, re.S)
d = json.loads(m.group(0)) if m else {}
except Exception:
return False
got = {k: norm(str(d.get(k, ""))) for k in expected}
return all(expected[k].lower() in got[k] for k in expected)
def factual_ok(ans, keywords):
a = norm(ans)
return any(k.lower() in a for k in keywords)
def refusal_ok(ans):
a = norm(ans)
return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю"))
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat")
ap.add_argument("--quick", action="store_true")
ap.add_argument("--json", action="store_true")
ap.add_argument("--timeout", type=int, default=180)
args = ap.parse_args()
models = [m.strip() for m in args.models.split(",") if m.strip()]
os.makedirs(OUT, exist_ok=True)
rows = []
for m in models:
is_cloud = "deepseek" in m
call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \
(lambda s, u: call_ollama(m, s, u, args.timeout))
print("\n=== %s ===" % m)
classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS),
("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)]
if args.quick:
classes = [(n, t[:3]) for n, t in classes]
for cls, tasks in classes:
ok = 0
lat = []
for task in tasks:
if cls == "intent":
user = task[0]
system = INTENT_SYS
try:
ans, dt = call(system, user)
good = intent_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "slots":
user = task[0]
system = ('Извлеки поля события и ответь только JSON: '
'{"title": "...", "time": "HH:MM"}')
try:
ans, dt = call(system, user)
good = slots_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "factual":
user = task[0]
system = "Отвечай только по данному вопросу, кратко."
try:
ans, dt = call(system, user)
good = factual_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
else:
user = task
system = "Если данных нет — скажи 'не знаю'. Не выдумывай."
try:
ans, dt = call(system, user)
good = refusal_ok(ans)
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
ok += 1 if good else 0
lat.append(dt)
rows.append({"model": m, "class": cls, "task": user,
"answer": ans[:200], "ok": bool(good),
"latency_s": round(dt, 1), "cloud": is_cloud})
print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks),
sum(lat) / max(1, len(lat))))
out = os.path.join(OUT, date.today().isoformat() + ".jsonl")
with open(out, "w", encoding="utf-8") as f:
for r in rows:
f.write(json.dumps(r, ensure_ascii=False) + "\n")
if not args.json:
from collections import defaultdict
agg = defaultdict(lambda: [0, 0, 0.0])
for r in rows:
k = (r["model"], r["class"])
agg[k][0] += 1 if r["ok"] else 0
agg[k][1] += 1
agg[k][2] += r["latency_s"]
with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f:
f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today())
for (m, c), (ok, n, t) in sorted(agg.items()):
f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n))
print("\nитог:", os.path.join(OUT, "summary.md"))
return 0
if __name__ == "__main__":
sys.exit(main())