232 lines
9.9 KiB
Python
Executable File
232 lines
9.9 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""LLM Capability — проверка возможностей локальной LLM на наших задачах.
|
||
|
||
Классы:
|
||
intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое)
|
||
slots — извлечь поля события в JSON
|
||
factual — ответить по предоставленному контексту
|
||
refusal — не выдумывать, если данных нет
|
||
|
||
Запуск:
|
||
llm_capability.py --quick # 3b + deepseek, подмножество
|
||
llm_capability.py --models qwen2.5:3b,deepseek-chat
|
||
llm_capability.py --json
|
||
|
||
Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md
|
||
"""
|
||
import argparse
|
||
import json
|
||
import os
|
||
import re
|
||
import sys
|
||
import time
|
||
import urllib.request
|
||
from datetime import date
|
||
|
||
OLLAMA = "http://192.168.1.229:11434"
|
||
DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions"
|
||
DEEPSEEK_KEY_FILE = "/root/.deepseek-key"
|
||
OUT = "/var/lib/llm-capability"
|
||
|
||
INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"]
|
||
INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию:
|
||
- дом: свет, розетки, климат, присутствие, «кто дома»
|
||
- медиа: фильмы, сериалы, загрузки, Jellyfin
|
||
- календарь: встречи, события, напоминания
|
||
- фото: поиск фотографий, альбомы
|
||
- статус: сервер, диск, сервисы, бэкапы
|
||
- другое: всё остальное
|
||
Примеры:
|
||
включи свет -> дом
|
||
что качается -> медиа
|
||
запиши встречу -> календарь
|
||
найди фото -> фото
|
||
как дела с сервером -> статус
|
||
погода завтра -> другое
|
||
Ответь ТОЛЬКО категорией, одним словом."""
|
||
|
||
INTENT_TASKS = [
|
||
("включи свет в коридоре", "дом"),
|
||
("что сейчас качается?", "медиа"),
|
||
("запиши встречу в четверг в 15:00", "календарь"),
|
||
("найди фото с Полей за август", "фото"),
|
||
("как дела с сервером?", "статус"),
|
||
("сколько свободно на диске?", "статус"),
|
||
("включи фильм Интерстеллар", "медиа"),
|
||
("какая погода завтра?", "другое"),
|
||
("напомни позвонить вендору в 10", "календарь"),
|
||
("кто сейчас дома?", "дом"),
|
||
]
|
||
|
||
SLOT_TASKS = [
|
||
("встреча с Ферреро в четверг в 15:00",
|
||
{"title": "Ферреро", "time": "15:00"}),
|
||
("запиши созвон с Полей завтра в 10 утра",
|
||
{"title": "созвон", "time": "10:00"}),
|
||
("врач у Даниила 25 ноября в 14:30",
|
||
{"title": "врач", "time": "14:30"}),
|
||
("ужин с семьёй в субботу в 19:00",
|
||
{"title": "ужин", "time": "19:00"}),
|
||
]
|
||
|
||
FACTUAL_TASKS = [
|
||
("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]),
|
||
("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]),
|
||
("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]),
|
||
("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]),
|
||
]
|
||
|
||
REFUSAL_TASKS = [
|
||
"Сколько стоит билет до Берлина?",
|
||
"Какой пароль у роутера?",
|
||
"Кто выиграет чемпионат мира в 2030?",
|
||
]
|
||
|
||
|
||
def call_ollama(model, system, user, timeout=180):
|
||
body = {"model": model, "stream": False,
|
||
"messages": [{"role": "system", "content": system},
|
||
{"role": "user", "content": user}],
|
||
"options": {"num_predict": 120, "temperature": 0}}
|
||
req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(),
|
||
headers={"Content-Type": "application/json"}, method="POST")
|
||
t0 = time.time()
|
||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||
d = json.loads(r.read().decode())
|
||
return (d.get("message") or {}).get("content", "").strip(), time.time() - t0
|
||
|
||
|
||
def call_deepseek(model, system, user, timeout=60):
|
||
key = open(DEEPSEEK_KEY_FILE).read().strip()
|
||
body = {"model": model, "temperature": 0, "max_tokens": 120,
|
||
"messages": [{"role": "system", "content": system},
|
||
{"role": "user", "content": user}]}
|
||
req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(),
|
||
headers={"Content-Type": "application/json",
|
||
"Authorization": "Bearer " + key}, method="POST")
|
||
t0 = time.time()
|
||
with urllib.request.urlopen(req, timeout=timeout) as r:
|
||
d = json.loads(r.read().decode())
|
||
return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0
|
||
|
||
|
||
def norm(s):
|
||
return re.sub(r"\s+", " ", (s or "").lower()).strip()
|
||
|
||
|
||
def intent_ok(ans, expected):
|
||
a = norm(ans)
|
||
for w in INTENTS:
|
||
if w in a:
|
||
return w == expected
|
||
return False
|
||
|
||
|
||
def slots_ok(ans, expected):
|
||
try:
|
||
m = re.search(r"\{.*\}", ans, re.S)
|
||
d = json.loads(m.group(0)) if m else {}
|
||
except Exception:
|
||
return False
|
||
got = {k: norm(str(d.get(k, ""))) for k in expected}
|
||
return all(expected[k].lower() in got[k] for k in expected)
|
||
|
||
|
||
def factual_ok(ans, keywords):
|
||
a = norm(ans)
|
||
return any(k.lower() in a for k in keywords)
|
||
|
||
|
||
def refusal_ok(ans):
|
||
a = norm(ans)
|
||
return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю"))
|
||
|
||
|
||
def main():
|
||
ap = argparse.ArgumentParser()
|
||
ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat")
|
||
ap.add_argument("--quick", action="store_true")
|
||
ap.add_argument("--json", action="store_true")
|
||
ap.add_argument("--timeout", type=int, default=180)
|
||
args = ap.parse_args()
|
||
models = [m.strip() for m in args.models.split(",") if m.strip()]
|
||
os.makedirs(OUT, exist_ok=True)
|
||
rows = []
|
||
|
||
for m in models:
|
||
is_cloud = "deepseek" in m
|
||
call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \
|
||
(lambda s, u: call_ollama(m, s, u, args.timeout))
|
||
print("\n=== %s ===" % m)
|
||
classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS),
|
||
("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)]
|
||
if args.quick:
|
||
classes = [(n, t[:3]) for n, t in classes]
|
||
for cls, tasks in classes:
|
||
ok = 0
|
||
lat = []
|
||
for task in tasks:
|
||
if cls == "intent":
|
||
user = task[0]
|
||
system = INTENT_SYS
|
||
try:
|
||
ans, dt = call(system, user)
|
||
good = intent_ok(ans, task[1])
|
||
except Exception as e:
|
||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||
elif cls == "slots":
|
||
user = task[0]
|
||
system = ('Извлеки поля события и ответь только JSON: '
|
||
'{"title": "...", "time": "HH:MM"}')
|
||
try:
|
||
ans, dt = call(system, user)
|
||
good = slots_ok(ans, task[1])
|
||
except Exception as e:
|
||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||
elif cls == "factual":
|
||
user = task[0]
|
||
system = "Отвечай только по данному вопросу, кратко."
|
||
try:
|
||
ans, dt = call(system, user)
|
||
good = factual_ok(ans, task[1])
|
||
except Exception as e:
|
||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||
else:
|
||
user = task
|
||
system = "Если данных нет — скажи 'не знаю'. Не выдумывай."
|
||
try:
|
||
ans, dt = call(system, user)
|
||
good = refusal_ok(ans)
|
||
except Exception as e:
|
||
ans, dt, good = "ERR " + str(e)[:60], 0, False
|
||
ok += 1 if good else 0
|
||
lat.append(dt)
|
||
rows.append({"model": m, "class": cls, "task": user,
|
||
"answer": ans[:200], "ok": bool(good),
|
||
"latency_s": round(dt, 1), "cloud": is_cloud})
|
||
print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks),
|
||
sum(lat) / max(1, len(lat))))
|
||
|
||
out = os.path.join(OUT, date.today().isoformat() + ".jsonl")
|
||
with open(out, "w", encoding="utf-8") as f:
|
||
for r in rows:
|
||
f.write(json.dumps(r, ensure_ascii=False) + "\n")
|
||
if not args.json:
|
||
from collections import defaultdict
|
||
agg = defaultdict(lambda: [0, 0, 0.0])
|
||
for r in rows:
|
||
k = (r["model"], r["class"])
|
||
agg[k][0] += 1 if r["ok"] else 0
|
||
agg[k][1] += 1
|
||
agg[k][2] += r["latency_s"]
|
||
with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f:
|
||
f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today())
|
||
for (m, c), (ok, n, t) in sorted(agg.items()):
|
||
f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n))
|
||
print("\nитог:", os.path.join(OUT, "summary.md"))
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|