Files

232 lines
9.9 KiB
Python
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""LLM Capability — проверка возможностей локальной LLM на наших задачах.
Классы:
intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое)
slots — извлечь поля события в JSON
factual — ответить по предоставленному контексту
refusal — не выдумывать, если данных нет
Запуск:
llm_capability.py --quick # 3b + deepseek, подмножество
llm_capability.py --models qwen2.5:3b,deepseek-chat
llm_capability.py --json
Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md
"""
import argparse
import json
import os
import re
import sys
import time
import urllib.request
from datetime import date
OLLAMA = "http://192.168.1.229:11434"
DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions"
DEEPSEEK_KEY_FILE = "/root/.deepseek-key"
OUT = "/var/lib/llm-capability"
INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"]
INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию:
- дом: свет, розетки, климат, присутствие, «кто дома»
- медиа: фильмы, сериалы, загрузки, Jellyfin
- календарь: встречи, события, напоминания
- фото: поиск фотографий, альбомы
- статус: сервер, диск, сервисы, бэкапы
- другое: всё остальное
Примеры:
включи свет -> дом
что качается -> медиа
запиши встречу -> календарь
найди фото -> фото
как дела с сервером -> статус
погода завтра -> другое
Ответь ТОЛЬКО категорией, одним словом."""
INTENT_TASKS = [
("включи свет в коридоре", "дом"),
("что сейчас качается?", "медиа"),
("запиши встречу в четверг в 15:00", "календарь"),
("найди фото с Полей за август", "фото"),
("как дела с сервером?", "статус"),
("сколько свободно на диске?", "статус"),
("включи фильм Интерстеллар", "медиа"),
("какая погода завтра?", "другое"),
("напомни позвонить вендору в 10", "календарь"),
("кто сейчас дома?", "дом"),
]
SLOT_TASKS = [
("встреча с Ферреро в четверг в 15:00",
{"title": "Ферреро", "time": "15:00"}),
("запиши созвон с Полей завтра в 10 утра",
{"title": "созвон", "time": "10:00"}),
("врач у Даниила 25 ноября в 14:30",
{"title": "врач", "time": "14:30"}),
("ужин с семьёй в субботу в 19:00",
{"title": "ужин", "time": "19:00"}),
]
FACTUAL_TASKS = [
("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]),
("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]),
("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]),
("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]),
]
REFUSAL_TASKS = [
"Сколько стоит билет до Берлина?",
"Какой пароль у роутера?",
"Кто выиграет чемпионат мира в 2030?",
]
def call_ollama(model, system, user, timeout=180):
body = {"model": model, "stream": False,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}],
"options": {"num_predict": 120, "temperature": 0}}
req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(),
headers={"Content-Type": "application/json"}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return (d.get("message") or {}).get("content", "").strip(), time.time() - t0
def call_deepseek(model, system, user, timeout=60):
key = open(DEEPSEEK_KEY_FILE).read().strip()
body = {"model": model, "temperature": 0, "max_tokens": 120,
"messages": [{"role": "system", "content": system},
{"role": "user", "content": user}]}
req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(),
headers={"Content-Type": "application/json",
"Authorization": "Bearer " + key}, method="POST")
t0 = time.time()
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0
def norm(s):
return re.sub(r"\s+", " ", (s or "").lower()).strip()
def intent_ok(ans, expected):
a = norm(ans)
for w in INTENTS:
if w in a:
return w == expected
return False
def slots_ok(ans, expected):
try:
m = re.search(r"\{.*\}", ans, re.S)
d = json.loads(m.group(0)) if m else {}
except Exception:
return False
got = {k: norm(str(d.get(k, ""))) for k in expected}
return all(expected[k].lower() in got[k] for k in expected)
def factual_ok(ans, keywords):
a = norm(ans)
return any(k.lower() in a for k in keywords)
def refusal_ok(ans):
a = norm(ans)
return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю"))
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat")
ap.add_argument("--quick", action="store_true")
ap.add_argument("--json", action="store_true")
ap.add_argument("--timeout", type=int, default=180)
args = ap.parse_args()
models = [m.strip() for m in args.models.split(",") if m.strip()]
os.makedirs(OUT, exist_ok=True)
rows = []
for m in models:
is_cloud = "deepseek" in m
call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \
(lambda s, u: call_ollama(m, s, u, args.timeout))
print("\n=== %s ===" % m)
classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS),
("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)]
if args.quick:
classes = [(n, t[:3]) for n, t in classes]
for cls, tasks in classes:
ok = 0
lat = []
for task in tasks:
if cls == "intent":
user = task[0]
system = INTENT_SYS
try:
ans, dt = call(system, user)
good = intent_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "slots":
user = task[0]
system = ('Извлеки поля события и ответь только JSON: '
'{"title": "...", "time": "HH:MM"}')
try:
ans, dt = call(system, user)
good = slots_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
elif cls == "factual":
user = task[0]
system = "Отвечай только по данному вопросу, кратко."
try:
ans, dt = call(system, user)
good = factual_ok(ans, task[1])
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
else:
user = task
system = "Если данных нет — скажи 'не знаю'. Не выдумывай."
try:
ans, dt = call(system, user)
good = refusal_ok(ans)
except Exception as e:
ans, dt, good = "ERR " + str(e)[:60], 0, False
ok += 1 if good else 0
lat.append(dt)
rows.append({"model": m, "class": cls, "task": user,
"answer": ans[:200], "ok": bool(good),
"latency_s": round(dt, 1), "cloud": is_cloud})
print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks),
sum(lat) / max(1, len(lat))))
out = os.path.join(OUT, date.today().isoformat() + ".jsonl")
with open(out, "w", encoding="utf-8") as f:
for r in rows:
f.write(json.dumps(r, ensure_ascii=False) + "\n")
if not args.json:
from collections import defaultdict
agg = defaultdict(lambda: [0, 0, 0.0])
for r in rows:
k = (r["model"], r["class"])
agg[k][0] += 1 if r["ok"] else 0
agg[k][1] += 1
agg[k][2] += r["latency_s"]
with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f:
f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today())
for (m, c), (ok, n, t) in sorted(agg.items()):
f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n))
print("\nитог:", os.path.join(OUT, "summary.md"))
return 0
if __name__ == "__main__":
sys.exit(main())