#!/usr/bin/env python3 """LLM Capability — проверка возможностей локальной LLM на наших задачах. Классы: intent — понять тип запроса (медиа/календарь/дом/фото/статус/другое) slots — извлечь поля события в JSON factual — ответить по предоставленному контексту refusal — не выдумывать, если данных нет Запуск: llm_capability.py --quick # 3b + deepseek, подмножество llm_capability.py --models qwen2.5:3b,deepseek-chat llm_capability.py --json Результаты: /var/lib/llm-capability/YYYY-MM-DD.jsonl + summary.md """ import argparse import json import os import re import sys import time import urllib.request from datetime import date OLLAMA = "http://192.168.1.229:11434" DEEPSEEK_URL = "https://api.deepseek.com/v1/chat/completions" DEEPSEEK_KEY_FILE = "/root/.deepseek-key" OUT = "/var/lib/llm-capability" INTENTS = ["медиа", "календарь", "дом", "фото", "статус", "другое"] INTENT_SYS = """Ты классификатор запросов. Выбери ровно одну категорию: - дом: свет, розетки, климат, присутствие, «кто дома» - медиа: фильмы, сериалы, загрузки, Jellyfin - календарь: встречи, события, напоминания - фото: поиск фотографий, альбомы - статус: сервер, диск, сервисы, бэкапы - другое: всё остальное Примеры: включи свет -> дом что качается -> медиа запиши встречу -> календарь найди фото -> фото как дела с сервером -> статус погода завтра -> другое Ответь ТОЛЬКО категорией, одним словом.""" INTENT_TASKS = [ ("включи свет в коридоре", "дом"), ("что сейчас качается?", "медиа"), ("запиши встречу в четверг в 15:00", "календарь"), ("найди фото с Полей за август", "фото"), ("как дела с сервером?", "статус"), ("сколько свободно на диске?", "статус"), ("включи фильм Интерстеллар", "медиа"), ("какая погода завтра?", "другое"), ("напомни позвонить вендору в 10", "календарь"), ("кто сейчас дома?", "дом"), ] SLOT_TASKS = [ ("встреча с Ферреро в четверг в 15:00", {"title": "Ферреро", "time": "15:00"}), ("запиши созвон с Полей завтра в 10 утра", {"title": "созвон", "time": "10:00"}), ("врач у Даниила 25 ноября в 14:30", {"title": "врач", "time": "14:30"}), ("ужин с семьёй в субботу в 19:00", {"title": "ужин", "time": "19:00"}), ] FACTUAL_TASKS = [ ("Служб всего 74, лежит 0. Что с сервисами?", ["работают", "все"]), ("Postgres: 61 из 200 занято. Сколько свободно?", ["139"]), ("RAG: 5670 чанков, обновлён 05:41. Когда обновлялся?", ["05:41"]), ("Медиа: качается 2, готово 1, ошибок 0. Есть ошибки?", ["нет", "0"]), ] REFUSAL_TASKS = [ "Сколько стоит билет до Берлина?", "Какой пароль у роутера?", "Кто выиграет чемпионат мира в 2030?", ] def call_ollama(model, system, user, timeout=180): body = {"model": model, "stream": False, "messages": [{"role": "system", "content": system}, {"role": "user", "content": user}], "options": {"num_predict": 120, "temperature": 0}} req = urllib.request.Request(OLLAMA + "/api/chat", data=json.dumps(body).encode(), headers={"Content-Type": "application/json"}, method="POST") t0 = time.time() with urllib.request.urlopen(req, timeout=timeout) as r: d = json.loads(r.read().decode()) return (d.get("message") or {}).get("content", "").strip(), time.time() - t0 def call_deepseek(model, system, user, timeout=60): key = open(DEEPSEEK_KEY_FILE).read().strip() body = {"model": model, "temperature": 0, "max_tokens": 120, "messages": [{"role": "system", "content": system}, {"role": "user", "content": user}]} req = urllib.request.Request(DEEPSEEK_URL, data=json.dumps(body).encode(), headers={"Content-Type": "application/json", "Authorization": "Bearer " + key}, method="POST") t0 = time.time() with urllib.request.urlopen(req, timeout=timeout) as r: d = json.loads(r.read().decode()) return ((d.get("choices") or [{}])[0].get("message") or {}).get("content", "").strip(), time.time() - t0 def norm(s): return re.sub(r"\s+", " ", (s or "").lower()).strip() def intent_ok(ans, expected): a = norm(ans) for w in INTENTS: if w in a: return w == expected return False def slots_ok(ans, expected): try: m = re.search(r"\{.*\}", ans, re.S) d = json.loads(m.group(0)) if m else {} except Exception: return False got = {k: norm(str(d.get(k, ""))) for k in expected} return all(expected[k].lower() in got[k] for k in expected) def factual_ok(ans, keywords): a = norm(ans) return any(k.lower() in a for k in keywords) def refusal_ok(ans): a = norm(ans) return any(m in a for m in ("не знаю", "неизвестно", "нет данных", "не могу", "не располагаю")) def main(): ap = argparse.ArgumentParser() ap.add_argument("--models", default="qwen2.5:3b,deepseek-chat") ap.add_argument("--quick", action="store_true") ap.add_argument("--json", action="store_true") ap.add_argument("--timeout", type=int, default=180) args = ap.parse_args() models = [m.strip() for m in args.models.split(",") if m.strip()] os.makedirs(OUT, exist_ok=True) rows = [] for m in models: is_cloud = "deepseek" in m call = (lambda s, u: call_deepseek(m, s, u, 60)) if is_cloud else \ (lambda s, u: call_ollama(m, s, u, args.timeout)) print("\n=== %s ===" % m) classes = [("intent", INTENT_TASKS), ("slots", SLOT_TASKS), ("factual", FACTUAL_TASKS), ("refusal", REFUSAL_TASKS)] if args.quick: classes = [(n, t[:3]) for n, t in classes] for cls, tasks in classes: ok = 0 lat = [] for task in tasks: if cls == "intent": user = task[0] system = INTENT_SYS try: ans, dt = call(system, user) good = intent_ok(ans, task[1]) except Exception as e: ans, dt, good = "ERR " + str(e)[:60], 0, False elif cls == "slots": user = task[0] system = ('Извлеки поля события и ответь только JSON: ' '{"title": "...", "time": "HH:MM"}') try: ans, dt = call(system, user) good = slots_ok(ans, task[1]) except Exception as e: ans, dt, good = "ERR " + str(e)[:60], 0, False elif cls == "factual": user = task[0] system = "Отвечай только по данному вопросу, кратко." try: ans, dt = call(system, user) good = factual_ok(ans, task[1]) except Exception as e: ans, dt, good = "ERR " + str(e)[:60], 0, False else: user = task system = "Если данных нет — скажи 'не знаю'. Не выдумывай." try: ans, dt = call(system, user) good = refusal_ok(ans) except Exception as e: ans, dt, good = "ERR " + str(e)[:60], 0, False ok += 1 if good else 0 lat.append(dt) rows.append({"model": m, "class": cls, "task": user, "answer": ans[:200], "ok": bool(good), "latency_s": round(dt, 1), "cloud": is_cloud}) print(" %-8s %d/%d ср. %.1f с" % (cls, ok, len(tasks), sum(lat) / max(1, len(lat)))) out = os.path.join(OUT, date.today().isoformat() + ".jsonl") with open(out, "w", encoding="utf-8") as f: for r in rows: f.write(json.dumps(r, ensure_ascii=False) + "\n") if not args.json: from collections import defaultdict agg = defaultdict(lambda: [0, 0, 0.0]) for r in rows: k = (r["model"], r["class"]) agg[k][0] += 1 if r["ok"] else 0 agg[k][1] += 1 agg[k][2] += r["latency_s"] with open(os.path.join(OUT, "summary.md"), "w", encoding="utf-8") as f: f.write("# LLM Capability — %s\n\n| модель | класс | верно | всего | ср. с |\n|---|---|---|---|---|\n" % date.today()) for (m, c), (ok, n, t) in sorted(agg.items()): f.write("| %s | %s | %d | %d | %.1f |\n" % (m, c, ok, n, t / n)) print("\nитог:", os.path.join(OUT, "summary.md")) return 0 if __name__ == "__main__": sys.exit(main())