"""Проверка LLM-адаптера на живых фразах. Запуск: python3 /opt/hub-bots/llm_selftest.py # против настроенной модели python3 /opt/hub-bots/llm_selftest.py --mock # против локальной заглушки Показывает, какие фразы модель поняла, а какие нет — до того, как это увидят люди в чате. """ import os import subprocess import sys import time sys.path.insert(0, "/opt/hub-bots") # фраза → бот → ожидаемая команда (или None — ожидается ответ текстом) CASES = [ ("что нового в медиатеке", "media", "new"), ("сколько у нас фильмов", "media", "stats"), ("что сейчас качается", "media", "queue"), ("сколько места осталось", "media", "disk"), ("покажи фотографии", "photo", "stats"), ("какие книги есть", "book", "stats"), ("что нового из книг", "book", "new"), ("как дела дома", "home", "stats"), ("что сломалось в системе", "infra", "status"), ("сколько свободного места", "infra", "disk"), ("когда последний бэкап", "infra", "backups"), ("кто в каких сервисах заведён", "infra", "users"), ("привет, как ты", "media", None), ] class FakeMatrix: user_id = "@test:local" def send_chunked(self, *a, **k): return {} def send(self, *a, **k): return {} def set_typing(self, *a, **k): return {} def make_bot(name): from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot, MediaBot, PhotoBot, SearchBot) classes = {"media": MediaBot, "photo": PhotoBot, "book": BookBot, "home": HomeBot, "infra": InfraBot, "search": SearchBot, "digest": DigestBot, "cam": CamBot} return classes[name](FakeMatrix(), "", dm_rooms=set(), owner="@owner:local") def start_mock(): p = subprocess.Popen([sys.executable, "/opt/hub-bots/mock_llm.py", "9199"], stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL) time.sleep(2) return p def main(): mock = "--mock" in sys.argv proc = None if mock: proc = start_mock() os.environ["LLM_BASE_URL"] = "http://127.0.0.1:9199/v1" os.environ["LLM_API_KEY"] = "test" os.environ["LLM_MODEL"] = "mock" from hub.main import ENV # noqa: F401 (подгружает окружение) from hub import llm if not llm.enabled(): print("LLM не настроен: заполните LLM_BASE_URL и LLM_API_KEY") print("или запустите с --mock для проверки логики") if proc: proc.terminate() return 2 print(f"модель: {os.environ.get('LLM_MODEL', '?')}\n") ok = 0 for phrase, bot_name, expected in CASES: bot = make_bot(bot_name) res = llm.route(bot, phrase) if res is None: got = "нет ответа" elif res[0] == "tool": got = res[1] else: got = "(текст)" good = (got == expected) if expected else (got == "(текст)") ok += 1 if good else 0 mark = "✅" if good else "❌" exp = expected or "(текст)" print(f" {mark} «{phrase}» → {got} (ждали {exp})") total = len(CASES) print(f"\nпонято {ok} из {total} ({ok * 100 // total}%)") if proc: proc.terminate() return 0 if ok == total else 1 if __name__ == "__main__": sys.exit(main())