На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity). llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды. Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13. Когда появится ключ, тот же тест покажет качество настоящей модели без --mock.
110 lines
3.7 KiB
Python
110 lines
3.7 KiB
Python
"""Проверка LLM-адаптера на живых фразах.
|
|
|
|
Запуск:
|
|
python3 /opt/hub-bots/llm_selftest.py # против настроенной модели
|
|
python3 /opt/hub-bots/llm_selftest.py --mock # против локальной заглушки
|
|
|
|
Показывает, какие фразы модель поняла, а какие нет — до того, как это
|
|
увидят люди в чате.
|
|
"""
|
|
import os
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
|
|
sys.path.insert(0, "/opt/hub-bots")
|
|
|
|
# фраза → бот → ожидаемая команда (или None — ожидается ответ текстом)
|
|
CASES = [
|
|
("что нового в медиатеке", "media", "new"),
|
|
("сколько у нас фильмов", "media", "stats"),
|
|
("что сейчас качается", "media", "queue"),
|
|
("сколько места осталось", "media", "disk"),
|
|
("покажи фотографии", "photo", "stats"),
|
|
("какие книги есть", "book", "stats"),
|
|
("что нового из книг", "book", "new"),
|
|
("как дела дома", "home", "stats"),
|
|
("что сломалось в системе", "infra", "status"),
|
|
("сколько свободного места", "infra", "disk"),
|
|
("когда последний бэкап", "infra", "backups"),
|
|
("кто в каких сервисах заведён", "infra", "users"),
|
|
("привет, как ты", "media", None),
|
|
]
|
|
|
|
|
|
class FakeMatrix:
|
|
user_id = "@test:local"
|
|
|
|
def send_chunked(self, *a, **k):
|
|
return {}
|
|
|
|
def send(self, *a, **k):
|
|
return {}
|
|
|
|
def set_typing(self, *a, **k):
|
|
return {}
|
|
|
|
|
|
def make_bot(name):
|
|
from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot,
|
|
MediaBot, PhotoBot, SearchBot)
|
|
classes = {"media": MediaBot, "photo": PhotoBot, "book": BookBot,
|
|
"home": HomeBot, "infra": InfraBot, "search": SearchBot,
|
|
"digest": DigestBot, "cam": CamBot}
|
|
return classes[name](FakeMatrix(), "", dm_rooms=set(), owner="@owner:local")
|
|
|
|
|
|
def start_mock():
|
|
p = subprocess.Popen([sys.executable, "/opt/hub-bots/mock_llm.py", "9199"],
|
|
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
|
|
time.sleep(2)
|
|
return p
|
|
|
|
|
|
def main():
|
|
mock = "--mock" in sys.argv
|
|
proc = None
|
|
if mock:
|
|
proc = start_mock()
|
|
os.environ["LLM_BASE_URL"] = "http://127.0.0.1:9199/v1"
|
|
os.environ["LLM_API_KEY"] = "test"
|
|
os.environ["LLM_MODEL"] = "mock"
|
|
|
|
from hub.main import ENV # noqa: F401 (подгружает окружение)
|
|
from hub import llm
|
|
|
|
if not llm.enabled():
|
|
print("LLM не настроен: заполните LLM_BASE_URL и LLM_API_KEY")
|
|
print("или запустите с --mock для проверки логики")
|
|
if proc:
|
|
proc.terminate()
|
|
return 2
|
|
|
|
print(f"модель: {os.environ.get('LLM_MODEL', '?')}\n")
|
|
ok = 0
|
|
for phrase, bot_name, expected in CASES:
|
|
bot = make_bot(bot_name)
|
|
res = llm.route(bot, phrase)
|
|
if res is None:
|
|
got = "нет ответа"
|
|
elif res[0] == "tool":
|
|
got = res[1]
|
|
else:
|
|
got = "(текст)"
|
|
|
|
good = (got == expected) if expected else (got == "(текст)")
|
|
ok += 1 if good else 0
|
|
mark = "✅" if good else "❌"
|
|
exp = expected or "(текст)"
|
|
print(f" {mark} «{phrase}» → {got} (ждали {exp})")
|
|
|
|
total = len(CASES)
|
|
print(f"\nпонято {ok} из {total} ({ok * 100 // total}%)")
|
|
if proc:
|
|
proc.terminate()
|
|
return 0 if ok == total else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|