Files
buryan-infra/ops/hub-core/llm/llm_selftest.py
T
buryan-agent 27c42f630b Панель: доступы по сервисам; тест LLM на 13 фразах
На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity).

llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды.
Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет
весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13.

Когда появится ключ, тот же тест покажет качество настоящей модели без
--mock.
2026-10-19 21:07:08 +03:00

110 lines
3.7 KiB
Python

"""Проверка LLM-адаптера на живых фразах.
Запуск:
python3 /opt/hub-bots/llm_selftest.py # против настроенной модели
python3 /opt/hub-bots/llm_selftest.py --mock # против локальной заглушки
Показывает, какие фразы модель поняла, а какие нет — до того, как это
увидят люди в чате.
"""
import os
import subprocess
import sys
import time
sys.path.insert(0, "/opt/hub-bots")
# фраза → бот → ожидаемая команда (или None — ожидается ответ текстом)
CASES = [
("что нового в медиатеке", "media", "new"),
("сколько у нас фильмов", "media", "stats"),
("что сейчас качается", "media", "queue"),
("сколько места осталось", "media", "disk"),
("покажи фотографии", "photo", "stats"),
("какие книги есть", "book", "stats"),
("что нового из книг", "book", "new"),
("как дела дома", "home", "stats"),
("что сломалось в системе", "infra", "status"),
("сколько свободного места", "infra", "disk"),
("когда последний бэкап", "infra", "backups"),
("кто в каких сервисах заведён", "infra", "users"),
("привет, как ты", "media", None),
]
class FakeMatrix:
user_id = "@test:local"
def send_chunked(self, *a, **k):
return {}
def send(self, *a, **k):
return {}
def set_typing(self, *a, **k):
return {}
def make_bot(name):
from hub.bots import (BookBot, CamBot, DigestBot, HomeBot, InfraBot,
MediaBot, PhotoBot, SearchBot)
classes = {"media": MediaBot, "photo": PhotoBot, "book": BookBot,
"home": HomeBot, "infra": InfraBot, "search": SearchBot,
"digest": DigestBot, "cam": CamBot}
return classes[name](FakeMatrix(), "", dm_rooms=set(), owner="@owner:local")
def start_mock():
p = subprocess.Popen([sys.executable, "/opt/hub-bots/mock_llm.py", "9199"],
stdout=subprocess.DEVNULL, stderr=subprocess.DEVNULL)
time.sleep(2)
return p
def main():
mock = "--mock" in sys.argv
proc = None
if mock:
proc = start_mock()
os.environ["LLM_BASE_URL"] = "http://127.0.0.1:9199/v1"
os.environ["LLM_API_KEY"] = "test"
os.environ["LLM_MODEL"] = "mock"
from hub.main import ENV # noqa: F401 (подгружает окружение)
from hub import llm
if not llm.enabled():
print("LLM не настроен: заполните LLM_BASE_URL и LLM_API_KEY")
print("или запустите с --mock для проверки логики")
if proc:
proc.terminate()
return 2
print(f"модель: {os.environ.get('LLM_MODEL', '?')}\n")
ok = 0
for phrase, bot_name, expected in CASES:
bot = make_bot(bot_name)
res = llm.route(bot, phrase)
if res is None:
got = "нет ответа"
elif res[0] == "tool":
got = res[1]
else:
got = "(текст)"
good = (got == expected) if expected else (got == "(текст)")
ok += 1 if good else 0
mark = "✅" if good else "❌"
exp = expected or "(текст)"
print(f" {mark} «{phrase}» → {got} (ждали {exp})")
total = len(CASES)
print(f"\nпонято {ok} из {total} ({ok * 100 // total}%)")
if proc:
proc.terminate()
return 0 if ok == total else 1
if __name__ == "__main__":
sys.exit(main())