Files
buryan-infra/ops/hub-core/llm/SELFTEST.md
T
buryan-agent 27c42f630b Панель: доступы по сервисам; тест LLM на 13 фразах
На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity).

llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды.
Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет
весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13.

Когда появится ключ, тот же тест покажет качество настоящей модели без
--mock.
2026-10-19 21:07:08 +03:00

47 lines
2.2 KiB
Markdown

# Проверка LLM-адаптера на фразах
`llm_selftest.py` прогоняет 12 живых фраз через адаптер и проверяет, что
модель выбирает правильную команду бота. Плюс одна фраза «болтовни»,
на которую ожидается ответ текстом.
## Как запускать
```
cd /opt/hub-bots
python3 llm_selftest.py # против настоящей модели
python3 llm_selftest.py --mock # против локальной заглушки
```
## Зачем нужен --mock
Заглушка поднимает локальный OpenAI-совместимый сервер и «понимает»
фразы по ключевым словам. Это проверяет **нашу** часть: реестр
инструментов, выбор команды, выполнение. Настоящую модель так проверить
нельзя, но весь путь — можно и без ключа.
## Результат прогона (заглушка)
```
✅ «что нового в медиатеке» → new
✅ «сколько у нас фильмов» → stats
✅ «что сейчас качается» → queue
✅ «сколько места осталось» → disk
✅ «покажи фотографии» → stats
✅ «какие книги есть» → stats
✅ «что нового из книг» → new
✅ «как дела дома» → stats
✅ «что сломалось в системе» → status
✅ «сколько свободного места» → disk
✅ «когда последний бэкап» → backups
✅ «кто в каких сервисах заведён» → users
✅ «привет, как ты» → (текст)
понято 13 из 13 (100%)
```
## Когда появится ключ
Запустить без `--mock`: цифра покажет, насколько хорошо фразы понимает
настоящая модель. Если меньше 80% — стоит доработать описания команд
(они попадают в промпт как инструменты).