На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity). llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды. Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13. Когда появится ключ, тот же тест покажет качество настоящей модели без --mock.
47 lines
2.2 KiB
Markdown
47 lines
2.2 KiB
Markdown
# Проверка LLM-адаптера на фразах
|
|
|
|
`llm_selftest.py` прогоняет 12 живых фраз через адаптер и проверяет, что
|
|
модель выбирает правильную команду бота. Плюс одна фраза «болтовни»,
|
|
на которую ожидается ответ текстом.
|
|
|
|
## Как запускать
|
|
|
|
```
|
|
cd /opt/hub-bots
|
|
python3 llm_selftest.py # против настоящей модели
|
|
python3 llm_selftest.py --mock # против локальной заглушки
|
|
```
|
|
|
|
## Зачем нужен --mock
|
|
|
|
Заглушка поднимает локальный OpenAI-совместимый сервер и «понимает»
|
|
фразы по ключевым словам. Это проверяет **нашу** часть: реестр
|
|
инструментов, выбор команды, выполнение. Настоящую модель так проверить
|
|
нельзя, но весь путь — можно и без ключа.
|
|
|
|
## Результат прогона (заглушка)
|
|
|
|
```
|
|
✅ «что нового в медиатеке» → new
|
|
✅ «сколько у нас фильмов» → stats
|
|
✅ «что сейчас качается» → queue
|
|
✅ «сколько места осталось» → disk
|
|
✅ «покажи фотографии» → stats
|
|
✅ «какие книги есть» → stats
|
|
✅ «что нового из книг» → new
|
|
✅ «как дела дома» → stats
|
|
✅ «что сломалось в системе» → status
|
|
✅ «сколько свободного места» → disk
|
|
✅ «когда последний бэкап» → backups
|
|
✅ «кто в каких сервисах заведён» → users
|
|
✅ «привет, как ты» → (текст)
|
|
|
|
понято 13 из 13 (100%)
|
|
```
|
|
|
|
## Когда появится ключ
|
|
|
|
Запустить без `--mock`: цифра покажет, насколько хорошо фразы понимает
|
|
настоящая модель. Если меньше 80% — стоит доработать описания команд
|
|
(они попадают в промпт как инструменты).
|