На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity). llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды. Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13. Когда появится ключ, тот же тест покажет качество настоящей модели без --mock.
2.2 KiB
2.2 KiB
Проверка LLM-адаптера на фразах
llm_selftest.py прогоняет 12 живых фраз через адаптер и проверяет, что
модель выбирает правильную команду бота. Плюс одна фраза «болтовни»,
на которую ожидается ответ текстом.
Как запускать
cd /opt/hub-bots
python3 llm_selftest.py # против настоящей модели
python3 llm_selftest.py --mock # против локальной заглушки
Зачем нужен --mock
Заглушка поднимает локальный OpenAI-совместимый сервер и «понимает» фразы по ключевым словам. Это проверяет нашу часть: реестр инструментов, выбор команды, выполнение. Настоящую модель так проверить нельзя, но весь путь — можно и без ключа.
Результат прогона (заглушка)
✅ «что нового в медиатеке» → new
✅ «сколько у нас фильмов» → stats
✅ «что сейчас качается» → queue
✅ «сколько места осталось» → disk
✅ «покажи фотографии» → stats
✅ «какие книги есть» → stats
✅ «что нового из книг» → new
✅ «как дела дома» → stats
✅ «что сломалось в системе» → status
✅ «сколько свободного места» → disk
✅ «когда последний бэкап» → backups
✅ «кто в каких сервисах заведён» → users
✅ «привет, как ты» → (текст)
понято 13 из 13 (100%)
Когда появится ключ
Запустить без --mock: цифра покажет, насколько хорошо фразы понимает
настоящая модель. Если меньше 80% — стоит доработать описания команд
(они попадают в промпт как инструменты).