Files
buryan-infra/ops/hub-core/llm/SELFTEST.md
T
buryan-agent 27c42f630b Панель: доступы по сервисам; тест LLM на 13 фразах
На панель добавлен блок «Доступы по сервисам» из аудита (коллекция identity).

llm_selftest.py прогоняет 13 фраз через адаптер и проверяет выбор команды.
Заглушка научена понимать фразы по ключевым словам, поэтому тест проверяет
весь путь: реестр инструментов, выбор, выполнение. Результат: 13 из 13.

Когда появится ключ, тот же тест покажет качество настоящей модели без
--mock.
2026-10-19 21:07:08 +03:00

2.2 KiB

Проверка LLM-адаптера на фразах

llm_selftest.py прогоняет 12 живых фраз через адаптер и проверяет, что модель выбирает правильную команду бота. Плюс одна фраза «болтовни», на которую ожидается ответ текстом.

Как запускать

cd /opt/hub-bots
python3 llm_selftest.py          # против настоящей модели
python3 llm_selftest.py --mock   # против локальной заглушки

Зачем нужен --mock

Заглушка поднимает локальный OpenAI-совместимый сервер и «понимает» фразы по ключевым словам. Это проверяет нашу часть: реестр инструментов, выбор команды, выполнение. Настоящую модель так проверить нельзя, но весь путь — можно и без ключа.

Результат прогона (заглушка)

✅ «что нового в медиатеке» → new
✅ «сколько у нас фильмов» → stats
✅ «что сейчас качается» → queue
✅ «сколько места осталось» → disk
✅ «покажи фотографии» → stats
✅ «какие книги есть» → stats
✅ «что нового из книг» → new
✅ «как дела дома» → stats
✅ «что сломалось в системе» → status
✅ «сколько свободного места» → disk
✅ «когда последний бэкап» → backups
✅ «кто в каких сервисах заведён» → users
✅ «привет, как ты» → (текст)

понято 13 из 13 (100%)

Когда появится ключ

Запустить без --mock: цифра покажет, насколько хорошо фразы понимает настоящая модель. Если меньше 80% — стоит доработать описания команд (они попадают в промпт как инструменты).