llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный). Модель получает список инструментов (команд бота) и либо вызывает нужный, либо отвечает текстом. Встроено в бота: если правила не распознали фразу, бот спрашивает модель. Без ключа адаптер молчит — поведение прежнее. Проверено на локальной заглушке: фраза «покажи статистику по медиа» → модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом записывается в журнал диалогов. health() подтверждает связь. Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через EnvironmentFile, формат llm.env.example в репозитории.
44 lines
2.0 KiB
Markdown
44 lines
2.0 KiB
Markdown
# LLM-адаптер
|
|
|
|
Понимает свободные фразы и решает, какую команду бота вызвать.
|
|
|
|
## Настройка
|
|
|
|
`/etc/hub-core/llm.env` (права 600), подключён к службе ботов через
|
|
`EnvironmentFile`:
|
|
|
|
```
|
|
LLM_BASE_URL=https://api.deepseek.com/v1
|
|
LLM_API_KEY=sk-...
|
|
LLM_MODEL=deepseek-chat
|
|
```
|
|
|
|
Подходит любой OpenAI-совместимый API: DeepSeek, Qwen
|
|
(`https://dashscope.aliyuncs.com/compatible-mode/v1`, модель `qwen-plus`),
|
|
локальный сервер.
|
|
|
|
## Как работает
|
|
|
|
1. Бот не распознал фразу правилами → спрашивает модель.
|
|
2. Модель получает список инструментов = команд бота с описаниями.
|
|
3. Если выбрала инструмент — бот выполняет и возвращает результат.
|
|
4. Если ответила текстом — бот отдаёт текст и пишет пару в
|
|
`/var/lib/hub-bots/dialog.jsonl`.
|
|
|
|
Без ключа (`LLM_BASE_URL` пуст) адаптер молчит, боты работают по правилам.
|
|
|
|
## Проверено на заглушке
|
|
|
|
Локальный mock OpenAI-сервера (`mock_llm.py`) подтвердил весь путь:
|
|
|
|
* «покажи статистику по медиа» → модель выбрала инструмент `stats` →
|
|
бот выполнил и вернул медиатеку;
|
|
* «расскажи как дела у нашей медиатеки» → модель ответила текстом →
|
|
бот отдал ответ и записал диалог в журнал;
|
|
* `health()` возвращает `{'enabled': True, 'ok': True}`.
|
|
|
|
## Когда появится ключ
|
|
|
|
Вписать три строки в `/etc/hub-core/llm.env` и перезапустить ботов:
|
|
`systemctl restart hub-bots`. Больше ничего менять не нужно.
|