Files
buryan-infra/ops/hub-core/llm/README.md
T
buryan-agent 7402aa574f LLM-адаптер: разбор свободных фраз и вызов инструментов бота
llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный).
Модель получает список инструментов (команд бота) и либо вызывает нужный,
либо отвечает текстом.

Встроено в бота: если правила не распознали фразу, бот спрашивает модель.
Без ключа адаптер молчит — поведение прежнее.

Проверено на локальной заглушке: фраза «покажи статистику по медиа» →
модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом
записывается в журнал диалогов. health() подтверждает связь.

Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через
EnvironmentFile, формат llm.env.example в репозитории.
2026-10-19 19:26:41 +03:00

44 lines
2.0 KiB
Markdown

# LLM-адаптер
Понимает свободные фразы и решает, какую команду бота вызвать.
## Настройка
`/etc/hub-core/llm.env` (права 600), подключён к службе ботов через
`EnvironmentFile`:
```
LLM_BASE_URL=https://api.deepseek.com/v1
LLM_API_KEY=sk-...
LLM_MODEL=deepseek-chat
```
Подходит любой OpenAI-совместимый API: DeepSeek, Qwen
(`https://dashscope.aliyuncs.com/compatible-mode/v1`, модель `qwen-plus`),
локальный сервер.
## Как работает
1. Бот не распознал фразу правилами → спрашивает модель.
2. Модель получает список инструментов = команд бота с описаниями.
3. Если выбрала инструмент — бот выполняет и возвращает результат.
4. Если ответила текстом — бот отдаёт текст и пишет пару в
`/var/lib/hub-bots/dialog.jsonl`.
Без ключа (`LLM_BASE_URL` пуст) адаптер молчит, боты работают по правилам.
## Проверено на заглушке
Локальный mock OpenAI-сервера (`mock_llm.py`) подтвердил весь путь:
* «покажи статистику по медиа» → модель выбрала инструмент `stats` →
бот выполнил и вернул медиатеку;
* «расскажи как дела у нашей медиатеки» → модель ответила текстом →
бот отдал ответ и записал диалог в журнал;
* `health()` возвращает `{'enabled': True, 'ok': True}`.
## Когда появится ключ
Вписать три строки в `/etc/hub-core/llm.env` и перезапустить ботов:
`systemctl restart hub-bots`. Больше ничего менять не нужно.