LLM-адаптер: разбор свободных фраз и вызов инструментов бота

llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный).
Модель получает список инструментов (команд бота) и либо вызывает нужный,
либо отвечает текстом.

Встроено в бота: если правила не распознали фразу, бот спрашивает модель.
Без ключа адаптер молчит — поведение прежнее.

Проверено на локальной заглушке: фраза «покажи статистику по медиа» →
модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом
записывается в журнал диалогов. health() подтверждает связь.

Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через
EnvironmentFile, формат llm.env.example в репозитории.
This commit is contained in:
buryan-agent committed 2026-10-19 19:26:41 +03:00
1 parent 0384335f5d
commit 7402aa574f
4 files changed
+231

No files matched your search

+43
View File
@@ -0,0 +1,43 @@
# LLM-адаптер
Понимает свободные фразы и решает, какую команду бота вызвать.
## Настройка
`/etc/hub-core/llm.env` (права 600), подключён к службе ботов через
`EnvironmentFile`:
```
LLM_BASE_URL=https://api.deepseek.com/v1
LLM_API_KEY=sk-...
LLM_MODEL=deepseek-chat
```
Подходит любой OpenAI-совместимый API: DeepSeek, Qwen
(`https://dashscope.aliyuncs.com/compatible-mode/v1`, модель `qwen-plus`),
локальный сервер.
## Как работает
1. Бот не распознал фразу правилами → спрашивает модель.
2. Модель получает список инструментов = команд бота с описаниями.
3. Если выбрала инструмент — бот выполняет и возвращает результат.
4. Если ответила текстом — бот отдаёт текст и пишет пару в
`/var/lib/hub-bots/dialog.jsonl`.
Без ключа (`LLM_BASE_URL` пуст) адаптер молчит, боты работают по правилам.
## Проверено на заглушке
Локальный mock OpenAI-сервера (`mock_llm.py`) подтвердил весь путь:
* «покажи статистику по медиа» → модель выбрала инструмент `stats` →
бот выполнил и вернул медиатеку;
* «расскажи как дела у нашей медиатеки» → модель ответила текстом →
бот отдал ответ и записал диалог в журнал;
* `health()` возвращает `{'enabled': True, 'ok': True}`.
## Когда появится ключ
Вписать три строки в `/etc/hub-core/llm.env` и перезапустить ботов:
`systemctl restart hub-bots`. Больше ничего менять не нужно.
+7
View File
@@ -0,0 +1,7 @@
# LLM для ботов. Заполнить, когда будет ключ.
# DeepSeek: https://api.deepseek.com/v1, модель deepseek-chat
# Qwen: https://dashscope.aliyuncs.com/compatible-mode/v1, модель qwen-plus
LLM_BASE_URL=
LLM_API_KEY=
LLM_MODEL=deepseek-chat
LLM_TIMEOUT=20
+138
View File
@@ -0,0 +1,138 @@
"""LLM-адаптер: понимание свободных фраз и выбор инструмента.
Работает с любым OpenAI-совместимым API (DeepSeek, Qwen, локальный сервер).
Если ключа нет — возвращает None, и бот работает по правилам, как раньше.
Настройка (env):
LLM_BASE_URL https://api.deepseek.com/v1
LLM_API_KEY sk-...
LLM_MODEL deepseek-chat
LLM_TIMEOUT 20
"""
import json
import os
import urllib.error
import urllib.request
BASE = os.environ.get("LLM_BASE_URL", "").rstrip("/")
KEY = os.environ.get("LLM_API_KEY", "")
MODEL = os.environ.get("LLM_MODEL", "deepseek-chat")
TIMEOUT = int(os.environ.get("LLM_TIMEOUT", "20"))
def enabled():
return bool(BASE and KEY)
def _post(path, payload):
req = urllib.request.Request(
f"{BASE}{path}", data=json.dumps(payload).encode(), method="POST",
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
with urllib.request.urlopen(req, timeout=TIMEOUT) as r:
return json.loads(r.read())
def chat(messages, tools=None, temperature=0.2, max_tokens=600):
"""Один запрос к модели. Возвращает текст ответа или None."""
if not enabled():
return None
payload = {"model": MODEL, "messages": messages,
"temperature": temperature, "max_tokens": max_tokens}
if tools:
payload["tools"] = tools
payload["tool_choice"] = "auto"
try:
data = _post("/chat/completions", payload)
except urllib.error.HTTPError as e:
return f"__error__ HTTP {e.code}: {e.read()[:160].decode('utf-8', 'replace')}"
except Exception as e:
return f"__error__ {str(e)[:160]}"
try:
msg = data["choices"][0]["message"]
except (KeyError, IndexError):
return f"__error__ странный ответ: {json.dumps(data)[:160]}"
calls = msg.get("tool_calls") or []
if calls:
fn = calls[0].get("function", {})
return json.dumps({"tool": fn.get("name"), "args": _safe_json(fn.get("arguments"))},
ensure_ascii=False)
return msg.get("content") or ""
def _safe_json(s):
try:
return json.loads(s or "{}")
except json.JSONDecodeError:
return {}
def tools_for(bot):
"""Список инструментов = команды бота. Модель выбирает нужную."""
out = []
for name, (help_text, _) in sorted(bot.commands.items()):
out.append({
"type": "function",
"function": {
"name": name,
"description": help_text,
"parameters": {
"type": "object",
"properties": {
"query": {"type": "string",
"description": "текст запроса, если команде нужен аргумент"}
},
"required": [],
},
},
})
return out
SYSTEM = """Ты — помощник домашней платформы Buryan Hub.
У тебя есть инструменты (функции) — это команды бота «{title}».
Правила:
1. Если запрос пользователя соответствует инструменту — вызови его.
2. Если данных для ответа нет — так и скажи, коротко.
3. Отвечай по-русски, кратко, без воды.
4. Не выдумывай цифры: если нужны данные, вызывай инструмент.
"""
def route(bot, text):
"""Понять фразу. Возвращает ('tool', имя, аргумент) | ('answer', текст) | None."""
if not enabled():
return None
msgs = [
{"role": "system", "content": SYSTEM.format(title=bot.title)},
{"role": "user", "content": text},
]
reply = chat(msgs, tools=tools_for(bot))
if reply is None:
return None
if reply.startswith("__error__"):
return ("answer", "Не смог обратиться к модели. " + reply[9:].strip()[:150])
if reply.startswith("{"):
try:
d = json.loads(reply)
except json.JSONDecodeError:
return ("answer", reply)
tool = d.get("tool")
args = d.get("args") or {}
if tool and tool in bot.commands:
return ("tool", tool, str(args.get("query") or ""))
return ("answer", reply)
return ("answer", reply.strip())
def health():
"""Проверка связи с моделью."""
if not enabled():
return {"enabled": False, "reason": "нет LLM_BASE_URL или LLM_API_KEY"}
reply = chat([{"role": "user", "content": "ответь одним словом: работает"}], max_tokens=10)
if reply is None:
return {"enabled": False, "reason": "нет ответа"}
if reply.startswith("__error__"):
return {"enabled": True, "ok": False, "error": reply[9:].strip()[:200], "model": MODEL}
return {"enabled": True, "ok": True, "model": MODEL, "reply": reply.strip()[:60]}
+43
View File
@@ -0,0 +1,43 @@
"""Заглушка OpenAI-совместимого API: проверяем, что адаптер реально ходит по HTTP."""
import json
import sys
from http.server import BaseHTTPRequestHandler, HTTPServer
class H(BaseHTTPRequestHandler):
def log_message(self, *a):
pass
def do_POST(self):
n = int(self.headers.get("Content-Length", 0))
req = json.loads(self.rfile.read(n) or b"{}")
user = ""
for m in req.get("messages", []):
if m.get("role") == "user":
user = m.get("content", "")
tools = req.get("tools") or []
if "статистик" in user.lower() and tools:
names = [t["function"]["name"] for t in tools]
pick = "stats" if "stats" in names else names[0]
out = {"choices": [{"message": {
"role": "assistant",
"content": None,
"tool_calls": [{"id": "1", "type": "function",
"function": {"name": pick, "arguments": "{}"}}],
}}]}
else:
out = {"choices": [{"message": {"role": "assistant",
"content": f"Понял: {user[:80]}. Это заглушка."}}]}
body = json.dumps(out).encode()
self.send_response(200)
self.send_header("Content-Type", "application/json")
self.send_header("Content-Length", str(len(body)))
self.end_headers()
self.wfile.write(body)
if __name__ == "__main__":
port = int(sys.argv[1]) if len(sys.argv) > 1 else 9199
print(f"заглушка на {port}", flush=True)
HTTPServer(("127.0.0.1", port), H).serve_forever()