llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный). Модель получает список инструментов (команд бота) и либо вызывает нужный, либо отвечает текстом. Встроено в бота: если правила не распознали фразу, бот спрашивает модель. Без ключа адаптер молчит — поведение прежнее. Проверено на локальной заглушке: фраза «покажи статистику по медиа» → модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом записывается в журнал диалогов. health() подтверждает связь. Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через EnvironmentFile, формат llm.env.example в репозитории.
139 lines
5.2 KiB
Python
139 lines
5.2 KiB
Python
"""LLM-адаптер: понимание свободных фраз и выбор инструмента.
|
|
|
|
Работает с любым OpenAI-совместимым API (DeepSeek, Qwen, локальный сервер).
|
|
Если ключа нет — возвращает None, и бот работает по правилам, как раньше.
|
|
|
|
Настройка (env):
|
|
LLM_BASE_URL https://api.deepseek.com/v1
|
|
LLM_API_KEY sk-...
|
|
LLM_MODEL deepseek-chat
|
|
LLM_TIMEOUT 20
|
|
"""
|
|
import json
|
|
import os
|
|
import urllib.error
|
|
import urllib.request
|
|
|
|
BASE = os.environ.get("LLM_BASE_URL", "").rstrip("/")
|
|
KEY = os.environ.get("LLM_API_KEY", "")
|
|
MODEL = os.environ.get("LLM_MODEL", "deepseek-chat")
|
|
TIMEOUT = int(os.environ.get("LLM_TIMEOUT", "20"))
|
|
|
|
|
|
def enabled():
|
|
return bool(BASE and KEY)
|
|
|
|
|
|
def _post(path, payload):
|
|
req = urllib.request.Request(
|
|
f"{BASE}{path}", data=json.dumps(payload).encode(), method="POST",
|
|
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
|
|
with urllib.request.urlopen(req, timeout=TIMEOUT) as r:
|
|
return json.loads(r.read())
|
|
|
|
|
|
def chat(messages, tools=None, temperature=0.2, max_tokens=600):
|
|
"""Один запрос к модели. Возвращает текст ответа или None."""
|
|
if not enabled():
|
|
return None
|
|
payload = {"model": MODEL, "messages": messages,
|
|
"temperature": temperature, "max_tokens": max_tokens}
|
|
if tools:
|
|
payload["tools"] = tools
|
|
payload["tool_choice"] = "auto"
|
|
try:
|
|
data = _post("/chat/completions", payload)
|
|
except urllib.error.HTTPError as e:
|
|
return f"__error__ HTTP {e.code}: {e.read()[:160].decode('utf-8', 'replace')}"
|
|
except Exception as e:
|
|
return f"__error__ {str(e)[:160]}"
|
|
|
|
try:
|
|
msg = data["choices"][0]["message"]
|
|
except (KeyError, IndexError):
|
|
return f"__error__ странный ответ: {json.dumps(data)[:160]}"
|
|
|
|
calls = msg.get("tool_calls") or []
|
|
if calls:
|
|
fn = calls[0].get("function", {})
|
|
return json.dumps({"tool": fn.get("name"), "args": _safe_json(fn.get("arguments"))},
|
|
ensure_ascii=False)
|
|
return msg.get("content") or ""
|
|
|
|
|
|
def _safe_json(s):
|
|
try:
|
|
return json.loads(s or "{}")
|
|
except json.JSONDecodeError:
|
|
return {}
|
|
|
|
|
|
def tools_for(bot):
|
|
"""Список инструментов = команды бота. Модель выбирает нужную."""
|
|
out = []
|
|
for name, (help_text, _) in sorted(bot.commands.items()):
|
|
out.append({
|
|
"type": "function",
|
|
"function": {
|
|
"name": name,
|
|
"description": help_text,
|
|
"parameters": {
|
|
"type": "object",
|
|
"properties": {
|
|
"query": {"type": "string",
|
|
"description": "текст запроса, если команде нужен аргумент"}
|
|
},
|
|
"required": [],
|
|
},
|
|
},
|
|
})
|
|
return out
|
|
|
|
|
|
SYSTEM = """Ты — помощник домашней платформы Buryan Hub.
|
|
У тебя есть инструменты (функции) — это команды бота «{title}».
|
|
Правила:
|
|
1. Если запрос пользователя соответствует инструменту — вызови его.
|
|
2. Если данных для ответа нет — так и скажи, коротко.
|
|
3. Отвечай по-русски, кратко, без воды.
|
|
4. Не выдумывай цифры: если нужны данные, вызывай инструмент.
|
|
"""
|
|
|
|
|
|
def route(bot, text):
|
|
"""Понять фразу. Возвращает ('tool', имя, аргумент) | ('answer', текст) | None."""
|
|
if not enabled():
|
|
return None
|
|
msgs = [
|
|
{"role": "system", "content": SYSTEM.format(title=bot.title)},
|
|
{"role": "user", "content": text},
|
|
]
|
|
reply = chat(msgs, tools=tools_for(bot))
|
|
if reply is None:
|
|
return None
|
|
if reply.startswith("__error__"):
|
|
return ("answer", "Не смог обратиться к модели. " + reply[9:].strip()[:150])
|
|
if reply.startswith("{"):
|
|
try:
|
|
d = json.loads(reply)
|
|
except json.JSONDecodeError:
|
|
return ("answer", reply)
|
|
tool = d.get("tool")
|
|
args = d.get("args") or {}
|
|
if tool and tool in bot.commands:
|
|
return ("tool", tool, str(args.get("query") or ""))
|
|
return ("answer", reply)
|
|
return ("answer", reply.strip())
|
|
|
|
|
|
def health():
|
|
"""Проверка связи с моделью."""
|
|
if not enabled():
|
|
return {"enabled": False, "reason": "нет LLM_BASE_URL или LLM_API_KEY"}
|
|
reply = chat([{"role": "user", "content": "ответь одним словом: работает"}], max_tokens=10)
|
|
if reply is None:
|
|
return {"enabled": False, "reason": "нет ответа"}
|
|
if reply.startswith("__error__"):
|
|
return {"enabled": True, "ok": False, "error": reply[9:].strip()[:200], "model": MODEL}
|
|
return {"enabled": True, "ok": True, "model": MODEL, "reply": reply.strip()[:60]}
|