Files
buryan-agent 7402aa574f LLM-адаптер: разбор свободных фраз и вызов инструментов бота
llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный).
Модель получает список инструментов (команд бота) и либо вызывает нужный,
либо отвечает текстом.

Встроено в бота: если правила не распознали фразу, бот спрашивает модель.
Без ключа адаптер молчит — поведение прежнее.

Проверено на локальной заглушке: фраза «покажи статистику по медиа» →
модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом
записывается в журнал диалогов. health() подтверждает связь.

Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через
EnvironmentFile, формат llm.env.example в репозитории.
2026-10-19 19:26:41 +03:00

139 lines
5.2 KiB
Python

"""LLM-адаптер: понимание свободных фраз и выбор инструмента.
Работает с любым OpenAI-совместимым API (DeepSeek, Qwen, локальный сервер).
Если ключа нет — возвращает None, и бот работает по правилам, как раньше.
Настройка (env):
LLM_BASE_URL https://api.deepseek.com/v1
LLM_API_KEY sk-...
LLM_MODEL deepseek-chat
LLM_TIMEOUT 20
"""
import json
import os
import urllib.error
import urllib.request
BASE = os.environ.get("LLM_BASE_URL", "").rstrip("/")
KEY = os.environ.get("LLM_API_KEY", "")
MODEL = os.environ.get("LLM_MODEL", "deepseek-chat")
TIMEOUT = int(os.environ.get("LLM_TIMEOUT", "20"))
def enabled():
return bool(BASE and KEY)
def _post(path, payload):
req = urllib.request.Request(
f"{BASE}{path}", data=json.dumps(payload).encode(), method="POST",
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
with urllib.request.urlopen(req, timeout=TIMEOUT) as r:
return json.loads(r.read())
def chat(messages, tools=None, temperature=0.2, max_tokens=600):
"""Один запрос к модели. Возвращает текст ответа или None."""
if not enabled():
return None
payload = {"model": MODEL, "messages": messages,
"temperature": temperature, "max_tokens": max_tokens}
if tools:
payload["tools"] = tools
payload["tool_choice"] = "auto"
try:
data = _post("/chat/completions", payload)
except urllib.error.HTTPError as e:
return f"__error__ HTTP {e.code}: {e.read()[:160].decode('utf-8', 'replace')}"
except Exception as e:
return f"__error__ {str(e)[:160]}"
try:
msg = data["choices"][0]["message"]
except (KeyError, IndexError):
return f"__error__ странный ответ: {json.dumps(data)[:160]}"
calls = msg.get("tool_calls") or []
if calls:
fn = calls[0].get("function", {})
return json.dumps({"tool": fn.get("name"), "args": _safe_json(fn.get("arguments"))},
ensure_ascii=False)
return msg.get("content") or ""
def _safe_json(s):
try:
return json.loads(s or "{}")
except json.JSONDecodeError:
return {}
def tools_for(bot):
"""Список инструментов = команды бота. Модель выбирает нужную."""
out = []
for name, (help_text, _) in sorted(bot.commands.items()):
out.append({
"type": "function",
"function": {
"name": name,
"description": help_text,
"parameters": {
"type": "object",
"properties": {
"query": {"type": "string",
"description": "текст запроса, если команде нужен аргумент"}
},
"required": [],
},
},
})
return out
SYSTEM = """Ты — помощник домашней платформы Buryan Hub.
У тебя есть инструменты (функции) — это команды бота «{title}».
Правила:
1. Если запрос пользователя соответствует инструменту — вызови его.
2. Если данных для ответа нет — так и скажи, коротко.
3. Отвечай по-русски, кратко, без воды.
4. Не выдумывай цифры: если нужны данные, вызывай инструмент.
"""
def route(bot, text):
"""Понять фразу. Возвращает ('tool', имя, аргумент) | ('answer', текст) | None."""
if not enabled():
return None
msgs = [
{"role": "system", "content": SYSTEM.format(title=bot.title)},
{"role": "user", "content": text},
]
reply = chat(msgs, tools=tools_for(bot))
if reply is None:
return None
if reply.startswith("__error__"):
return ("answer", "Не смог обратиться к модели. " + reply[9:].strip()[:150])
if reply.startswith("{"):
try:
d = json.loads(reply)
except json.JSONDecodeError:
return ("answer", reply)
tool = d.get("tool")
args = d.get("args") or {}
if tool and tool in bot.commands:
return ("tool", tool, str(args.get("query") or ""))
return ("answer", reply)
return ("answer", reply.strip())
def health():
"""Проверка связи с моделью."""
if not enabled():
return {"enabled": False, "reason": "нет LLM_BASE_URL или LLM_API_KEY"}
reply = chat([{"role": "user", "content": "ответь одним словом: работает"}], max_tokens=10)
if reply is None:
return {"enabled": False, "reason": "нет ответа"}
if reply.startswith("__error__"):
return {"enabled": True, "ok": False, "error": reply[9:].strip()[:200], "model": MODEL}
return {"enabled": True, "ok": True, "model": MODEL, "reply": reply.strip()[:60]}