LLM-адаптер: разбор свободных фраз и вызов инструментов бота
llm.py — клиент любого OpenAI-совместимого API (DeepSeek, Qwen, локальный). Модель получает список инструментов (команд бота) и либо вызывает нужный, либо отвечает текстом. Встроено в бота: если правила не распознали фразу, бот спрашивает модель. Без ключа адаптер молчит — поведение прежнее. Проверено на локальной заглушке: фраза «покажи статистику по медиа» → модель выбрала инструмент stats → бот вернул медиатеку; ответ текстом записывается в журнал диалогов. health() подтверждает связь. Настройка: /etc/hub-core/llm.env (600), подключён к hub-bots через EnvironmentFile, формат llm.env.example в репозитории.
This commit is contained in:
1 parent
0384335f5d
commit
7402aa574f
4 files changed
+231
No files matched your search
@@ -0,0 +1,43 @@
|
||||
# LLM-адаптер
|
||||
|
||||
Понимает свободные фразы и решает, какую команду бота вызвать.
|
||||
|
||||
## Настройка
|
||||
|
||||
`/etc/hub-core/llm.env` (права 600), подключён к службе ботов через
|
||||
`EnvironmentFile`:
|
||||
|
||||
```
|
||||
LLM_BASE_URL=https://api.deepseek.com/v1
|
||||
LLM_API_KEY=sk-...
|
||||
LLM_MODEL=deepseek-chat
|
||||
```
|
||||
|
||||
Подходит любой OpenAI-совместимый API: DeepSeek, Qwen
|
||||
(`https://dashscope.aliyuncs.com/compatible-mode/v1`, модель `qwen-plus`),
|
||||
локальный сервер.
|
||||
|
||||
## Как работает
|
||||
|
||||
1. Бот не распознал фразу правилами → спрашивает модель.
|
||||
2. Модель получает список инструментов = команд бота с описаниями.
|
||||
3. Если выбрала инструмент — бот выполняет и возвращает результат.
|
||||
4. Если ответила текстом — бот отдаёт текст и пишет пару в
|
||||
`/var/lib/hub-bots/dialog.jsonl`.
|
||||
|
||||
Без ключа (`LLM_BASE_URL` пуст) адаптер молчит, боты работают по правилам.
|
||||
|
||||
## Проверено на заглушке
|
||||
|
||||
Локальный mock OpenAI-сервера (`mock_llm.py`) подтвердил весь путь:
|
||||
|
||||
* «покажи статистику по медиа» → модель выбрала инструмент `stats` →
|
||||
бот выполнил и вернул медиатеку;
|
||||
* «расскажи как дела у нашей медиатеки» → модель ответила текстом →
|
||||
бот отдал ответ и записал диалог в журнал;
|
||||
* `health()` возвращает `{'enabled': True, 'ok': True}`.
|
||||
|
||||
## Когда появится ключ
|
||||
|
||||
Вписать три строки в `/etc/hub-core/llm.env` и перезапустить ботов:
|
||||
`systemctl restart hub-bots`. Больше ничего менять не нужно.
|
||||
@@ -0,0 +1,7 @@
|
||||
# LLM для ботов. Заполнить, когда будет ключ.
|
||||
# DeepSeek: https://api.deepseek.com/v1, модель deepseek-chat
|
||||
# Qwen: https://dashscope.aliyuncs.com/compatible-mode/v1, модель qwen-plus
|
||||
LLM_BASE_URL=
|
||||
LLM_API_KEY=
|
||||
LLM_MODEL=deepseek-chat
|
||||
LLM_TIMEOUT=20
|
||||
@@ -0,0 +1,138 @@
|
||||
"""LLM-адаптер: понимание свободных фраз и выбор инструмента.
|
||||
|
||||
Работает с любым OpenAI-совместимым API (DeepSeek, Qwen, локальный сервер).
|
||||
Если ключа нет — возвращает None, и бот работает по правилам, как раньше.
|
||||
|
||||
Настройка (env):
|
||||
LLM_BASE_URL https://api.deepseek.com/v1
|
||||
LLM_API_KEY sk-...
|
||||
LLM_MODEL deepseek-chat
|
||||
LLM_TIMEOUT 20
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import urllib.error
|
||||
import urllib.request
|
||||
|
||||
BASE = os.environ.get("LLM_BASE_URL", "").rstrip("/")
|
||||
KEY = os.environ.get("LLM_API_KEY", "")
|
||||
MODEL = os.environ.get("LLM_MODEL", "deepseek-chat")
|
||||
TIMEOUT = int(os.environ.get("LLM_TIMEOUT", "20"))
|
||||
|
||||
|
||||
def enabled():
|
||||
return bool(BASE and KEY)
|
||||
|
||||
|
||||
def _post(path, payload):
|
||||
req = urllib.request.Request(
|
||||
f"{BASE}{path}", data=json.dumps(payload).encode(), method="POST",
|
||||
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
|
||||
with urllib.request.urlopen(req, timeout=TIMEOUT) as r:
|
||||
return json.loads(r.read())
|
||||
|
||||
|
||||
def chat(messages, tools=None, temperature=0.2, max_tokens=600):
|
||||
"""Один запрос к модели. Возвращает текст ответа или None."""
|
||||
if not enabled():
|
||||
return None
|
||||
payload = {"model": MODEL, "messages": messages,
|
||||
"temperature": temperature, "max_tokens": max_tokens}
|
||||
if tools:
|
||||
payload["tools"] = tools
|
||||
payload["tool_choice"] = "auto"
|
||||
try:
|
||||
data = _post("/chat/completions", payload)
|
||||
except urllib.error.HTTPError as e:
|
||||
return f"__error__ HTTP {e.code}: {e.read()[:160].decode('utf-8', 'replace')}"
|
||||
except Exception as e:
|
||||
return f"__error__ {str(e)[:160]}"
|
||||
|
||||
try:
|
||||
msg = data["choices"][0]["message"]
|
||||
except (KeyError, IndexError):
|
||||
return f"__error__ странный ответ: {json.dumps(data)[:160]}"
|
||||
|
||||
calls = msg.get("tool_calls") or []
|
||||
if calls:
|
||||
fn = calls[0].get("function", {})
|
||||
return json.dumps({"tool": fn.get("name"), "args": _safe_json(fn.get("arguments"))},
|
||||
ensure_ascii=False)
|
||||
return msg.get("content") or ""
|
||||
|
||||
|
||||
def _safe_json(s):
|
||||
try:
|
||||
return json.loads(s or "{}")
|
||||
except json.JSONDecodeError:
|
||||
return {}
|
||||
|
||||
|
||||
def tools_for(bot):
|
||||
"""Список инструментов = команды бота. Модель выбирает нужную."""
|
||||
out = []
|
||||
for name, (help_text, _) in sorted(bot.commands.items()):
|
||||
out.append({
|
||||
"type": "function",
|
||||
"function": {
|
||||
"name": name,
|
||||
"description": help_text,
|
||||
"parameters": {
|
||||
"type": "object",
|
||||
"properties": {
|
||||
"query": {"type": "string",
|
||||
"description": "текст запроса, если команде нужен аргумент"}
|
||||
},
|
||||
"required": [],
|
||||
},
|
||||
},
|
||||
})
|
||||
return out
|
||||
|
||||
|
||||
SYSTEM = """Ты — помощник домашней платформы Buryan Hub.
|
||||
У тебя есть инструменты (функции) — это команды бота «{title}».
|
||||
Правила:
|
||||
1. Если запрос пользователя соответствует инструменту — вызови его.
|
||||
2. Если данных для ответа нет — так и скажи, коротко.
|
||||
3. Отвечай по-русски, кратко, без воды.
|
||||
4. Не выдумывай цифры: если нужны данные, вызывай инструмент.
|
||||
"""
|
||||
|
||||
|
||||
def route(bot, text):
|
||||
"""Понять фразу. Возвращает ('tool', имя, аргумент) | ('answer', текст) | None."""
|
||||
if not enabled():
|
||||
return None
|
||||
msgs = [
|
||||
{"role": "system", "content": SYSTEM.format(title=bot.title)},
|
||||
{"role": "user", "content": text},
|
||||
]
|
||||
reply = chat(msgs, tools=tools_for(bot))
|
||||
if reply is None:
|
||||
return None
|
||||
if reply.startswith("__error__"):
|
||||
return ("answer", "Не смог обратиться к модели. " + reply[9:].strip()[:150])
|
||||
if reply.startswith("{"):
|
||||
try:
|
||||
d = json.loads(reply)
|
||||
except json.JSONDecodeError:
|
||||
return ("answer", reply)
|
||||
tool = d.get("tool")
|
||||
args = d.get("args") or {}
|
||||
if tool and tool in bot.commands:
|
||||
return ("tool", tool, str(args.get("query") or ""))
|
||||
return ("answer", reply)
|
||||
return ("answer", reply.strip())
|
||||
|
||||
|
||||
def health():
|
||||
"""Проверка связи с моделью."""
|
||||
if not enabled():
|
||||
return {"enabled": False, "reason": "нет LLM_BASE_URL или LLM_API_KEY"}
|
||||
reply = chat([{"role": "user", "content": "ответь одним словом: работает"}], max_tokens=10)
|
||||
if reply is None:
|
||||
return {"enabled": False, "reason": "нет ответа"}
|
||||
if reply.startswith("__error__"):
|
||||
return {"enabled": True, "ok": False, "error": reply[9:].strip()[:200], "model": MODEL}
|
||||
return {"enabled": True, "ok": True, "model": MODEL, "reply": reply.strip()[:60]}
|
||||
@@ -0,0 +1,43 @@
|
||||
"""Заглушка OpenAI-совместимого API: проверяем, что адаптер реально ходит по HTTP."""
|
||||
import json
|
||||
import sys
|
||||
from http.server import BaseHTTPRequestHandler, HTTPServer
|
||||
|
||||
|
||||
class H(BaseHTTPRequestHandler):
|
||||
def log_message(self, *a):
|
||||
pass
|
||||
|
||||
def do_POST(self):
|
||||
n = int(self.headers.get("Content-Length", 0))
|
||||
req = json.loads(self.rfile.read(n) or b"{}")
|
||||
user = ""
|
||||
for m in req.get("messages", []):
|
||||
if m.get("role") == "user":
|
||||
user = m.get("content", "")
|
||||
tools = req.get("tools") or []
|
||||
|
||||
if "статистик" in user.lower() and tools:
|
||||
names = [t["function"]["name"] for t in tools]
|
||||
pick = "stats" if "stats" in names else names[0]
|
||||
out = {"choices": [{"message": {
|
||||
"role": "assistant",
|
||||
"content": None,
|
||||
"tool_calls": [{"id": "1", "type": "function",
|
||||
"function": {"name": pick, "arguments": "{}"}}],
|
||||
}}]}
|
||||
else:
|
||||
out = {"choices": [{"message": {"role": "assistant",
|
||||
"content": f"Понял: {user[:80]}. Это заглушка."}}]}
|
||||
body = json.dumps(out).encode()
|
||||
self.send_response(200)
|
||||
self.send_header("Content-Type", "application/json")
|
||||
self.send_header("Content-Length", str(len(body)))
|
||||
self.end_headers()
|
||||
self.wfile.write(body)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
port = int(sys.argv[1]) if len(sys.argv) > 1 else 9199
|
||||
print(f"заглушка на {port}", flush=True)
|
||||
HTTPServer(("127.0.0.1", port), H).serve_forever()
|
||||
Reference in new issue
Block a user