diff --git a/ops/hub-core/llm/README.md b/ops/hub-core/llm/README.md new file mode 100644 index 0000000..4080fd0 --- /dev/null +++ b/ops/hub-core/llm/README.md @@ -0,0 +1,43 @@ +# LLM-адаптер + +Понимает свободные фразы и решает, какую команду бота вызвать. + +## Настройка + +`/etc/hub-core/llm.env` (права 600), подключён к службе ботов через +`EnvironmentFile`: + +``` +LLM_BASE_URL=https://api.deepseek.com/v1 +LLM_API_KEY=sk-... +LLM_MODEL=deepseek-chat +``` + +Подходит любой OpenAI-совместимый API: DeepSeek, Qwen +(`https://dashscope.aliyuncs.com/compatible-mode/v1`, модель `qwen-plus`), +локальный сервер. + +## Как работает + +1. Бот не распознал фразу правилами → спрашивает модель. +2. Модель получает список инструментов = команд бота с описаниями. +3. Если выбрала инструмент — бот выполняет и возвращает результат. +4. Если ответила текстом — бот отдаёт текст и пишет пару в + `/var/lib/hub-bots/dialog.jsonl`. + +Без ключа (`LLM_BASE_URL` пуст) адаптер молчит, боты работают по правилам. + +## Проверено на заглушке + +Локальный mock OpenAI-сервера (`mock_llm.py`) подтвердил весь путь: + +* «покажи статистику по медиа» → модель выбрала инструмент `stats` → + бот выполнил и вернул медиатеку; +* «расскажи как дела у нашей медиатеки» → модель ответила текстом → + бот отдал ответ и записал диалог в журнал; +* `health()` возвращает `{'enabled': True, 'ok': True}`. + +## Когда появится ключ + +Вписать три строки в `/etc/hub-core/llm.env` и перезапустить ботов: +`systemctl restart hub-bots`. Больше ничего менять не нужно. diff --git a/ops/hub-core/llm/llm.env.example b/ops/hub-core/llm/llm.env.example new file mode 100644 index 0000000..59f99e1 --- /dev/null +++ b/ops/hub-core/llm/llm.env.example @@ -0,0 +1,7 @@ +# LLM для ботов. Заполнить, когда будет ключ. +# DeepSeek: https://api.deepseek.com/v1, модель deepseek-chat +# Qwen: https://dashscope.aliyuncs.com/compatible-mode/v1, модель qwen-plus +LLM_BASE_URL= +LLM_API_KEY= +LLM_MODEL=deepseek-chat +LLM_TIMEOUT=20 diff --git a/ops/hub-core/llm/llm.py b/ops/hub-core/llm/llm.py new file mode 100644 index 0000000..a529d3d --- /dev/null +++ b/ops/hub-core/llm/llm.py @@ -0,0 +1,138 @@ +"""LLM-адаптер: понимание свободных фраз и выбор инструмента. + +Работает с любым OpenAI-совместимым API (DeepSeek, Qwen, локальный сервер). +Если ключа нет — возвращает None, и бот работает по правилам, как раньше. + +Настройка (env): + LLM_BASE_URL https://api.deepseek.com/v1 + LLM_API_KEY sk-... + LLM_MODEL deepseek-chat + LLM_TIMEOUT 20 +""" +import json +import os +import urllib.error +import urllib.request + +BASE = os.environ.get("LLM_BASE_URL", "").rstrip("/") +KEY = os.environ.get("LLM_API_KEY", "") +MODEL = os.environ.get("LLM_MODEL", "deepseek-chat") +TIMEOUT = int(os.environ.get("LLM_TIMEOUT", "20")) + + +def enabled(): + return bool(BASE and KEY) + + +def _post(path, payload): + req = urllib.request.Request( + f"{BASE}{path}", data=json.dumps(payload).encode(), method="POST", + headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"}) + with urllib.request.urlopen(req, timeout=TIMEOUT) as r: + return json.loads(r.read()) + + +def chat(messages, tools=None, temperature=0.2, max_tokens=600): + """Один запрос к модели. Возвращает текст ответа или None.""" + if not enabled(): + return None + payload = {"model": MODEL, "messages": messages, + "temperature": temperature, "max_tokens": max_tokens} + if tools: + payload["tools"] = tools + payload["tool_choice"] = "auto" + try: + data = _post("/chat/completions", payload) + except urllib.error.HTTPError as e: + return f"__error__ HTTP {e.code}: {e.read()[:160].decode('utf-8', 'replace')}" + except Exception as e: + return f"__error__ {str(e)[:160]}" + + try: + msg = data["choices"][0]["message"] + except (KeyError, IndexError): + return f"__error__ странный ответ: {json.dumps(data)[:160]}" + + calls = msg.get("tool_calls") or [] + if calls: + fn = calls[0].get("function", {}) + return json.dumps({"tool": fn.get("name"), "args": _safe_json(fn.get("arguments"))}, + ensure_ascii=False) + return msg.get("content") or "" + + +def _safe_json(s): + try: + return json.loads(s or "{}") + except json.JSONDecodeError: + return {} + + +def tools_for(bot): + """Список инструментов = команды бота. Модель выбирает нужную.""" + out = [] + for name, (help_text, _) in sorted(bot.commands.items()): + out.append({ + "type": "function", + "function": { + "name": name, + "description": help_text, + "parameters": { + "type": "object", + "properties": { + "query": {"type": "string", + "description": "текст запроса, если команде нужен аргумент"} + }, + "required": [], + }, + }, + }) + return out + + +SYSTEM = """Ты — помощник домашней платформы Buryan Hub. +У тебя есть инструменты (функции) — это команды бота «{title}». +Правила: +1. Если запрос пользователя соответствует инструменту — вызови его. +2. Если данных для ответа нет — так и скажи, коротко. +3. Отвечай по-русски, кратко, без воды. +4. Не выдумывай цифры: если нужны данные, вызывай инструмент. +""" + + +def route(bot, text): + """Понять фразу. Возвращает ('tool', имя, аргумент) | ('answer', текст) | None.""" + if not enabled(): + return None + msgs = [ + {"role": "system", "content": SYSTEM.format(title=bot.title)}, + {"role": "user", "content": text}, + ] + reply = chat(msgs, tools=tools_for(bot)) + if reply is None: + return None + if reply.startswith("__error__"): + return ("answer", "Не смог обратиться к модели. " + reply[9:].strip()[:150]) + if reply.startswith("{"): + try: + d = json.loads(reply) + except json.JSONDecodeError: + return ("answer", reply) + tool = d.get("tool") + args = d.get("args") or {} + if tool and tool in bot.commands: + return ("tool", tool, str(args.get("query") or "")) + return ("answer", reply) + return ("answer", reply.strip()) + + +def health(): + """Проверка связи с моделью.""" + if not enabled(): + return {"enabled": False, "reason": "нет LLM_BASE_URL или LLM_API_KEY"} + reply = chat([{"role": "user", "content": "ответь одним словом: работает"}], max_tokens=10) + if reply is None: + return {"enabled": False, "reason": "нет ответа"} + if reply.startswith("__error__"): + return {"enabled": True, "ok": False, "error": reply[9:].strip()[:200], "model": MODEL} + return {"enabled": True, "ok": True, "model": MODEL, "reply": reply.strip()[:60]} diff --git a/ops/hub-core/llm/mock_llm.py b/ops/hub-core/llm/mock_llm.py new file mode 100644 index 0000000..08759d2 --- /dev/null +++ b/ops/hub-core/llm/mock_llm.py @@ -0,0 +1,43 @@ +"""Заглушка OpenAI-совместимого API: проверяем, что адаптер реально ходит по HTTP.""" +import json +import sys +from http.server import BaseHTTPRequestHandler, HTTPServer + + +class H(BaseHTTPRequestHandler): + def log_message(self, *a): + pass + + def do_POST(self): + n = int(self.headers.get("Content-Length", 0)) + req = json.loads(self.rfile.read(n) or b"{}") + user = "" + for m in req.get("messages", []): + if m.get("role") == "user": + user = m.get("content", "") + tools = req.get("tools") or [] + + if "статистик" in user.lower() and tools: + names = [t["function"]["name"] for t in tools] + pick = "stats" if "stats" in names else names[0] + out = {"choices": [{"message": { + "role": "assistant", + "content": None, + "tool_calls": [{"id": "1", "type": "function", + "function": {"name": pick, "arguments": "{}"}}], + }}]} + else: + out = {"choices": [{"message": {"role": "assistant", + "content": f"Понял: {user[:80]}. Это заглушка."}}]} + body = json.dumps(out).encode() + self.send_response(200) + self.send_header("Content-Type", "application/json") + self.send_header("Content-Length", str(len(body))) + self.end_headers() + self.wfile.write(body) + + +if __name__ == "__main__": + port = int(sys.argv[1]) if len(sys.argv) > 1 else 9199 + print(f"заглушка на {port}", flush=True) + HTTPServer(("127.0.0.1", port), H).serve_forever()