59 lines
1.9 KiB
Python
Executable File
59 lines
1.9 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
"""Клиент локального LLM-узла (batch-задачи, приватные данные).
|
|
|
|
Использование:
|
|
llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300]
|
|
echo "текст" | llm_query.py -
|
|
|
|
Возвращает только текст ответа. Код возврата 0 при успехе.
|
|
"""
|
|
import argparse
|
|
import json
|
|
import sys
|
|
import urllib.request
|
|
|
|
HOST = "http://192.168.1.229:11434"
|
|
DEFAULT_MODEL = "qwen2.5:7b"
|
|
|
|
|
|
def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300):
|
|
body = json.dumps({
|
|
"model": model,
|
|
"prompt": prompt,
|
|
"stream": False,
|
|
"options": {"num_predict": max_tokens, "temperature": 0.2},
|
|
}).encode()
|
|
req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST")
|
|
req.add_header("Content-Type", "application/json")
|
|
with urllib.request.urlopen(req, timeout=timeout) as r:
|
|
d = json.loads(r.read().decode())
|
|
return d.get("response", "").strip(), d
|
|
|
|
|
|
def main():
|
|
ap = argparse.ArgumentParser()
|
|
ap.add_argument("prompt", help="текст запроса или - для stdin")
|
|
ap.add_argument("--model", default=DEFAULT_MODEL)
|
|
ap.add_argument("--max", type=int, default=300, dest="max_tokens")
|
|
ap.add_argument("--json", action="store_true", help="вывести полный ответ API")
|
|
a = ap.parse_args()
|
|
|
|
text = sys.stdin.read() if a.prompt == "-" else a.prompt
|
|
if not text.strip():
|
|
print("пустой запрос", file=sys.stderr)
|
|
return 2
|
|
try:
|
|
out, raw = ask(text, a.model, a.max_tokens)
|
|
except Exception as e:
|
|
print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr)
|
|
return 1
|
|
if a.json:
|
|
print(json.dumps(raw, ensure_ascii=False, indent=1))
|
|
else:
|
|
print(out)
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|