Files
buryan-infra/ops/scripts/llm_query.py

59 lines
1.9 KiB
Python
Executable File

#!/usr/bin/env python3
"""Клиент локального LLM-узла (batch-задачи, приватные данные).
Использование:
llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300]
echo "текст" | llm_query.py -
Возвращает только текст ответа. Код возврата 0 при успехе.
"""
import argparse
import json
import sys
import urllib.request
HOST = "http://192.168.1.229:11434"
DEFAULT_MODEL = "qwen2.5:7b"
def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300):
body = json.dumps({
"model": model,
"prompt": prompt,
"stream": False,
"options": {"num_predict": max_tokens, "temperature": 0.2},
}).encode()
req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST")
req.add_header("Content-Type", "application/json")
with urllib.request.urlopen(req, timeout=timeout) as r:
d = json.loads(r.read().decode())
return d.get("response", "").strip(), d
def main():
ap = argparse.ArgumentParser()
ap.add_argument("prompt", help="текст запроса или - для stdin")
ap.add_argument("--model", default=DEFAULT_MODEL)
ap.add_argument("--max", type=int, default=300, dest="max_tokens")
ap.add_argument("--json", action="store_true", help="вывести полный ответ API")
a = ap.parse_args()
text = sys.stdin.read() if a.prompt == "-" else a.prompt
if not text.strip():
print("пустой запрос", file=sys.stderr)
return 2
try:
out, raw = ask(text, a.model, a.max_tokens)
except Exception as e:
print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr)
return 1
if a.json:
print(json.dumps(raw, ensure_ascii=False, indent=1))
else:
print(out)
return 0
if __name__ == "__main__":
sys.exit(main())