#!/usr/bin/env python3 """Клиент локального LLM-узла (batch-задачи, приватные данные). Использование: llm_query.py "текст запроса" [--model qwen2.5:7b] [--max 300] echo "текст" | llm_query.py - Возвращает только текст ответа. Код возврата 0 при успехе. """ import argparse import json import sys import urllib.request HOST = "http://192.168.1.229:11434" DEFAULT_MODEL = "qwen2.5:7b" def ask(prompt, model=DEFAULT_MODEL, max_tokens=300, timeout=300): body = json.dumps({ "model": model, "prompt": prompt, "stream": False, "options": {"num_predict": max_tokens, "temperature": 0.2}, }).encode() req = urllib.request.Request(HOST + "/api/generate", data=body, method="POST") req.add_header("Content-Type", "application/json") with urllib.request.urlopen(req, timeout=timeout) as r: d = json.loads(r.read().decode()) return d.get("response", "").strip(), d def main(): ap = argparse.ArgumentParser() ap.add_argument("prompt", help="текст запроса или - для stdin") ap.add_argument("--model", default=DEFAULT_MODEL) ap.add_argument("--max", type=int, default=300, dest="max_tokens") ap.add_argument("--json", action="store_true", help="вывести полный ответ API") a = ap.parse_args() text = sys.stdin.read() if a.prompt == "-" else a.prompt if not text.strip(): print("пустой запрос", file=sys.stderr) return 2 try: out, raw = ask(text, a.model, a.max_tokens) except Exception as e: print("ошибка LLM-узла: %s: %s" % (type(e).__name__, str(e)[:150]), file=sys.stderr) return 1 if a.json: print(json.dumps(raw, ensure_ascii=False, indent=1)) else: print(out) return 0 if __name__ == "__main__": sys.exit(main())