#!/usr/bin/env python3 """Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании. Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться (по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг; если не отвечает — выгружает модели и пробует снова. Если и после этого плохо две проверки подряд — пытается перезапустить службу по SSH (нужен sudo без пароля на 229) и сообщает владельцу. Запуск: Hermes каждые 30 минут. """ import json import os import subprocess import sys import time import urllib.request as u LLM = "http://192.168.1.229:11434" STATE = "/var/lib/ollama-guard/streak" NOTIFY = "/opt/buryan-hub/scripts/notify.py" SSH = "llm229" ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh" def post(path, payload, timeout): req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST") req.add_header("Content-Type", "application/json") with u.urlopen(req, timeout=timeout) as r: return json.loads(r.read().decode()) def embed_ok(timeout=25): t0 = time.time() try: d = post("/api/embed", {"model": "nomic-embed-text", "input": ["проверка связи"]}, timeout) ok = bool(d.get("embeddings")) return ok, round((time.time() - t0) * 1000) except Exception: return False, round((time.time() - t0) * 1000) def unload_all(): for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"): try: post("/api/generate", {"model": m, "keep_alive": 0}, 15) except Exception: pass def notify(title, text, priority="high"): try: subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority, "--title", title, text], capture_output=True, text=True, timeout=120) except Exception: pass def main(): ok, ms = embed_ok() if ok: _reset() print("ok %s мс" % ms) return 0 print("эмбеддинг не отвечает — выгружаю модели") unload_all() time.sleep(2) ok2, ms2 = embed_ok(timeout=90) if ok2: _reset() print("самолечение: после выгрузки %s мс" % ms2) return 0 streak = _streak() + 1 _set(streak) print("не помогло (подряд %d)" % streak) if streak < 2: return 1 r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True, text=True, timeout=120) out = ((r.stdout or "") + (r.stderr or "")).strip() if r.returncode == 0: time.sleep(8) ok3, ms3 = embed_ok(timeout=90) if ok3: _reset() notify("Ollama: перезапуск помог", "Эмбеддинги снова отвечают (%s мс)." % ms3) return 0 notify("Ollama зависла", "Эмбеддинги не отвечают после выгрузки и попытки перезапуска. " "Нужен ручной перезапуск на 229 (sudo).") return 2 def _streak(): try: return int(open(STATE).read().strip() or 0) except Exception: return 0 def _set(n): try: os.makedirs(os.path.dirname(STATE), exist_ok=True) open(STATE, "w").write(str(n)) except Exception: pass def _reset(): _set(0) if __name__ == "__main__": sys.exit(main())