Files

120 lines
3.7 KiB
Python
Executable File

#!/usr/bin/env python3
"""Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании.
Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться
(по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг;
если не отвечает — выгружает модели и пробует снова. Если и после этого
плохо две проверки подряд — пытается перезапустить службу по SSH
(нужен sudo без пароля на 229) и сообщает владельцу.
Запуск: Hermes каждые 30 минут.
"""
import json
import os
import subprocess
import sys
import time
import urllib.request as u
LLM = "http://192.168.1.229:11434"
STATE = "/var/lib/ollama-guard/streak"
NOTIFY = "/opt/buryan-hub/scripts/notify.py"
SSH = "llm229"
ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh"
def post(path, payload, timeout):
req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST")
req.add_header("Content-Type", "application/json")
with u.urlopen(req, timeout=timeout) as r:
return json.loads(r.read().decode())
def embed_ok(timeout=25):
t0 = time.time()
try:
d = post("/api/embed", {"model": "nomic-embed-text",
"input": ["проверка связи"]}, timeout)
ok = bool(d.get("embeddings"))
return ok, round((time.time() - t0) * 1000)
except Exception:
return False, round((time.time() - t0) * 1000)
def unload_all():
for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"):
try:
post("/api/generate", {"model": m, "keep_alive": 0}, 15)
except Exception:
pass
def notify(title, text, priority="high"):
try:
subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority,
"--title", title, text], capture_output=True,
text=True, timeout=120)
except Exception:
pass
def main():
ok, ms = embed_ok()
if ok:
_reset()
print("ok %s мс" % ms)
return 0
print("эмбеддинг не отвечает — выгружаю модели")
unload_all()
time.sleep(2)
ok2, ms2 = embed_ok(timeout=90)
if ok2:
_reset()
print("самолечение: после выгрузки %s мс" % ms2)
return 0
streak = _streak() + 1
_set(streak)
print("не помогло (подряд %d)" % streak)
if streak < 2:
return 1
r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True,
text=True, timeout=120)
out = ((r.stdout or "") + (r.stderr or "")).strip()
if r.returncode == 0:
time.sleep(8)
ok3, ms3 = embed_ok(timeout=90)
if ok3:
_reset()
notify("Ollama: перезапуск помог",
"Эмбеддинги снова отвечают (%s мс)." % ms3)
return 0
notify("Ollama зависла",
"Эмбеддинги не отвечают после выгрузки и попытки перезапуска. "
"Нужен ручной перезапуск на 229 (sudo).")
return 2
def _streak():
try:
return int(open(STATE).read().strip() or 0)
except Exception:
return 0
def _set(n):
try:
os.makedirs(os.path.dirname(STATE), exist_ok=True)
open(STATE, "w").write(str(n))
except Exception:
pass
def _reset():
_set(0)
if __name__ == "__main__":
sys.exit(main())