120 lines
3.7 KiB
Python
Executable File
120 lines
3.7 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
"""Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании.
|
|
|
|
Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться
|
|
(по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг;
|
|
если не отвечает — выгружает модели и пробует снова. Если и после этого
|
|
плохо две проверки подряд — пытается перезапустить службу по SSH
|
|
(нужен sudo без пароля на 229) и сообщает владельцу.
|
|
|
|
Запуск: Hermes каждые 30 минут.
|
|
"""
|
|
import json
|
|
import os
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
import urllib.request as u
|
|
|
|
LLM = "http://192.168.1.229:11434"
|
|
STATE = "/var/lib/ollama-guard/streak"
|
|
NOTIFY = "/opt/buryan-hub/scripts/notify.py"
|
|
SSH = "llm229"
|
|
ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh"
|
|
|
|
|
|
def post(path, payload, timeout):
|
|
req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST")
|
|
req.add_header("Content-Type", "application/json")
|
|
with u.urlopen(req, timeout=timeout) as r:
|
|
return json.loads(r.read().decode())
|
|
|
|
|
|
def embed_ok(timeout=25):
|
|
t0 = time.time()
|
|
try:
|
|
d = post("/api/embed", {"model": "nomic-embed-text",
|
|
"input": ["проверка связи"]}, timeout)
|
|
ok = bool(d.get("embeddings"))
|
|
return ok, round((time.time() - t0) * 1000)
|
|
except Exception:
|
|
return False, round((time.time() - t0) * 1000)
|
|
|
|
|
|
def unload_all():
|
|
for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"):
|
|
try:
|
|
post("/api/generate", {"model": m, "keep_alive": 0}, 15)
|
|
except Exception:
|
|
pass
|
|
|
|
|
|
def notify(title, text, priority="high"):
|
|
try:
|
|
subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority,
|
|
"--title", title, text], capture_output=True,
|
|
text=True, timeout=120)
|
|
except Exception:
|
|
pass
|
|
|
|
|
|
def main():
|
|
ok, ms = embed_ok()
|
|
if ok:
|
|
_reset()
|
|
print("ok %s мс" % ms)
|
|
return 0
|
|
print("эмбеддинг не отвечает — выгружаю модели")
|
|
unload_all()
|
|
time.sleep(2)
|
|
ok2, ms2 = embed_ok(timeout=90)
|
|
if ok2:
|
|
_reset()
|
|
print("самолечение: после выгрузки %s мс" % ms2)
|
|
return 0
|
|
|
|
streak = _streak() + 1
|
|
_set(streak)
|
|
print("не помогло (подряд %d)" % streak)
|
|
if streak < 2:
|
|
return 1
|
|
|
|
r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True,
|
|
text=True, timeout=120)
|
|
out = ((r.stdout or "") + (r.stderr or "")).strip()
|
|
if r.returncode == 0:
|
|
time.sleep(8)
|
|
ok3, ms3 = embed_ok(timeout=90)
|
|
if ok3:
|
|
_reset()
|
|
notify("Ollama: перезапуск помог",
|
|
"Эмбеддинги снова отвечают (%s мс)." % ms3)
|
|
return 0
|
|
notify("Ollama зависла",
|
|
"Эмбеддинги не отвечают после выгрузки и попытки перезапуска. "
|
|
"Нужен ручной перезапуск на 229 (sudo).")
|
|
return 2
|
|
|
|
|
|
def _streak():
|
|
try:
|
|
return int(open(STATE).read().strip() or 0)
|
|
except Exception:
|
|
return 0
|
|
|
|
|
|
def _set(n):
|
|
try:
|
|
os.makedirs(os.path.dirname(STATE), exist_ok=True)
|
|
open(STATE, "w").write(str(n))
|
|
except Exception:
|
|
pass
|
|
|
|
|
|
def _reset():
|
|
_set(0)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|