[OPS] SSH к 229: доступ под roman через Host llm229 (ключ id_ed25519), ollama-admin.sh (status/unload/restart/logs), ollama_guard.py + Hermes каждые 30 мин (самолечение выгрузкой, перезапуск при 2 подряд, алерт при неудаче). Выяснено: 229 — Ubuntu llm, 15 ГБ, 18 ядер; sudo требует пароль, поэтому в доке — две команды владельцу: OLLAMA_MAX_LOADED_MODELS=2 (решает конфликт qwen/эмбеддинги) и NOPASSWD для restart
This commit is contained in:
1 parent
3d21b891f1
commit
368e863146
4 files changed
+237
-3
No files matched your search
@@ -0,0 +1,74 @@
|
||||
# SSH-доступ к 229 (Ollama): сделано (17.11.2026)
|
||||
|
||||
Пункт 2 из аудита — управление Ollama с домашнего хоста.
|
||||
|
||||
## Что выяснилось
|
||||
|
||||
* 229 — это **Ubuntu-хост `llm`**: 15 ГБ RAM, 18 ядер, uptime 11 дней;
|
||||
* SSH-ключ `id_ed25519` уже работает под пользователем **roman**
|
||||
(в группе sudo, но `sudo` требует пароль);
|
||||
* Ollama — системная служба (`MainPID` 39406), модели лежат у пользователя
|
||||
`ollama`, журнал читается (roman в группе `adm`).
|
||||
|
||||
## Что сделано
|
||||
|
||||
1. **`~/.ssh/config` на домашнем хосте**: `Host llm229` → `roman@192.168.1.229`,
|
||||
ключ `id_ed25519`. Проверка: `ssh llm229 'hostname'` → `llm`.
|
||||
2. **`ops/scripts/ollama-admin.sh`** — управление по SSH:
|
||||
* `status` — хост, память, ядра, служба, модели в памяти;
|
||||
* `unload` — выгрузить qwen/nomic (`keep_alive: 0`);
|
||||
* `restart` — перезапуск службы (нужен sudo без пароля, см. ниже);
|
||||
* `logs` — журнал Ollama.
|
||||
3. **`ops/scripts/ollama_guard.py`** + Hermes каждые 30 мин:
|
||||
* проверяет эмбеддинг;
|
||||
* если не отвечает — выгружает модели и пробует снова (самолечение);
|
||||
* если плохо два раза подряд — пробует перезапустить службу;
|
||||
* если не вышло — уведомляет в ALERT «нужен ручной перезапуск».
|
||||
|
||||
## Что нужно от владельца (один раз, на 229)
|
||||
|
||||
### 1. Разрешить две модели одновременно
|
||||
|
||||
Раньше эмбеддинги не поднимались, пока загружена qwen: Ollama по умолчанию
|
||||
держит одну модель. На 15 ГБ RAM обе помещаются.
|
||||
|
||||
```bash
|
||||
sudo mkdir -p /etc/systemd/system/ollama.service.d
|
||||
printf '[Service]\nEnvironment=OLLAMA_MAX_LOADED_MODELS=2\n' \
|
||||
| sudo tee /etc/systemd/system/ollama.service.d/max-models.conf
|
||||
sudo systemctl daemon-reload
|
||||
sudo systemctl restart ollama
|
||||
```
|
||||
|
||||
### 2. Разрешить перезапуск без пароля (для guard)
|
||||
|
||||
```bash
|
||||
echo 'roman ALL=(root) NOPASSWD: /bin/systemctl restart ollama, /bin/systemctl status ollama, /usr/bin/journalctl -u ollama' \
|
||||
| sudo tee /etc/sudoers.d/ollama-hub
|
||||
sudo chmod 440 /etc/sudoers.d/ollama-hub
|
||||
```
|
||||
|
||||
## Проверка после команд
|
||||
|
||||
```
|
||||
ssh llm229 'systemctl show ollama -p Environment'
|
||||
# ожидаем OLLAMA_MAX_LOADED_MODELS=2
|
||||
|
||||
/home/.../ollama-admin.sh restart # должен пройти без пароля
|
||||
ollama-guard.py # должен показать ok
|
||||
```
|
||||
|
||||
## Эффект
|
||||
|
||||
* RAG-пересбор перестанет зависеть от того, загружена ли qwen;
|
||||
* триаж/RCA не будут выбивать эмбеддинги;
|
||||
* guard сам поднимет Ollama при зависании, без ручного вмешательства.
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| root@229 | ключ не подходит; рабочий пользователь — `roman` |
|
||||
| sudo | `sudo -n` требует пароль: без NOPASSWD guard не может перезапускать |
|
||||
| модели не в ~/.ollama | служба запущена от `ollama`, модели в её домашнем каталоге |
|
||||
| одна модель по умолчанию | `OLLAMA_MAX_LOADED_MODELS=2` решает конфликт qwen/эмбеддинги |
|
||||
@@ -1,10 +1,10 @@
|
||||
# Реестр автоматизаций Buryans Hub
|
||||
# Сгенерировано: 2026-11-17 10:01 (ops/scripts/build_automations_registry.py)
|
||||
total: 164
|
||||
# Сгенерировано: 2026-11-17 10:16 (ops/scripts/build_automations_registry.py)
|
||||
total: 165
|
||||
by_source:
|
||||
cron.d: 49
|
||||
crontab: 15
|
||||
hermes: 57
|
||||
hermes: 58
|
||||
systemd: 43
|
||||
items:
|
||||
- {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"}
|
||||
@@ -171,3 +171,4 @@ items:
|
||||
- {"source": "hermes", "job": "selfcheck-platform", "schedule": "every 21600s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/selfcheck_platform.py"}
|
||||
- {"source": "hermes", "job": "cf-tunnel-sync", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/cf_tunnel_sync.py"}
|
||||
- {"source": "hermes", "job": "pg-conn-monitor", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/pg_conn_monitor.py"}
|
||||
- {"source": "hermes", "job": "ollama-guard", "schedule": "every 1800s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/ollama_guard.py"}
|
||||
Executable
+40
@@ -0,0 +1,40 @@
|
||||
#!/bin/bash
|
||||
# Управление Ollama на 229 (хост llm). Доступ — SSH под roman.
|
||||
# ollama-admin.sh status — состояние, память, модели
|
||||
# ollama-admin.sh unload — выгрузить все модели (keep_alive 0)
|
||||
# ollama-admin.sh restart — перезапуск службы (нужен sudo без пароля)
|
||||
# ollama-admin.sh logs — последние строки журнала
|
||||
set -u
|
||||
HOST="llm229"
|
||||
API="http://192.168.1.229:11434"
|
||||
case "${1:-status}" in
|
||||
status)
|
||||
ssh -o BatchMode=yes -o ConnectTimeout=8 "$HOST" 'hostname; uptime -p; free -h | head -2; nproc; systemctl is-active ollama; systemctl show ollama -p MainPID --value' 2>&1
|
||||
echo "--- модели в памяти:"
|
||||
curl -s -m 8 "$API/api/ps" 2>/dev/null | head -c 400
|
||||
echo
|
||||
;;
|
||||
unload)
|
||||
for m in qwen2.5:3b qwen2.5:7b nomic-embed-text; do
|
||||
curl -s -m 15 -X POST "$API/api/generate" -H 'Content-Type: application/json' \
|
||||
-d "{\"model\":\"$m\",\"keep_alive\":0}" -o /dev/null 2>/dev/null
|
||||
done
|
||||
echo "модели выгружены"
|
||||
;;
|
||||
restart)
|
||||
if ssh -o BatchMode=yes "$HOST" 'sudo -n systemctl restart ollama' 2>/dev/null; then
|
||||
echo "ollama перезапущен"
|
||||
sleep 5
|
||||
curl -s -m 8 "$API/api/version" 2>/dev/null
|
||||
else
|
||||
echo "нет sudo без пароля: дайте разрешение (см. ops/audits/SSH-229-2026-11-17.md)"
|
||||
exit 2
|
||||
fi
|
||||
;;
|
||||
logs)
|
||||
ssh -o BatchMode=yes "$HOST" 'journalctl -u ollama -n 40 --no-pager 2>&1 | tail -40'
|
||||
;;
|
||||
*)
|
||||
echo "usage: $0 status|unload|restart|logs"
|
||||
;;
|
||||
esac
|
||||
Executable
+119
@@ -0,0 +1,119 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании.
|
||||
|
||||
Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться
|
||||
(по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг;
|
||||
если не отвечает — выгружает модели и пробует снова. Если и после этого
|
||||
плохо две проверки подряд — пытается перезапустить службу по SSH
|
||||
(нужен sudo без пароля на 229) и сообщает владельцу.
|
||||
|
||||
Запуск: Hermes каждые 30 минут.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
import urllib.request as u
|
||||
|
||||
LLM = "http://192.168.1.229:11434"
|
||||
STATE = "/var/lib/ollama-guard/streak"
|
||||
NOTIFY = "/opt/buryan-hub/scripts/notify.py"
|
||||
SSH = "llm229"
|
||||
ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh"
|
||||
|
||||
|
||||
def post(path, payload, timeout):
|
||||
req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST")
|
||||
req.add_header("Content-Type", "application/json")
|
||||
with u.urlopen(req, timeout=timeout) as r:
|
||||
return json.loads(r.read().decode())
|
||||
|
||||
|
||||
def embed_ok(timeout=25):
|
||||
t0 = time.time()
|
||||
try:
|
||||
d = post("/api/embed", {"model": "nomic-embed-text",
|
||||
"input": ["проверка связи"]}, timeout)
|
||||
ok = bool(d.get("embeddings"))
|
||||
return ok, round((time.time() - t0) * 1000)
|
||||
except Exception:
|
||||
return False, round((time.time() - t0) * 1000)
|
||||
|
||||
|
||||
def unload_all():
|
||||
for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"):
|
||||
try:
|
||||
post("/api/generate", {"model": m, "keep_alive": 0}, 15)
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def notify(title, text, priority="high"):
|
||||
try:
|
||||
subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority,
|
||||
"--title", title, text], capture_output=True,
|
||||
text=True, timeout=120)
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def main():
|
||||
ok, ms = embed_ok()
|
||||
if ok:
|
||||
_reset()
|
||||
print("ok %s мс" % ms)
|
||||
return 0
|
||||
print("эмбеддинг не отвечает — выгружаю модели")
|
||||
unload_all()
|
||||
time.sleep(2)
|
||||
ok2, ms2 = embed_ok(timeout=90)
|
||||
if ok2:
|
||||
_reset()
|
||||
print("самолечение: после выгрузки %s мс" % ms2)
|
||||
return 0
|
||||
|
||||
streak = _streak() + 1
|
||||
_set(streak)
|
||||
print("не помогло (подряд %d)" % streak)
|
||||
if streak < 2:
|
||||
return 1
|
||||
|
||||
r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True,
|
||||
text=True, timeout=120)
|
||||
out = ((r.stdout or "") + (r.stderr or "")).strip()
|
||||
if r.returncode == 0:
|
||||
time.sleep(8)
|
||||
ok3, ms3 = embed_ok(timeout=90)
|
||||
if ok3:
|
||||
_reset()
|
||||
notify("Ollama: перезапуск помог",
|
||||
"Эмбеддинги снова отвечают (%s мс)." % ms3)
|
||||
return 0
|
||||
notify("Ollama зависла",
|
||||
"Эмбеддинги не отвечают после выгрузки и попытки перезапуска. "
|
||||
"Нужен ручной перезапуск на 229 (sudo).")
|
||||
return 2
|
||||
|
||||
|
||||
def _streak():
|
||||
try:
|
||||
return int(open(STATE).read().strip() or 0)
|
||||
except Exception:
|
||||
return 0
|
||||
|
||||
|
||||
def _set(n):
|
||||
try:
|
||||
os.makedirs(os.path.dirname(STATE), exist_ok=True)
|
||||
open(STATE, "w").write(str(n))
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def _reset():
|
||||
_set(0)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in new issue
Block a user