[OPS] SSH к 229: доступ под roman через Host llm229 (ключ id_ed25519), ollama-admin.sh (status/unload/restart/logs), ollama_guard.py + Hermes каждые 30 мин (самолечение выгрузкой, перезапуск при 2 подряд, алерт при неудаче). Выяснено: 229 — Ubuntu llm, 15 ГБ, 18 ядер; sudo требует пароль, поэтому в доке — две команды владельцу: OLLAMA_MAX_LOADED_MODELS=2 (решает конфликт qwen/эмбеддинги) и NOPASSWD для restart

This commit is contained in:
root committed 2026-11-17 10:16:21 +03:00
1 parent 3d21b891f1
commit 368e863146
4 files changed
+237 -3

No files matched your search

+74
View File
@@ -0,0 +1,74 @@
# SSH-доступ к 229 (Ollama): сделано (17.11.2026)
Пункт 2 из аудита — управление Ollama с домашнего хоста.
## Что выяснилось
* 229 — это **Ubuntu-хост `llm`**: 15 ГБ RAM, 18 ядер, uptime 11 дней;
* SSH-ключ `id_ed25519` уже работает под пользователем **roman**
(в группе sudo, но `sudo` требует пароль);
* Ollama — системная служба (`MainPID` 39406), модели лежат у пользователя
`ollama`, журнал читается (roman в группе `adm`).
## Что сделано
1. **`~/.ssh/config` на домашнем хосте**: `Host llm229` → `roman@192.168.1.229`,
ключ `id_ed25519`. Проверка: `ssh llm229 'hostname'` → `llm`.
2. **`ops/scripts/ollama-admin.sh`** — управление по SSH:
* `status` — хост, память, ядра, служба, модели в памяти;
* `unload` — выгрузить qwen/nomic (`keep_alive: 0`);
* `restart` — перезапуск службы (нужен sudo без пароля, см. ниже);
* `logs` — журнал Ollama.
3. **`ops/scripts/ollama_guard.py`** + Hermes каждые 30 мин:
* проверяет эмбеддинг;
* если не отвечает — выгружает модели и пробует снова (самолечение);
* если плохо два раза подряд — пробует перезапустить службу;
* если не вышло — уведомляет в ALERT «нужен ручной перезапуск».
## Что нужно от владельца (один раз, на 229)
### 1. Разрешить две модели одновременно
Раньше эмбеддинги не поднимались, пока загружена qwen: Ollama по умолчанию
держит одну модель. На 15 ГБ RAM обе помещаются.
```bash
sudo mkdir -p /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment=OLLAMA_MAX_LOADED_MODELS=2\n' \
| sudo tee /etc/systemd/system/ollama.service.d/max-models.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
```
### 2. Разрешить перезапуск без пароля (для guard)
```bash
echo 'roman ALL=(root) NOPASSWD: /bin/systemctl restart ollama, /bin/systemctl status ollama, /usr/bin/journalctl -u ollama' \
| sudo tee /etc/sudoers.d/ollama-hub
sudo chmod 440 /etc/sudoers.d/ollama-hub
```
## Проверка после команд
```
ssh llm229 'systemctl show ollama -p Environment'
# ожидаем OLLAMA_MAX_LOADED_MODELS=2
/home/.../ollama-admin.sh restart # должен пройти без пароля
ollama-guard.py # должен показать ok
```
## Эффект
* RAG-пересбор перестанет зависеть от того, загружена ли qwen;
* триаж/RCA не будут выбивать эмбеддинги;
* guard сам поднимет Ollama при зависании, без ручного вмешательства.
## Ловушки
| Ловушка | Что было |
|---|---|
| root@229 | ключ не подходит; рабочий пользователь — `roman` |
| sudo | `sudo -n` требует пароль: без NOPASSWD guard не может перезапускать |
| модели не в ~/.ollama | служба запущена от `ollama`, модели в её домашнем каталоге |
| одна модель по умолчанию | `OLLAMA_MAX_LOADED_MODELS=2` решает конфликт qwen/эмбеддинги |
+4 -3
View File
@@ -1,10 +1,10 @@
# Реестр автоматизаций Buryans Hub
# Сгенерировано: 2026-11-17 10:01 (ops/scripts/build_automations_registry.py)
total: 164
# Сгенерировано: 2026-11-17 10:16 (ops/scripts/build_automations_registry.py)
total: 165
by_source:
cron.d: 49
crontab: 15
hermes: 57
hermes: 58
systemd: 43
items:
- {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"}
@@ -171,3 +171,4 @@ items:
- {"source": "hermes", "job": "selfcheck-platform", "schedule": "every 21600s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/selfcheck_platform.py"}
- {"source": "hermes", "job": "cf-tunnel-sync", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/cf_tunnel_sync.py"}
- {"source": "hermes", "job": "pg-conn-monitor", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/pg_conn_monitor.py"}
- {"source": "hermes", "job": "ollama-guard", "schedule": "every 1800s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/ollama_guard.py"}
+40
View File
@@ -0,0 +1,40 @@
#!/bin/bash
# Управление Ollama на 229 (хост llm). Доступ — SSH под roman.
# ollama-admin.sh status — состояние, память, модели
# ollama-admin.sh unload — выгрузить все модели (keep_alive 0)
# ollama-admin.sh restart — перезапуск службы (нужен sudo без пароля)
# ollama-admin.sh logs — последние строки журнала
set -u
HOST="llm229"
API="http://192.168.1.229:11434"
case "${1:-status}" in
status)
ssh -o BatchMode=yes -o ConnectTimeout=8 "$HOST" 'hostname; uptime -p; free -h | head -2; nproc; systemctl is-active ollama; systemctl show ollama -p MainPID --value' 2>&1
echo "--- модели в памяти:"
curl -s -m 8 "$API/api/ps" 2>/dev/null | head -c 400
echo
;;
unload)
for m in qwen2.5:3b qwen2.5:7b nomic-embed-text; do
curl -s -m 15 -X POST "$API/api/generate" -H 'Content-Type: application/json' \
-d "{\"model\":\"$m\",\"keep_alive\":0}" -o /dev/null 2>/dev/null
done
echo "модели выгружены"
;;
restart)
if ssh -o BatchMode=yes "$HOST" 'sudo -n systemctl restart ollama' 2>/dev/null; then
echo "ollama перезапущен"
sleep 5
curl -s -m 8 "$API/api/version" 2>/dev/null
else
echo "нет sudo без пароля: дайте разрешение (см. ops/audits/SSH-229-2026-11-17.md)"
exit 2
fi
;;
logs)
ssh -o BatchMode=yes "$HOST" 'journalctl -u ollama -n 40 --no-pager 2>&1 | tail -40'
;;
*)
echo "usage: $0 status|unload|restart|logs"
;;
esac
+119
View File
@@ -0,0 +1,119 @@
#!/usr/bin/env python3
"""Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании.
Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться
(по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг;
если не отвечает — выгружает модели и пробует снова. Если и после этого
плохо две проверки подряд — пытается перезапустить службу по SSH
(нужен sudo без пароля на 229) и сообщает владельцу.
Запуск: Hermes каждые 30 минут.
"""
import json
import os
import subprocess
import sys
import time
import urllib.request as u
LLM = "http://192.168.1.229:11434"
STATE = "/var/lib/ollama-guard/streak"
NOTIFY = "/opt/buryan-hub/scripts/notify.py"
SSH = "llm229"
ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh"
def post(path, payload, timeout):
req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST")
req.add_header("Content-Type", "application/json")
with u.urlopen(req, timeout=timeout) as r:
return json.loads(r.read().decode())
def embed_ok(timeout=25):
t0 = time.time()
try:
d = post("/api/embed", {"model": "nomic-embed-text",
"input": ["проверка связи"]}, timeout)
ok = bool(d.get("embeddings"))
return ok, round((time.time() - t0) * 1000)
except Exception:
return False, round((time.time() - t0) * 1000)
def unload_all():
for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"):
try:
post("/api/generate", {"model": m, "keep_alive": 0}, 15)
except Exception:
pass
def notify(title, text, priority="high"):
try:
subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority,
"--title", title, text], capture_output=True,
text=True, timeout=120)
except Exception:
pass
def main():
ok, ms = embed_ok()
if ok:
_reset()
print("ok %s мс" % ms)
return 0
print("эмбеддинг не отвечает — выгружаю модели")
unload_all()
time.sleep(2)
ok2, ms2 = embed_ok(timeout=90)
if ok2:
_reset()
print("самолечение: после выгрузки %s мс" % ms2)
return 0
streak = _streak() + 1
_set(streak)
print("не помогло (подряд %d)" % streak)
if streak < 2:
return 1
r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True,
text=True, timeout=120)
out = ((r.stdout or "") + (r.stderr or "")).strip()
if r.returncode == 0:
time.sleep(8)
ok3, ms3 = embed_ok(timeout=90)
if ok3:
_reset()
notify("Ollama: перезапуск помог",
"Эмбеддинги снова отвечают (%s мс)." % ms3)
return 0
notify("Ollama зависла",
"Эмбеддинги не отвечают после выгрузки и попытки перезапуска. "
"Нужен ручной перезапуск на 229 (sudo).")
return 2
def _streak():
try:
return int(open(STATE).read().strip() or 0)
except Exception:
return 0
def _set(n):
try:
os.makedirs(os.path.dirname(STATE), exist_ok=True)
open(STATE, "w").write(str(n))
except Exception:
pass
def _reset():
_set(0)
if __name__ == "__main__":
sys.exit(main())