From 368e8631460eadc9460c233ff49a334c9629ac7f Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 17 Nov 2026 10:16:21 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20SSH=20=D0=BA=20229:=20=D0=B4=D0=BE?= =?UTF-8?q?=D1=81=D1=82=D1=83=D0=BF=20=D0=BF=D0=BE=D0=B4=20roman=20=D1=87?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=B7=20Host=20llm229=20(=D0=BA=D0=BB=D1=8E?= =?UTF-8?q?=D1=87=20id=5Fed25519),=20ollama-admin.sh=20(status/unload/rest?= =?UTF-8?q?art/logs),=20ollama=5Fguard.py=20+=20Hermes=20=D0=BA=D0=B0?= =?UTF-8?q?=D0=B6=D0=B4=D1=8B=D0=B5=2030=20=D0=BC=D0=B8=D0=BD=20(=D1=81?= =?UTF-8?q?=D0=B0=D0=BC=D0=BE=D0=BB=D0=B5=D1=87=D0=B5=D0=BD=D0=B8=D0=B5=20?= =?UTF-8?q?=D0=B2=D1=8B=D0=B3=D1=80=D1=83=D0=B7=D0=BA=D0=BE=D0=B9,=20?= =?UTF-8?q?=D0=BF=D0=B5=D1=80=D0=B5=D0=B7=D0=B0=D0=BF=D1=83=D1=81=D0=BA=20?= =?UTF-8?q?=D0=BF=D1=80=D0=B8=202=20=D0=BF=D0=BE=D0=B4=D1=80=D1=8F=D0=B4,?= =?UTF-8?q?=20=D0=B0=D0=BB=D0=B5=D1=80=D1=82=20=D0=BF=D1=80=D0=B8=20=D0=BD?= =?UTF-8?q?=D0=B5=D1=83=D0=B4=D0=B0=D1=87=D0=B5).=20=D0=92=D1=8B=D1=8F?= =?UTF-8?q?=D1=81=D0=BD=D0=B5=D0=BD=D0=BE:=20229=20=E2=80=94=20Ubuntu=20ll?= =?UTF-8?q?m,=2015=20=D0=93=D0=91,=2018=20=D1=8F=D0=B4=D0=B5=D1=80;=20sudo?= =?UTF-8?q?=20=D1=82=D1=80=D0=B5=D0=B1=D1=83=D0=B5=D1=82=20=D0=BF=D0=B0?= =?UTF-8?q?=D1=80=D0=BE=D0=BB=D1=8C,=20=D0=BF=D0=BE=D1=8D=D1=82=D0=BE?= =?UTF-8?q?=D0=BC=D1=83=20=D0=B2=20=D0=B4=D0=BE=D0=BA=D0=B5=20=E2=80=94=20?= =?UTF-8?q?=D0=B4=D0=B2=D0=B5=20=D0=BA=D0=BE=D0=BC=D0=B0=D0=BD=D0=B4=D1=8B?= =?UTF-8?q?=20=D0=B2=D0=BB=D0=B0=D0=B4=D0=B5=D0=BB=D1=8C=D1=86=D1=83:=20OL?= =?UTF-8?q?LAMA=5FMAX=5FLOADED=5FMODELS=3D2=20(=D1=80=D0=B5=D1=88=D0=B0?= =?UTF-8?q?=D0=B5=D1=82=20=D0=BA=D0=BE=D0=BD=D1=84=D0=BB=D0=B8=D0=BA=D1=82?= =?UTF-8?q?=20qwen/=D1=8D=D0=BC=D0=B1=D0=B5=D0=B4=D0=B4=D0=B8=D0=BD=D0=B3?= =?UTF-8?q?=D0=B8)=20=D0=B8=20NOPASSWD=20=D0=B4=D0=BB=D1=8F=20restart?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/SSH-229-2026-11-17.md | 74 +++++++++++++++++++ ops/automations/registry.yaml | 7 +- ops/scripts/ollama-admin.sh | 40 +++++++++++ ops/scripts/ollama_guard.py | 119 +++++++++++++++++++++++++++++++ 4 files changed, 237 insertions(+), 3 deletions(-) create mode 100644 ops/audits/SSH-229-2026-11-17.md create mode 100755 ops/scripts/ollama-admin.sh create mode 100755 ops/scripts/ollama_guard.py diff --git a/ops/audits/SSH-229-2026-11-17.md b/ops/audits/SSH-229-2026-11-17.md new file mode 100644 index 0000000..39d649c --- /dev/null +++ b/ops/audits/SSH-229-2026-11-17.md @@ -0,0 +1,74 @@ +# SSH-доступ к 229 (Ollama): сделано (17.11.2026) + +Пункт 2 из аудита — управление Ollama с домашнего хоста. + +## Что выяснилось + +* 229 — это **Ubuntu-хост `llm`**: 15 ГБ RAM, 18 ядер, uptime 11 дней; +* SSH-ключ `id_ed25519` уже работает под пользователем **roman** + (в группе sudo, но `sudo` требует пароль); +* Ollama — системная служба (`MainPID` 39406), модели лежат у пользователя + `ollama`, журнал читается (roman в группе `adm`). + +## Что сделано + +1. **`~/.ssh/config` на домашнем хосте**: `Host llm229` → `roman@192.168.1.229`, + ключ `id_ed25519`. Проверка: `ssh llm229 'hostname'` → `llm`. +2. **`ops/scripts/ollama-admin.sh`** — управление по SSH: + * `status` — хост, память, ядра, служба, модели в памяти; + * `unload` — выгрузить qwen/nomic (`keep_alive: 0`); + * `restart` — перезапуск службы (нужен sudo без пароля, см. ниже); + * `logs` — журнал Ollama. +3. **`ops/scripts/ollama_guard.py`** + Hermes каждые 30 мин: + * проверяет эмбеддинг; + * если не отвечает — выгружает модели и пробует снова (самолечение); + * если плохо два раза подряд — пробует перезапустить службу; + * если не вышло — уведомляет в ALERT «нужен ручной перезапуск». + +## Что нужно от владельца (один раз, на 229) + +### 1. Разрешить две модели одновременно + +Раньше эмбеддинги не поднимались, пока загружена qwen: Ollama по умолчанию +держит одну модель. На 15 ГБ RAM обе помещаются. + +```bash +sudo mkdir -p /etc/systemd/system/ollama.service.d +printf '[Service]\nEnvironment=OLLAMA_MAX_LOADED_MODELS=2\n' \ + | sudo tee /etc/systemd/system/ollama.service.d/max-models.conf +sudo systemctl daemon-reload +sudo systemctl restart ollama +``` + +### 2. Разрешить перезапуск без пароля (для guard) + +```bash +echo 'roman ALL=(root) NOPASSWD: /bin/systemctl restart ollama, /bin/systemctl status ollama, /usr/bin/journalctl -u ollama' \ + | sudo tee /etc/sudoers.d/ollama-hub +sudo chmod 440 /etc/sudoers.d/ollama-hub +``` + +## Проверка после команд + +``` +ssh llm229 'systemctl show ollama -p Environment' +# ожидаем OLLAMA_MAX_LOADED_MODELS=2 + +/home/.../ollama-admin.sh restart # должен пройти без пароля +ollama-guard.py # должен показать ok +``` + +## Эффект + +* RAG-пересбор перестанет зависеть от того, загружена ли qwen; +* триаж/RCA не будут выбивать эмбеддинги; +* guard сам поднимет Ollama при зависании, без ручного вмешательства. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| root@229 | ключ не подходит; рабочий пользователь — `roman` | +| sudo | `sudo -n` требует пароль: без NOPASSWD guard не может перезапускать | +| модели не в ~/.ollama | служба запущена от `ollama`, модели в её домашнем каталоге | +| одна модель по умолчанию | `OLLAMA_MAX_LOADED_MODELS=2` решает конфликт qwen/эмбеддинги | diff --git a/ops/automations/registry.yaml b/ops/automations/registry.yaml index bbbaca0..644c8ca 100644 --- a/ops/automations/registry.yaml +++ b/ops/automations/registry.yaml @@ -1,10 +1,10 @@ # Реестр автоматизаций Buryans Hub -# Сгенерировано: 2026-11-17 10:01 (ops/scripts/build_automations_registry.py) -total: 164 +# Сгенерировано: 2026-11-17 10:16 (ops/scripts/build_automations_registry.py) +total: 165 by_source: cron.d: 49 crontab: 15 - hermes: 57 + hermes: 58 systemd: 43 items: - {"source": "crontab", "line": "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"} @@ -171,3 +171,4 @@ items: - {"source": "hermes", "job": "selfcheck-platform", "schedule": "every 21600s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/selfcheck_platform.py"} - {"source": "hermes", "job": "cf-tunnel-sync", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/cf_tunnel_sync.py"} - {"source": "hermes", "job": "pg-conn-monitor", "schedule": "every 300s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/pg_conn_monitor.py"} +- {"source": "hermes", "job": "ollama-guard", "schedule": "every 1800s", "command": "/usr/bin/python3 /root/buryan-infra/ops/scripts/ollama_guard.py"} diff --git a/ops/scripts/ollama-admin.sh b/ops/scripts/ollama-admin.sh new file mode 100755 index 0000000..33a8333 --- /dev/null +++ b/ops/scripts/ollama-admin.sh @@ -0,0 +1,40 @@ +#!/bin/bash +# Управление Ollama на 229 (хост llm). Доступ — SSH под roman. +# ollama-admin.sh status — состояние, память, модели +# ollama-admin.sh unload — выгрузить все модели (keep_alive 0) +# ollama-admin.sh restart — перезапуск службы (нужен sudo без пароля) +# ollama-admin.sh logs — последние строки журнала +set -u +HOST="llm229" +API="http://192.168.1.229:11434" +case "${1:-status}" in + status) + ssh -o BatchMode=yes -o ConnectTimeout=8 "$HOST" 'hostname; uptime -p; free -h | head -2; nproc; systemctl is-active ollama; systemctl show ollama -p MainPID --value' 2>&1 + echo "--- модели в памяти:" + curl -s -m 8 "$API/api/ps" 2>/dev/null | head -c 400 + echo + ;; + unload) + for m in qwen2.5:3b qwen2.5:7b nomic-embed-text; do + curl -s -m 15 -X POST "$API/api/generate" -H 'Content-Type: application/json' \ + -d "{\"model\":\"$m\",\"keep_alive\":0}" -o /dev/null 2>/dev/null + done + echo "модели выгружены" + ;; + restart) + if ssh -o BatchMode=yes "$HOST" 'sudo -n systemctl restart ollama' 2>/dev/null; then + echo "ollama перезапущен" + sleep 5 + curl -s -m 8 "$API/api/version" 2>/dev/null + else + echo "нет sudo без пароля: дайте разрешение (см. ops/audits/SSH-229-2026-11-17.md)" + exit 2 + fi + ;; + logs) + ssh -o BatchMode=yes "$HOST" 'journalctl -u ollama -n 40 --no-pager 2>&1 | tail -40' + ;; + *) + echo "usage: $0 status|unload|restart|logs" + ;; +esac diff --git a/ops/scripts/ollama_guard.py b/ops/scripts/ollama_guard.py new file mode 100755 index 0000000..0be2b97 --- /dev/null +++ b/ops/scripts/ollama_guard.py @@ -0,0 +1,119 @@ +#!/usr/bin/env python3 +"""Сторож Ollama: самолечение выгрузкой моделей, перезапуск при зависании. + +Проблема: когда загружена qwen2.5:3b, эмбеддинги могут не подняться +(по умолчанию Ollama держит одну модель). Guard проверяет эмбеддинг; +если не отвечает — выгружает модели и пробует снова. Если и после этого +плохо две проверки подряд — пытается перезапустить службу по SSH +(нужен sudo без пароля на 229) и сообщает владельцу. + +Запуск: Hermes каждые 30 минут. +""" +import json +import os +import subprocess +import sys +import time +import urllib.request as u + +LLM = "http://192.168.1.229:11434" +STATE = "/var/lib/ollama-guard/streak" +NOTIFY = "/opt/buryan-hub/scripts/notify.py" +SSH = "llm229" +ADMIN = "/root/buryan-infra/ops/scripts/ollama-admin.sh" + + +def post(path, payload, timeout): + req = u.Request(LLM + path, data=json.dumps(payload).encode(), method="POST") + req.add_header("Content-Type", "application/json") + with u.urlopen(req, timeout=timeout) as r: + return json.loads(r.read().decode()) + + +def embed_ok(timeout=25): + t0 = time.time() + try: + d = post("/api/embed", {"model": "nomic-embed-text", + "input": ["проверка связи"]}, timeout) + ok = bool(d.get("embeddings")) + return ok, round((time.time() - t0) * 1000) + except Exception: + return False, round((time.time() - t0) * 1000) + + +def unload_all(): + for m in ("qwen2.5:3b", "qwen2.5:7b", "nomic-embed-text"): + try: + post("/api/generate", {"model": m, "keep_alive": 0}, 15) + except Exception: + pass + + +def notify(title, text, priority="high"): + try: + subprocess.run(["/usr/bin/python3", NOTIFY, "--priority", priority, + "--title", title, text], capture_output=True, + text=True, timeout=120) + except Exception: + pass + + +def main(): + ok, ms = embed_ok() + if ok: + _reset() + print("ok %s мс" % ms) + return 0 + print("эмбеддинг не отвечает — выгружаю модели") + unload_all() + time.sleep(2) + ok2, ms2 = embed_ok(timeout=90) + if ok2: + _reset() + print("самолечение: после выгрузки %s мс" % ms2) + return 0 + + streak = _streak() + 1 + _set(streak) + print("не помогло (подряд %d)" % streak) + if streak < 2: + return 1 + + r = subprocess.run(["bash", ADMIN, "restart"], capture_output=True, + text=True, timeout=120) + out = ((r.stdout or "") + (r.stderr or "")).strip() + if r.returncode == 0: + time.sleep(8) + ok3, ms3 = embed_ok(timeout=90) + if ok3: + _reset() + notify("Ollama: перезапуск помог", + "Эмбеддинги снова отвечают (%s мс)." % ms3) + return 0 + notify("Ollama зависла", + "Эмбеддинги не отвечают после выгрузки и попытки перезапуска. " + "Нужен ручной перезапуск на 229 (sudo).") + return 2 + + +def _streak(): + try: + return int(open(STATE).read().strip() or 0) + except Exception: + return 0 + + +def _set(n): + try: + os.makedirs(os.path.dirname(STATE), exist_ok=True) + open(STATE, "w").write(str(n)) + except Exception: + pass + + +def _reset(): + _set(0) + + +if __name__ == "__main__": + sys.exit(main())