diff --git a/ops/hub/OLLAMA-BUSY-NOT-HUNG.md b/ops/hub/OLLAMA-BUSY-NOT-HUNG.md new file mode 100644 index 0000000..659fbe3 --- /dev/null +++ b/ops/hub/OLLAMA-BUSY-NOT-HUNG.md @@ -0,0 +1,61 @@ +# «Ollama висит» — это были наши же воркеры (12.11.2026) + +## Симптом + +`/api/tags` отвечает, `/api/generate` и `/api/embeddings` — таймаут 10–20 с. +Выглядело как зависший runner. Сторож Ollama дважды присылал «нужен перезапуск». + +## Настоящая причина + +На машине `llm` (192.168.1.229) к Ollama было **4 установленных соединения +с нашего хоста** — это `llm_research` (воркеры сбора), запущенные вручную +в 10:04. Ollama обрабатывает запросы **по очереди**: пока 4 воркера гоняют +генерацию, внешние запросы (RAG, сторожа) стоят в очереди и падают по таймауту. + +``` +ESTAB 192.168.1.10:51874 → 192.168.1.229:11434 python pid=3244402 (llm_research) +ESTAB 192.168.1.10:51876 → … pid=3244408 +ESTAB 192.168.1.10:52378 → … pid=3244404 +ESTAB 192.168.1.10:52624 → … pid=3244406 +``` + +## Проверка + +Остановили воркеры (`systemctl stop yealink-research@0..3`) и сразу: + +``` +генерация: 200 за 2.68 с +embeddings: 200 за 0.35 с +сторож: «Ollama в порядке, моделей: 3» +RAG: 0.03 с, score 0.682 (вектора, не текстовый запас) +``` + +Перезапуск Ollama **не требовался**. + +## Что исправлено + +### Сторож различает «занята» и «зависла» + +Раньше любой таймаут считался сбоем. Теперь проверяются соединения от +`llm_research`: + +* есть соединения → «ℹ️ Ollama занята сбором данных: N воркеров держат + генерацию», приоритет **low**, код 0; +* нет соединений, но таймаут → «🔴 зависла, нужен перезапуск», код 1. + +### Порядок работы + +* Сбор LLM идёт **по расписанию** (00:00–07:30), как и было задумано. +* Днём воркеры не запускаем — LLM свободна для RAG, правил и ответов. +* Осталось ~1246 адресов; при ночном темпе это ещё ~2 ночи. + +## Ловушка + +`llm_research` не имеет собственного таймаута на запрос: если Ollama занята, +воркер просто ждёт. Поэтому 4 воркера в очередь вытесняют всех остальных, а +внешне это выглядит как «сервер завис». + +## Урок + +Прежде чем искать поломку в чужом сервисе — посмотреть, кто его нагружает. +`ss -tnp | grep 11434` показал виновников за 2 секунды. diff --git a/ops/scripts/check_ollama.py b/ops/scripts/check_ollama.py index 5b911d3..ce3a9b3 100755 --- a/ops/scripts/check_ollama.py +++ b/ops/scripts/check_ollama.py @@ -6,6 +6,7 @@ runner завис. Именно так ломался RAG и LLM-сбор. Ра только по жалобам; теперь будет событие в шине. """ import json +import subprocess import sys import urllib.request as u @@ -55,6 +56,21 @@ def main(): print("Ollama в порядке, моделей:", len(models)) return 0 except Exception as e: + # Отличаем «занята нашими воркерами» от настоящего зависания: + # если к Ollama есть соединения от llm_research — это очередь, а не сбой. + busy = 0 + try: + out = subprocess.run("ss -tnp 2>/dev/null | grep 11434 | grep -c llm_research", + shell=True, capture_output=True, text=True, timeout=15).stdout + busy = int((out or "0").strip() or 0) + except Exception: + busy = 0 + if busy: + print("Ollama занята воркерами (соединений: %d): %s" % (busy, str(e)[:50])) + notify("ℹ️ Ollama (192.168.1.229) занята сбором данных: %d воркеров " + "держат генерацию. RAG временно на текстовом запасе." % busy, + priority="low") + return 0 print("Ollama зависла на генерации:", str(e)[:80]) notify("🔴 Ollama (192.168.1.229): сервер жив, но генерация висит " "(таймаут %ss). Нужен перезапуск на 229 — от этого зависит "