From 44a85978cd05c18ddfb2efc073efaeb383d9d570 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 12 Nov 2026 14:15:28 +0300 Subject: [PATCH] =?UTF-8?q?[HUB]=20=C2=ABOllama=20=D0=B2=D0=B8=D1=81=D0=B8?= =?UTF-8?q?=D1=82=C2=BB=20=D0=BE=D0=BA=D0=B0=D0=B7=D0=B0=D0=BB=D0=BE=D1=81?= =?UTF-8?q?=D1=8C=20=D0=BE=D1=87=D0=B5=D1=80=D0=B5=D0=B4=D1=8C=D1=8E=20?= =?UTF-8?q?=D0=BE=D1=82=20=D0=BD=D0=B0=D1=88=D0=B8=D1=85=20=D0=B6=D0=B5=20?= =?UTF-8?q?4=20=D0=B2=D0=BE=D1=80=D0=BA=D0=B5=D1=80=D0=BE=D0=B2=20=D1=81?= =?UTF-8?q?=D0=B1=D0=BE=D1=80=D0=B0:=20=D0=BE=D1=81=D1=82=D0=B0=D0=BD?= =?UTF-8?q?=D0=BE=D0=B2=D0=B8=D0=BB=D0=B8=20=E2=80=94=20=D0=B3=D0=B5=D0=BD?= =?UTF-8?q?=D0=B5=D1=80=D0=B0=D1=86=D0=B8=D1=8F=202.7=20=D1=81,=20embeddin?= =?UTF-8?q?gs=200.35=20=D1=81,=20RAG=20=D0=B2=D0=B5=D1=80=D0=BD=D1=83?= =?UTF-8?q?=D0=BB=D1=81=D1=8F=20=D0=BD=D0=B0=20=D0=B2=D0=B5=D0=BA=D1=82?= =?UTF-8?q?=D0=BE=D1=80=D0=B0=20(score=200.68).=20=D0=A1=D1=82=D0=BE=D1=80?= =?UTF-8?q?=D0=BE=D0=B6=20=D1=82=D0=B5=D0=BF=D0=B5=D1=80=D1=8C=20=D1=80?= =?UTF-8?q?=D0=B0=D0=B7=D0=BB=D0=B8=D1=87=D0=B0=D0=B5=D1=82=20=C2=AB=D0=B7?= =?UTF-8?q?=D0=B0=D0=BD=D1=8F=D1=82=D0=B0=C2=BB=20(low)=20=D0=B8=20=C2=AB?= =?UTF-8?q?=D0=B7=D0=B0=D0=B2=D0=B8=D1=81=D0=BB=D0=B0=C2=BB=20(critical)?= =?UTF-8?q?=20=D0=BF=D0=BE=20=D1=81=D0=BE=D0=B5=D0=B4=D0=B8=D0=BD=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D1=8F=D0=BC=20llm=5Fresearch.=20=D0=9F=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D0=B7=D0=B0=D0=BF=D1=83=D1=81=D0=BA=20Ollama=20=D0=BD?= =?UTF-8?q?=D0=B5=20=D1=82=D1=80=D0=B5=D0=B1=D0=BE=D0=B2=D0=B0=D0=BB=D1=81?= =?UTF-8?q?=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hub/OLLAMA-BUSY-NOT-HUNG.md | 61 +++++++++++++++++++++++++++++++++ ops/scripts/check_ollama.py | 16 +++++++++ 2 files changed, 77 insertions(+) create mode 100644 ops/hub/OLLAMA-BUSY-NOT-HUNG.md diff --git a/ops/hub/OLLAMA-BUSY-NOT-HUNG.md b/ops/hub/OLLAMA-BUSY-NOT-HUNG.md new file mode 100644 index 0000000..659fbe3 --- /dev/null +++ b/ops/hub/OLLAMA-BUSY-NOT-HUNG.md @@ -0,0 +1,61 @@ +# «Ollama висит» — это были наши же воркеры (12.11.2026) + +## Симптом + +`/api/tags` отвечает, `/api/generate` и `/api/embeddings` — таймаут 10–20 с. +Выглядело как зависший runner. Сторож Ollama дважды присылал «нужен перезапуск». + +## Настоящая причина + +На машине `llm` (192.168.1.229) к Ollama было **4 установленных соединения +с нашего хоста** — это `llm_research` (воркеры сбора), запущенные вручную +в 10:04. Ollama обрабатывает запросы **по очереди**: пока 4 воркера гоняют +генерацию, внешние запросы (RAG, сторожа) стоят в очереди и падают по таймауту. + +``` +ESTAB 192.168.1.10:51874 → 192.168.1.229:11434 python pid=3244402 (llm_research) +ESTAB 192.168.1.10:51876 → … pid=3244408 +ESTAB 192.168.1.10:52378 → … pid=3244404 +ESTAB 192.168.1.10:52624 → … pid=3244406 +``` + +## Проверка + +Остановили воркеры (`systemctl stop yealink-research@0..3`) и сразу: + +``` +генерация: 200 за 2.68 с +embeddings: 200 за 0.35 с +сторож: «Ollama в порядке, моделей: 3» +RAG: 0.03 с, score 0.682 (вектора, не текстовый запас) +``` + +Перезапуск Ollama **не требовался**. + +## Что исправлено + +### Сторож различает «занята» и «зависла» + +Раньше любой таймаут считался сбоем. Теперь проверяются соединения от +`llm_research`: + +* есть соединения → «ℹ️ Ollama занята сбором данных: N воркеров держат + генерацию», приоритет **low**, код 0; +* нет соединений, но таймаут → «🔴 зависла, нужен перезапуск», код 1. + +### Порядок работы + +* Сбор LLM идёт **по расписанию** (00:00–07:30), как и было задумано. +* Днём воркеры не запускаем — LLM свободна для RAG, правил и ответов. +* Осталось ~1246 адресов; при ночном темпе это ещё ~2 ночи. + +## Ловушка + +`llm_research` не имеет собственного таймаута на запрос: если Ollama занята, +воркер просто ждёт. Поэтому 4 воркера в очередь вытесняют всех остальных, а +внешне это выглядит как «сервер завис». + +## Урок + +Прежде чем искать поломку в чужом сервисе — посмотреть, кто его нагружает. +`ss -tnp | grep 11434` показал виновников за 2 секунды. diff --git a/ops/scripts/check_ollama.py b/ops/scripts/check_ollama.py index 5b911d3..ce3a9b3 100755 --- a/ops/scripts/check_ollama.py +++ b/ops/scripts/check_ollama.py @@ -6,6 +6,7 @@ runner завис. Именно так ломался RAG и LLM-сбор. Ра только по жалобам; теперь будет событие в шине. """ import json +import subprocess import sys import urllib.request as u @@ -55,6 +56,21 @@ def main(): print("Ollama в порядке, моделей:", len(models)) return 0 except Exception as e: + # Отличаем «занята нашими воркерами» от настоящего зависания: + # если к Ollama есть соединения от llm_research — это очередь, а не сбой. + busy = 0 + try: + out = subprocess.run("ss -tnp 2>/dev/null | grep 11434 | grep -c llm_research", + shell=True, capture_output=True, text=True, timeout=15).stdout + busy = int((out or "0").strip() or 0) + except Exception: + busy = 0 + if busy: + print("Ollama занята воркерами (соединений: %d): %s" % (busy, str(e)[:50])) + notify("ℹ️ Ollama (192.168.1.229) занята сбором данных: %d воркеров " + "держат генерацию. RAG временно на текстовом запасе." % busy, + priority="low") + return 0 print("Ollama зависла на генерации:", str(e)[:80]) notify("🔴 Ollama (192.168.1.229): сервер жив, но генерация висит " "(таймаут %ss). Нужен перезапуск на 229 — от этого зависит "