[HUB] «Ollama висит» оказалось очередью от наших же 4 воркеров сбора: остановили — генерация 2.7 с, embeddings 0.35 с, RAG вернулся на вектора (score 0.68). Сторож теперь различает «занята» (low) и «зависла» (critical) по соединениям llm_research. Перезапуск Ollama не требовался

This commit is contained in:
root committed 2026-11-12 14:15:28 +03:00
1 parent 3c964d0008
commit 44a85978cd
2 files changed
+77

No files matched your search

+61
View File
@@ -0,0 +1,61 @@
# «Ollama висит» — это были наши же воркеры (12.11.2026)
## Симптом
`/api/tags` отвечает, `/api/generate` и `/api/embeddings` — таймаут 10–20 с.
Выглядело как зависший runner. Сторож Ollama дважды присылал «нужен перезапуск».
## Настоящая причина
На машине `llm` (192.168.1.229) к Ollama было **4 установленных соединения
с нашего хоста** — это `llm_research` (воркеры сбора), запущенные вручную
в 10:04. Ollama обрабатывает запросы **по очереди**: пока 4 воркера гоняют
генерацию, внешние запросы (RAG, сторожа) стоят в очереди и падают по таймауту.
```
ESTAB 192.168.1.10:51874 → 192.168.1.229:11434 python pid=3244402 (llm_research)
ESTAB 192.168.1.10:51876 → … pid=3244408
ESTAB 192.168.1.10:52378 → … pid=3244404
ESTAB 192.168.1.10:52624 → … pid=3244406
```
## Проверка
Остановили воркеры (`systemctl stop yealink-research@0..3`) и сразу:
```
генерация: 200 за 2.68 с
embeddings: 200 за 0.35 с
сторож: «Ollama в порядке, моделей: 3»
RAG: 0.03 с, score 0.682 (вектора, не текстовый запас)
```
Перезапуск Ollama **не требовался**.
## Что исправлено
### Сторож различает «занята» и «зависла»
Раньше любой таймаут считался сбоем. Теперь проверяются соединения от
`llm_research`:
* есть соединения → «ℹ️ Ollama занята сбором данных: N воркеров держат
генерацию», приоритет **low**, код 0;
* нет соединений, но таймаут → «🔴 зависла, нужен перезапуск», код 1.
### Порядок работы
* Сбор LLM идёт **по расписанию** (00:00–07:30), как и было задумано.
* Днём воркеры не запускаем — LLM свободна для RAG, правил и ответов.
* Осталось ~1246 адресов; при ночном темпе это ещё ~2 ночи.
## Ловушка
`llm_research` не имеет собственного таймаута на запрос: если Ollama занята,
воркер просто ждёт. Поэтому 4 воркера в очередь вытесняют всех остальных, а
внешне это выглядит как «сервер завис».
## Урок
Прежде чем искать поломку в чужом сервисе — посмотреть, кто его нагружает.
`ss -tnp | grep 11434` показал виновников за 2 секунды.
+16
View File
@@ -6,6 +6,7 @@ runner завис. Именно так ломался RAG и LLM-сбор. Ра
только по жалобам; теперь будет событие в шине.
"""
import json
import subprocess
import sys
import urllib.request as u
@@ -55,6 +56,21 @@ def main():
print("Ollama в порядке, моделей:", len(models))
return 0
except Exception as e:
# Отличаем «занята нашими воркерами» от настоящего зависания:
# если к Ollama есть соединения от llm_research — это очередь, а не сбой.
busy = 0
try:
out = subprocess.run("ss -tnp 2>/dev/null | grep 11434 | grep -c llm_research",
shell=True, capture_output=True, text=True, timeout=15).stdout
busy = int((out or "0").strip() or 0)
except Exception:
busy = 0
if busy:
print("Ollama занята воркерами (соединений: %d): %s" % (busy, str(e)[:50]))
notify("ℹ️ Ollama (192.168.1.229) занята сбором данных: %d воркеров "
"держат генерацию. RAG временно на текстовом запасе." % busy,
priority="low")
return 0
print("Ollama зависла на генерации:", str(e)[:80])
notify("🔴 Ollama (192.168.1.229): сервер жив, но генерация висит "
"(таймаут %ss). Нужен перезапуск на 229 — от этого зависит "