[HUB] «Ollama висит» оказалось очередью от наших же 4 воркеров сбора: остановили — генерация 2.7 с, embeddings 0.35 с, RAG вернулся на вектора (score 0.68). Сторож теперь различает «занята» (low) и «зависла» (critical) по соединениям llm_research. Перезапуск Ollama не требовался
This commit is contained in:
1 parent
3c964d0008
commit
44a85978cd
2 files changed
+77
No files matched your search
@@ -0,0 +1,61 @@
|
||||
# «Ollama висит» — это были наши же воркеры (12.11.2026)
|
||||
|
||||
## Симптом
|
||||
|
||||
`/api/tags` отвечает, `/api/generate` и `/api/embeddings` — таймаут 10–20 с.
|
||||
Выглядело как зависший runner. Сторож Ollama дважды присылал «нужен перезапуск».
|
||||
|
||||
## Настоящая причина
|
||||
|
||||
На машине `llm` (192.168.1.229) к Ollama было **4 установленных соединения
|
||||
с нашего хоста** — это `llm_research` (воркеры сбора), запущенные вручную
|
||||
в 10:04. Ollama обрабатывает запросы **по очереди**: пока 4 воркера гоняют
|
||||
генерацию, внешние запросы (RAG, сторожа) стоят в очереди и падают по таймауту.
|
||||
|
||||
```
|
||||
ESTAB 192.168.1.10:51874 → 192.168.1.229:11434 python pid=3244402 (llm_research)
|
||||
ESTAB 192.168.1.10:51876 → … pid=3244408
|
||||
ESTAB 192.168.1.10:52378 → … pid=3244404
|
||||
ESTAB 192.168.1.10:52624 → … pid=3244406
|
||||
```
|
||||
|
||||
## Проверка
|
||||
|
||||
Остановили воркеры (`systemctl stop yealink-research@0..3`) и сразу:
|
||||
|
||||
```
|
||||
генерация: 200 за 2.68 с
|
||||
embeddings: 200 за 0.35 с
|
||||
сторож: «Ollama в порядке, моделей: 3»
|
||||
RAG: 0.03 с, score 0.682 (вектора, не текстовый запас)
|
||||
```
|
||||
|
||||
Перезапуск Ollama **не требовался**.
|
||||
|
||||
## Что исправлено
|
||||
|
||||
### Сторож различает «занята» и «зависла»
|
||||
|
||||
Раньше любой таймаут считался сбоем. Теперь проверяются соединения от
|
||||
`llm_research`:
|
||||
|
||||
* есть соединения → «ℹ️ Ollama занята сбором данных: N воркеров держат
|
||||
генерацию», приоритет **low**, код 0;
|
||||
* нет соединений, но таймаут → «🔴 зависла, нужен перезапуск», код 1.
|
||||
|
||||
### Порядок работы
|
||||
|
||||
* Сбор LLM идёт **по расписанию** (00:00–07:30), как и было задумано.
|
||||
* Днём воркеры не запускаем — LLM свободна для RAG, правил и ответов.
|
||||
* Осталось ~1246 адресов; при ночном темпе это ещё ~2 ночи.
|
||||
|
||||
## Ловушка
|
||||
|
||||
`llm_research` не имеет собственного таймаута на запрос: если Ollama занята,
|
||||
воркер просто ждёт. Поэтому 4 воркера в очередь вытесняют всех остальных, а
|
||||
внешне это выглядит как «сервер завис».
|
||||
|
||||
## Урок
|
||||
|
||||
Прежде чем искать поломку в чужом сервисе — посмотреть, кто его нагружает.
|
||||
`ss -tnp | grep 11434` показал виновников за 2 секунды.
|
||||
@@ -6,6 +6,7 @@ runner завис. Именно так ломался RAG и LLM-сбор. Ра
|
||||
только по жалобам; теперь будет событие в шине.
|
||||
"""
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
import urllib.request as u
|
||||
|
||||
@@ -55,6 +56,21 @@ def main():
|
||||
print("Ollama в порядке, моделей:", len(models))
|
||||
return 0
|
||||
except Exception as e:
|
||||
# Отличаем «занята нашими воркерами» от настоящего зависания:
|
||||
# если к Ollama есть соединения от llm_research — это очередь, а не сбой.
|
||||
busy = 0
|
||||
try:
|
||||
out = subprocess.run("ss -tnp 2>/dev/null | grep 11434 | grep -c llm_research",
|
||||
shell=True, capture_output=True, text=True, timeout=15).stdout
|
||||
busy = int((out or "0").strip() or 0)
|
||||
except Exception:
|
||||
busy = 0
|
||||
if busy:
|
||||
print("Ollama занята воркерами (соединений: %d): %s" % (busy, str(e)[:50]))
|
||||
notify("ℹ️ Ollama (192.168.1.229) занята сбором данных: %d воркеров "
|
||||
"держат генерацию. RAG временно на текстовом запасе." % busy,
|
||||
priority="low")
|
||||
return 0
|
||||
print("Ollama зависла на генерации:", str(e)[:80])
|
||||
notify("🔴 Ollama (192.168.1.229): сервер жив, но генерация висит "
|
||||
"(таймаут %ss). Нужен перезапуск на 229 — от этого зависит "
|
||||
|
||||
Reference in new issue
Block a user