Files
buryan-infra/ops/hub/OLLAMA-BUSY-NOT-HUNG.md
T

3.0 KiB
Raw Blame History

«Ollama висит» — это были наши же воркеры (12.11.2026)

Симптом

/api/tags отвечает, /api/generate и /api/embeddings — таймаут 10–20 с. Выглядело как зависший runner. Сторож Ollama дважды присылал «нужен перезапуск».

Настоящая причина

На машине llm (192.168.1.229) к Ollama было 4 установленных соединения с нашего хоста — это llm_research (воркеры сбора), запущенные вручную в 10:04. Ollama обрабатывает запросы по очереди: пока 4 воркера гоняют генерацию, внешние запросы (RAG, сторожа) стоят в очереди и падают по таймауту.

ESTAB 192.168.1.10:51874 → 192.168.1.229:11434  python pid=3244402 (llm_research)
ESTAB 192.168.1.10:51876 → …                    pid=3244408
ESTAB 192.168.1.10:52378 → …                    pid=3244404
ESTAB 192.168.1.10:52624 → …                    pid=3244406

Проверка

Остановили воркеры (systemctl stop yealink-research@0..3) и сразу:

генерация:  200 за 2.68 с
embeddings: 200 за 0.35 с
сторож:     «Ollama в порядке, моделей: 3»
RAG:         0.03 с, score 0.682 (вектора, не текстовый запас)

Перезапуск Ollama не требовался.

Что исправлено

Сторож различает «занята» и «зависла»

Раньше любой таймаут считался сбоем. Теперь проверяются соединения от llm_research:

  • есть соединения → «ℹ️ Ollama занята сбором данных: N воркеров держат генерацию», приоритет low, код 0;
  • нет соединений, но таймаут → «🔴 зависла, нужен перезапуск», код 1.

Порядок работы

  • Сбор LLM идёт по расписанию (00:00–07:30), как и было задумано.
  • Днём воркеры не запускаем — LLM свободна для RAG, правил и ответов.
  • Осталось ~1246 адресов; при ночном темпе это ещё ~2 ночи.

Ловушка

llm_research не имеет собственного таймаута на запрос: если Ollama занята, воркер просто ждёт. Поэтому 4 воркера в очередь вытесняют всех остальных, а внешне это выглядит как «сервер завис».

Урок

Прежде чем искать поломку в чужом сервисе — посмотреть, кто его нагружает. ss -tnp | grep 11434 показал виновников за 2 секунды.