Files

3.4 KiB

Единая очередь LLM-сбора (12.11.2026)

Зачем

Раньше каждый вендор был отдельным сервисом, и они дрались за Ollama: 7B стоял в очереди за 3B, RAG падал по таймауту, приходилось вручную останавливать воркеров.

Мини-ПК llm работает 24/7 — значит достаточно одной очереди: берём документ, отдаём модели, пишем результат. Ollama сама загружает и выгружает нужную модель.

Как устроено

/opt/work-hub/research/jobs.yaml:

Источник Модель Вес Прокси
queue.jsonl (yealink) 3B 2 —
queue-vinteo.jsonl 3B 1 —
queue-logitech.jsonl 3B 1 есть
queue-iva.jsonl 3B 1 есть
queue-poly.jsonl 3B 1 —
queue-pdf7b.jsonl 7B 1 —

Вес — сколько документов брать за круг. Диспетчер идёт по списку, берёт по одному документу, между кругами sleep 1. Если очереди пусты — ждёт 5 минут.

Единственный экземпляр

flock на /var/lib/llm-dispatcher.lock: второй процесс выходит сразу — двух диспетчеров быть не может.

Разные модели в одном потоке

Для PDF-очереди модель 7B, для остальных 3B. Ollama переключает модели сама: грузятся и выгружаются по нужде, без ручного управления.

Проверено по журналу:

yealink   ok +0  3b   support.yealink.com/docs/...
vinteo    ok +0  3b   vinteo.ru/documents/...
logitech  ok +0  3b   support.logi.com/hc/.../Tap
poly      ok +0  3b   hp.com/us-en/poly/phones/ip-conference/trio-c60.html
poly      ok +2  3b   file:///opt/work-hub/research/pdf/40f1e8547e28.pdf

Модель пишется в каждую запись результата — видно, чем собран документ:

results-poly-7b-0.jsonl → "model": "qwen2.5:7b"

Что отключено

Сняты с автозапуска: yealink-research@0..3, vendor-vinteo, vendor-logitech, vendor-iva, vendor-poly, pdf7b. Задание Hermes pdf-7b удалено — PDF теперь в общей очереди.

Плюсы

  1. Нет гонки за Ollama — один поток.
  2. RAG не страдает от пяти параллельных воркеров (очередь всё равно занимает модель, но короткими шагами).
  3. Модели грузятся/выгружаются автоматически — не нужно стопать сервисы.
  4. Приоритет управляется весом в одном файле.

Минусы, которые надо помнить

  1. Последовательная обработка: пропускная способность = одна модель.
  2. Если Ollama зависнет, диспетчер будет повторять ошибку — сторож ловит это отдельно (ollama-watchdog, каждые 30 минут).