3.4 KiB
Единая очередь LLM-сбора (12.11.2026)
Зачем
Раньше каждый вендор был отдельным сервисом, и они дрались за Ollama: 7B стоял в очереди за 3B, RAG падал по таймауту, приходилось вручную останавливать воркеров.
Мини-ПК llm работает 24/7 — значит достаточно одной очереди:
берём документ, отдаём модели, пишем результат. Ollama сама загружает
и выгружает нужную модель.
Как устроено
/opt/work-hub/research/jobs.yaml:
| Источник | Модель | Вес | Прокси |
|---|---|---|---|
| queue.jsonl (yealink) | 3B | 2 | — |
| queue-vinteo.jsonl | 3B | 1 | — |
| queue-logitech.jsonl | 3B | 1 | есть |
| queue-iva.jsonl | 3B | 1 | есть |
| queue-poly.jsonl | 3B | 1 | — |
| queue-pdf7b.jsonl | 7B | 1 | — |
Вес — сколько документов брать за круг. Диспетчер идёт по списку, берёт по
одному документу, между кругами sleep 1. Если очереди пусты — ждёт 5 минут.
Единственный экземпляр
flock на /var/lib/llm-dispatcher.lock: второй процесс выходит сразу —
двух диспетчеров быть не может.
Разные модели в одном потоке
Для PDF-очереди модель 7B, для остальных 3B. Ollama переключает модели сама: грузятся и выгружаются по нужде, без ручного управления.
Проверено по журналу:
yealink ok +0 3b support.yealink.com/docs/...
vinteo ok +0 3b vinteo.ru/documents/...
logitech ok +0 3b support.logi.com/hc/.../Tap
poly ok +0 3b hp.com/us-en/poly/phones/ip-conference/trio-c60.html
poly ok +2 3b file:///opt/work-hub/research/pdf/40f1e8547e28.pdf
Модель пишется в каждую запись результата — видно, чем собран документ:
results-poly-7b-0.jsonl → "model": "qwen2.5:7b"
Что отключено
Сняты с автозапуска: yealink-research@0..3, vendor-vinteo,
vendor-logitech, vendor-iva, vendor-poly, pdf7b.
Задание Hermes pdf-7b удалено — PDF теперь в общей очереди.
Плюсы
- Нет гонки за Ollama — один поток.
- RAG не страдает от пяти параллельных воркеров (очередь всё равно занимает модель, но короткими шагами).
- Модели грузятся/выгружаются автоматически — не нужно стопать сервисы.
- Приоритет управляется весом в одном файле.
Минусы, которые надо помнить
- Последовательная обработка: пропускная способность = одна модель.
- Если Ollama зависнет, диспетчер будет повторять ошибку — сторож ловит
это отдельно (
ollama-watchdog, каждые 30 минут).