# Единая очередь LLM-сбора (12.11.2026) ## Зачем Раньше каждый вендор был отдельным сервисом, и они дрались за Ollama: 7B стоял в очереди за 3B, RAG падал по таймауту, приходилось вручную останавливать воркеров. Мини-ПК `llm` работает **24/7** — значит достаточно одной очереди: берём документ, отдаём модели, пишем результат. Ollama сама загружает и выгружает нужную модель. ## Как устроено `/opt/work-hub/research/jobs.yaml`: | Источник | Модель | Вес | Прокси | |---|---|---|---| | queue.jsonl (yealink) | 3B | 2 | — | | queue-vinteo.jsonl | 3B | 1 | — | | queue-logitech.jsonl | 3B | 1 | есть | | queue-iva.jsonl | 3B | 1 | есть | | queue-poly.jsonl | 3B | 1 | — | | queue-pdf7b.jsonl | **7B** | 1 | — | Вес — сколько документов брать за круг. Диспетчер идёт по списку, берёт по одному документу, между кругами `sleep 1`. Если очереди пусты — ждёт 5 минут. ### Единственный экземпляр `flock` на `/var/lib/llm-dispatcher.lock`: второй процесс выходит сразу — двух диспетчеров быть не может. ### Разные модели в одном потоке Для PDF-очереди модель 7B, для остальных 3B. Ollama переключает модели сама: грузятся и выгружаются по нужде, без ручного управления. Проверено по журналу: ``` yealink ok +0 3b support.yealink.com/docs/... vinteo ok +0 3b vinteo.ru/documents/... logitech ok +0 3b support.logi.com/hc/.../Tap poly ok +0 3b hp.com/us-en/poly/phones/ip-conference/trio-c60.html poly ok +2 3b file:///opt/work-hub/research/pdf/40f1e8547e28.pdf ``` Модель пишется в каждую запись результата — видно, чем собран документ: ``` results-poly-7b-0.jsonl → "model": "qwen2.5:7b" ``` ## Что отключено Сняты с автозапуска: `yealink-research@0..3`, `vendor-vinteo`, `vendor-logitech`, `vendor-iva`, `vendor-poly`, `pdf7b`. Задание Hermes `pdf-7b` удалено — PDF теперь в общей очереди. ## Плюсы 1. **Нет гонки за Ollama** — один поток. 2. **RAG не страдает от пяти параллельных воркеров** (очередь всё равно занимает модель, но короткими шагами). 3. **Модели грузятся/выгружаются автоматически** — не нужно стопать сервисы. 4. **Приоритет управляется весом** в одном файле. ## Минусы, которые надо помнить 1. Последовательная обработка: пропускная способность = одна модель. 2. Если Ollama зависнет, диспетчер будет повторять ошибку — сторож ловит это отдельно (`ollama-watchdog`, каждые 30 минут).