Files

74 lines
3.4 KiB
Markdown

# Единая очередь LLM-сбора (12.11.2026)
## Зачем
Раньше каждый вендор был отдельным сервисом, и они дрались за Ollama:
7B стоял в очереди за 3B, RAG падал по таймауту, приходилось вручную
останавливать воркеров.
Мини-ПК `llm` работает **24/7** — значит достаточно одной очереди:
берём документ, отдаём модели, пишем результат. Ollama сама загружает
и выгружает нужную модель.
## Как устроено
`/opt/work-hub/research/jobs.yaml`:
| Источник | Модель | Вес | Прокси |
|---|---|---|---|
| queue.jsonl (yealink) | 3B | 2 | — |
| queue-vinteo.jsonl | 3B | 1 | — |
| queue-logitech.jsonl | 3B | 1 | есть |
| queue-iva.jsonl | 3B | 1 | есть |
| queue-poly.jsonl | 3B | 1 | — |
| queue-pdf7b.jsonl | **7B** | 1 | — |
Вес — сколько документов брать за круг. Диспетчер идёт по списку, берёт по
одному документу, между кругами `sleep 1`. Если очереди пусты — ждёт 5 минут.
### Единственный экземпляр
`flock` на `/var/lib/llm-dispatcher.lock`: второй процесс выходит сразу —
двух диспетчеров быть не может.
### Разные модели в одном потоке
Для PDF-очереди модель 7B, для остальных 3B. Ollama переключает модели сама:
грузятся и выгружаются по нужде, без ручного управления.
Проверено по журналу:
```
yealink ok +0 3b support.yealink.com/docs/...
vinteo ok +0 3b vinteo.ru/documents/...
logitech ok +0 3b support.logi.com/hc/.../Tap
poly ok +0 3b hp.com/us-en/poly/phones/ip-conference/trio-c60.html
poly ok +2 3b file:///opt/work-hub/research/pdf/40f1e8547e28.pdf
```
Модель пишется в каждую запись результата — видно, чем собран документ:
```
results-poly-7b-0.jsonl → "model": "qwen2.5:7b"
```
## Что отключено
Сняты с автозапуска: `yealink-research@0..3`, `vendor-vinteo`,
`vendor-logitech`, `vendor-iva`, `vendor-poly`, `pdf7b`.
Задание Hermes `pdf-7b` удалено — PDF теперь в общей очереди.
## Плюсы
1. **Нет гонки за Ollama** — один поток.
2. **RAG не страдает от пяти параллельных воркеров** (очередь всё равно
занимает модель, но короткими шагами).
3. **Модели грузятся/выгружаются автоматически** — не нужно стопать сервисы.
4. **Приоритет управляется весом** в одном файле.
## Минусы, которые надо помнить
1. Последовательная обработка: пропускная способность = одна модель.
2. Если Ollama зависнет, диспетчер будет повторять ошибку — сторож ловит
это отдельно (`ollama-watchdog`, каждые 30 минут).