74 lines
3.4 KiB
Markdown
74 lines
3.4 KiB
Markdown
# Единая очередь LLM-сбора (12.11.2026)
|
|
|
|
## Зачем
|
|
|
|
Раньше каждый вендор был отдельным сервисом, и они дрались за Ollama:
|
|
7B стоял в очереди за 3B, RAG падал по таймауту, приходилось вручную
|
|
останавливать воркеров.
|
|
|
|
Мини-ПК `llm` работает **24/7** — значит достаточно одной очереди:
|
|
берём документ, отдаём модели, пишем результат. Ollama сама загружает
|
|
и выгружает нужную модель.
|
|
|
|
## Как устроено
|
|
|
|
`/opt/work-hub/research/jobs.yaml`:
|
|
|
|
| Источник | Модель | Вес | Прокси |
|
|
|---|---|---|---|
|
|
| queue.jsonl (yealink) | 3B | 2 | — |
|
|
| queue-vinteo.jsonl | 3B | 1 | — |
|
|
| queue-logitech.jsonl | 3B | 1 | есть |
|
|
| queue-iva.jsonl | 3B | 1 | есть |
|
|
| queue-poly.jsonl | 3B | 1 | — |
|
|
| queue-pdf7b.jsonl | **7B** | 1 | — |
|
|
|
|
Вес — сколько документов брать за круг. Диспетчер идёт по списку, берёт по
|
|
одному документу, между кругами `sleep 1`. Если очереди пусты — ждёт 5 минут.
|
|
|
|
### Единственный экземпляр
|
|
|
|
`flock` на `/var/lib/llm-dispatcher.lock`: второй процесс выходит сразу —
|
|
двух диспетчеров быть не может.
|
|
|
|
### Разные модели в одном потоке
|
|
|
|
Для PDF-очереди модель 7B, для остальных 3B. Ollama переключает модели сама:
|
|
грузятся и выгружаются по нужде, без ручного управления.
|
|
|
|
Проверено по журналу:
|
|
|
|
```
|
|
yealink ok +0 3b support.yealink.com/docs/...
|
|
vinteo ok +0 3b vinteo.ru/documents/...
|
|
logitech ok +0 3b support.logi.com/hc/.../Tap
|
|
poly ok +0 3b hp.com/us-en/poly/phones/ip-conference/trio-c60.html
|
|
poly ok +2 3b file:///opt/work-hub/research/pdf/40f1e8547e28.pdf
|
|
```
|
|
|
|
Модель пишется в каждую запись результата — видно, чем собран документ:
|
|
|
|
```
|
|
results-poly-7b-0.jsonl → "model": "qwen2.5:7b"
|
|
```
|
|
|
|
## Что отключено
|
|
|
|
Сняты с автозапуска: `yealink-research@0..3`, `vendor-vinteo`,
|
|
`vendor-logitech`, `vendor-iva`, `vendor-poly`, `pdf7b`.
|
|
Задание Hermes `pdf-7b` удалено — PDF теперь в общей очереди.
|
|
|
|
## Плюсы
|
|
|
|
1. **Нет гонки за Ollama** — один поток.
|
|
2. **RAG не страдает от пяти параллельных воркеров** (очередь всё равно
|
|
занимает модель, но короткими шагами).
|
|
3. **Модели грузятся/выгружаются автоматически** — не нужно стопать сервисы.
|
|
4. **Приоритет управляется весом** в одном файле.
|
|
|
|
## Минусы, которые надо помнить
|
|
|
|
1. Последовательная обработка: пропускная способность = одна модель.
|
|
2. Если Ollama зависнет, диспетчер будет повторять ошибку — сторож ловит
|
|
это отдельно (`ollama-watchdog`, каждые 30 минут).
|