[LLM] Сбор возобновлён: 4 воркера, 24632/25899 (95%), осталось ~1270. Ollama ожила (embeddings 0.4 с), но под нагрузкой воркеров векторы не успевают — таймаут embed снижен до 2 с, RAG отвечает за 2.2 с на текстовом запасе

This commit is contained in:
root committed 2026-11-12 10:08:11 +03:00
1 parent 626ea18cfa
commit ea89f8d409
1 file changed
+53
+53
View File
@@ -0,0 +1,53 @@
# LLM: перезапуск и настройка RAG (12.11.2026)
## Почему сбор стоял
Ночная смена работает по расписанию **00:00–07:30**. В 10:04 воркеры были
`inactive` — это нормально, смена просто закончилась. За две ночи собрано:
| Дата | Документов | Фрагментов |
|---|---|---|
| 10.11 | 988 | 5127 |
| 12.11 | **1017** | **5222** |
Очередь: **24632 из 25899** обработано (95%), осталось ~1270 адресов.
При 4 воркерах ~11 адресов в минуту → около **2 часов**.
## Ollama ожила
```
10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис)
12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с
```
## Найденная тонкость: embeddings стоят в очереди за воркерами
Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за
любой разумный таймаут:
| Таймаут | Время ответа /rag | Результат |
|---|---|---|
| 3 с | 3.7 с | текстовый запас |
| 10 с | 10.2 с | текстовый запас |
| **2 с** | **2.2 с** | текстовый запас (сразу) |
Поэтому выбран **2 с**: RAG отвечает быстро всегда. Когда воркеры не работают,
вектор успевает (0.4 с) и поиск идёт по смыслу.
## Итог
```
/rag?q=postgres: 2.2 с, результаты есть
смоук: 9/9
воркеры: 4/4 active, [24632/25899]
```
## Что помнить
1. **Данные в базу попадают не сразу**: воркеры пишут прогресс в
`/opt/work-hub/research/progress-N.json`, а в Postgres — задание
`research-finalize` (каждый час). Поэтому счётчики в базе отстают.
2. **RAG на текстовом запасе**, пока идёт сбор: точность ниже, но ответ есть
и зависаний нет.
3. Ночная смена стартует сама в 00:00 и останавливается в 07:30
(`llm-night-start` / `llm-night-stop`).