[LLM] Сбор возобновлён: 4 воркера, 24632/25899 (95%), осталось ~1270. Ollama ожила (embeddings 0.4 с), но под нагрузкой воркеров векторы не успевают — таймаут embed снижен до 2 с, RAG отвечает за 2.2 с на текстовом запасе
This commit is contained in:
1 parent
626ea18cfa
commit
ea89f8d409
1 file changed
+53
@@ -0,0 +1,53 @@
|
||||
# LLM: перезапуск и настройка RAG (12.11.2026)
|
||||
|
||||
## Почему сбор стоял
|
||||
|
||||
Ночная смена работает по расписанию **00:00–07:30**. В 10:04 воркеры были
|
||||
`inactive` — это нормально, смена просто закончилась. За две ночи собрано:
|
||||
|
||||
| Дата | Документов | Фрагментов |
|
||||
|---|---|---|
|
||||
| 10.11 | 988 | 5127 |
|
||||
| 12.11 | **1017** | **5222** |
|
||||
|
||||
Очередь: **24632 из 25899** обработано (95%), осталось ~1270 адресов.
|
||||
При 4 воркерах ~11 адресов в минуту → около **2 часов**.
|
||||
|
||||
## Ollama ожила
|
||||
|
||||
```
|
||||
10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис)
|
||||
12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с
|
||||
```
|
||||
|
||||
## Найденная тонкость: embeddings стоят в очереди за воркерами
|
||||
|
||||
Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за
|
||||
любой разумный таймаут:
|
||||
|
||||
| Таймаут | Время ответа /rag | Результат |
|
||||
|---|---|---|
|
||||
| 3 с | 3.7 с | текстовый запас |
|
||||
| 10 с | 10.2 с | текстовый запас |
|
||||
| **2 с** | **2.2 с** | текстовый запас (сразу) |
|
||||
|
||||
Поэтому выбран **2 с**: RAG отвечает быстро всегда. Когда воркеры не работают,
|
||||
вектор успевает (0.4 с) и поиск идёт по смыслу.
|
||||
|
||||
## Итог
|
||||
|
||||
```
|
||||
/rag?q=postgres: 2.2 с, результаты есть
|
||||
смоук: 9/9
|
||||
воркеры: 4/4 active, [24632/25899]
|
||||
```
|
||||
|
||||
## Что помнить
|
||||
|
||||
1. **Данные в базу попадают не сразу**: воркеры пишут прогресс в
|
||||
`/opt/work-hub/research/progress-N.json`, а в Postgres — задание
|
||||
`research-finalize` (каждый час). Поэтому счётчики в базе отстают.
|
||||
2. **RAG на текстовом запасе**, пока идёт сбор: точность ниже, но ответ есть
|
||||
и зависаний нет.
|
||||
3. Ночная смена стартует сама в 00:00 и останавливается в 07:30
|
||||
(`llm-night-start` / `llm-night-stop`).
|
||||
Reference in new issue
Block a user