2.3 KiB
2.3 KiB
LLM: перезапуск и настройка RAG (12.11.2026)
Почему сбор стоял
Ночная смена работает по расписанию 00:00–07:30. В 10:04 воркеры были
inactive — это нормально, смена просто закончилась. За две ночи собрано:
| Дата | Документов | Фрагментов |
|---|---|---|
| 10.11 | 988 | 5127 |
| 12.11 | 1017 | 5222 |
Очередь: 24632 из 25899 обработано (95%), осталось ~1270 адресов. При 4 воркерах ~11 адресов в минуту → около 2 часов.
Ollama ожила
10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис)
12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с
Найденная тонкость: embeddings стоят в очереди за воркерами
Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за любой разумный таймаут:
| Таймаут | Время ответа /rag | Результат |
|---|---|---|
| 3 с | 3.7 с | текстовый запас |
| 10 с | 10.2 с | текстовый запас |
| 2 с | 2.2 с | текстовый запас (сразу) |
Поэтому выбран 2 с: RAG отвечает быстро всегда. Когда воркеры не работают, вектор успевает (0.4 с) и поиск идёт по смыслу.
Итог
/rag?q=postgres: 2.2 с, результаты есть
смоук: 9/9
воркеры: 4/4 active, [24632/25899]
Что помнить
- Данные в базу попадают не сразу: воркеры пишут прогресс в
/opt/work-hub/research/progress-N.json, а в Postgres — заданиеresearch-finalize(каждый час). Поэтому счётчики в базе отстают. - RAG на текстовом запасе, пока идёт сбор: точность ниже, но ответ есть и зависаний нет.
- Ночная смена стартует сама в 00:00 и останавливается в 07:30
(
llm-night-start/llm-night-stop).