Files
buryan-infra/ops/research/LLM-RESTART-2026-11-12.md
T

54 lines
2.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# LLM: перезапуск и настройка RAG (12.11.2026)
## Почему сбор стоял
Ночная смена работает по расписанию **00:00–07:30**. В 10:04 воркеры были
`inactive` — это нормально, смена просто закончилась. За две ночи собрано:
| Дата | Документов | Фрагментов |
|---|---|---|
| 10.11 | 988 | 5127 |
| 12.11 | **1017** | **5222** |
Очередь: **24632 из 25899** обработано (95%), осталось ~1270 адресов.
При 4 воркерах ~11 адресов в минуту → около **2 часов**.
## Ollama ожила
```
10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис)
12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с
```
## Найденная тонкость: embeddings стоят в очереди за воркерами
Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за
любой разумный таймаут:
| Таймаут | Время ответа /rag | Результат |
|---|---|---|
| 3 с | 3.7 с | текстовый запас |
| 10 с | 10.2 с | текстовый запас |
| **2 с** | **2.2 с** | текстовый запас (сразу) |
Поэтому выбран **2 с**: RAG отвечает быстро всегда. Когда воркеры не работают,
вектор успевает (0.4 с) и поиск идёт по смыслу.
## Итог
```
/rag?q=postgres: 2.2 с, результаты есть
смоук: 9/9
воркеры: 4/4 active, [24632/25899]
```
## Что помнить
1. **Данные в базу попадают не сразу**: воркеры пишут прогресс в
`/opt/work-hub/research/progress-N.json`, а в Postgres — задание
`research-finalize` (каждый час). Поэтому счётчики в базе отстают.
2. **RAG на текстовом запасе**, пока идёт сбор: точность ниже, но ответ есть
и зависаний нет.
3. Ночная смена стартует сама в 00:00 и останавливается в 07:30
(`llm-night-start` / `llm-night-stop`).