Files
buryan-infra/ops/research/LLM-RESTART-2026-11-12.md
T

2.3 KiB
Raw Blame History

LLM: перезапуск и настройка RAG (12.11.2026)

Почему сбор стоял

Ночная смена работает по расписанию 00:00–07:30. В 10:04 воркеры были inactive — это нормально, смена просто закончилась. За две ночи собрано:

Дата Документов Фрагментов
10.11 988 5127
12.11 1017 5222

Очередь: 24632 из 25899 обработано (95%), осталось ~1270 адресов. При 4 воркерах ~11 адресов в минуту → около 2 часов.

Ollama ожила

10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис)
12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с

Найденная тонкость: embeddings стоят в очереди за воркерами

Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за любой разумный таймаут:

Таймаут Время ответа /rag Результат
3 с 3.7 с текстовый запас
10 с 10.2 с текстовый запас
2 с 2.2 с текстовый запас (сразу)

Поэтому выбран 2 с: RAG отвечает быстро всегда. Когда воркеры не работают, вектор успевает (0.4 с) и поиск идёт по смыслу.

Итог

/rag?q=postgres: 2.2 с, результаты есть
смоук: 9/9
воркеры: 4/4 active, [24632/25899]

Что помнить

  1. Данные в базу попадают не сразу: воркеры пишут прогресс в /opt/work-hub/research/progress-N.json, а в Postgres — задание research-finalize (каждый час). Поэтому счётчики в базе отстают.
  2. RAG на текстовом запасе, пока идёт сбор: точность ниже, но ответ есть и зависаний нет.
  3. Ночная смена стартует сама в 00:00 и останавливается в 07:30 (llm-night-start / llm-night-stop).