From ea89f8d4097211e27ddbc489aba0a5688767335f Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 12 Nov 2026 10:08:11 +0300 Subject: [PATCH] =?UTF-8?q?[LLM]=20=D0=A1=D0=B1=D0=BE=D1=80=20=D0=B2=D0=BE?= =?UTF-8?q?=D0=B7=D0=BE=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D1=91=D0=BD:=204=20?= =?UTF-8?q?=D0=B2=D0=BE=D1=80=D0=BA=D0=B5=D1=80=D0=B0,=2024632/25899=20(95?= =?UTF-8?q?%),=20=D0=BE=D1=81=D1=82=D0=B0=D0=BB=D0=BE=D1=81=D1=8C=20~1270.?= =?UTF-8?q?=20Ollama=20=D0=BE=D0=B6=D0=B8=D0=BB=D0=B0=20(embeddings=200.4?= =?UTF-8?q?=20=D1=81),=20=D0=BD=D0=BE=20=D0=BF=D0=BE=D0=B4=20=D0=BD=D0=B0?= =?UTF-8?q?=D0=B3=D1=80=D1=83=D0=B7=D0=BA=D0=BE=D0=B9=20=D0=B2=D0=BE=D1=80?= =?UTF-8?q?=D0=BA=D0=B5=D1=80=D0=BE=D0=B2=20=D0=B2=D0=B5=D0=BA=D1=82=D0=BE?= =?UTF-8?q?=D1=80=D1=8B=20=D0=BD=D0=B5=20=D1=83=D1=81=D0=BF=D0=B5=D0=B2?= =?UTF-8?q?=D0=B0=D1=8E=D1=82=20=E2=80=94=20=D1=82=D0=B0=D0=B9=D0=BC=D0=B0?= =?UTF-8?q?=D1=83=D1=82=20embed=20=D1=81=D0=BD=D0=B8=D0=B6=D0=B5=D0=BD=20?= =?UTF-8?q?=D0=B4=D0=BE=202=20=D1=81,=20RAG=20=D0=BE=D1=82=D0=B2=D0=B5?= =?UTF-8?q?=D1=87=D0=B0=D0=B5=D1=82=20=D0=B7=D0=B0=202.2=20=D1=81=20=D0=BD?= =?UTF-8?q?=D0=B0=20=D1=82=D0=B5=D0=BA=D1=81=D1=82=D0=BE=D0=B2=D0=BE=D0=BC?= =?UTF-8?q?=20=D0=B7=D0=B0=D0=BF=D0=B0=D1=81=D0=B5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/research/LLM-RESTART-2026-11-12.md | 53 ++++++++++++++++++++++++++ 1 file changed, 53 insertions(+) create mode 100644 ops/research/LLM-RESTART-2026-11-12.md diff --git a/ops/research/LLM-RESTART-2026-11-12.md b/ops/research/LLM-RESTART-2026-11-12.md new file mode 100644 index 0000000..efce5b6 --- /dev/null +++ b/ops/research/LLM-RESTART-2026-11-12.md @@ -0,0 +1,53 @@ +# LLM: перезапуск и настройка RAG (12.11.2026) + +## Почему сбор стоял + +Ночная смена работает по расписанию **00:00–07:30**. В 10:04 воркеры были +`inactive` — это нормально, смена просто закончилась. За две ночи собрано: + +| Дата | Документов | Фрагментов | +|---|---|---| +| 10.11 | 988 | 5127 | +| 12.11 | **1017** | **5222** | + +Очередь: **24632 из 25899** обработано (95%), осталось ~1270 адресов. +При 4 воркерах ~11 адресов в минуту → около **2 часов**. + +## Ollama ожила + +``` +10.11: /api/tags 200, /api/embeddings — таймаут 60 с (runner завис) +12.11: /api/tags 200 за 0.007 с, /api/embeddings 200 за 0.4 с +``` + +## Найденная тонкость: embeddings стоят в очереди за воркерами + +Когда 4 воркера грузят Ollama генерацией, запрос вектора не успевает за +любой разумный таймаут: + +| Таймаут | Время ответа /rag | Результат | +|---|---|---| +| 3 с | 3.7 с | текстовый запас | +| 10 с | 10.2 с | текстовый запас | +| **2 с** | **2.2 с** | текстовый запас (сразу) | + +Поэтому выбран **2 с**: RAG отвечает быстро всегда. Когда воркеры не работают, +вектор успевает (0.4 с) и поиск идёт по смыслу. + +## Итог + +``` +/rag?q=postgres: 2.2 с, результаты есть +смоук: 9/9 +воркеры: 4/4 active, [24632/25899] +``` + +## Что помнить + +1. **Данные в базу попадают не сразу**: воркеры пишут прогресс в + `/opt/work-hub/research/progress-N.json`, а в Postgres — задание + `research-finalize` (каждый час). Поэтому счётчики в базе отстают. +2. **RAG на текстовом запасе**, пока идёт сбор: точность ниже, но ответ есть + и зависаний нет. +3. Ночная смена стартует сама в 00:00 и останавливается в 07:30 + (`llm-night-start` / `llm-night-stop`).