[COMBINE] P0.6 datasheet-only: 33 документа, support 18347 на паузе
lint / hygiene (push) Failing after 16s
lint / hygiene (push) Failing after 16s
This commit is contained in:
1 parent
22ea6b884e
commit
a1cca55603
2 files changed
+26
-26
No files matched your search
@@ -1,18 +1,18 @@
|
||||
# P0.6 — retry пустых документов
|
||||
# P0.6 — retry: только datasheet
|
||||
|
||||
- Собрано из `results-*.jsonl`: **18 380** пустых URL.
|
||||
- Очередь: `/opt/work-hub/research/queue-retry.jsonl`.
|
||||
- Задание диспетчера: `vendor: yealink`, `tag: retry`, `model: qwen2.5:3b`, `weight: 1`.
|
||||
- Прогресс: `progress-yealink-retry-0.json`, результаты — `results-yealink-retry-0.jsonl`.
|
||||
- Идёт фоном, не сбивает основной прогресс (отдельный tag).
|
||||
- Первый проход: **33** документа (4 priority datasheet + 29 PDF/datasheet URL).
|
||||
- Support-статьи: **18 347** — в `queue-retry-support.jsonl`, **на паузе**.
|
||||
- Job: `queue-retry-datasheet.jsonl`, tag `retry`, weight 1.
|
||||
- Диспетчер уже обрабатывает PDF (`file:///opt/work-hub/research/pdf/...`).
|
||||
|
||||
## Почему 18k, а не 6k
|
||||
## Оценка
|
||||
|
||||
`empty` в старых отчётах считался по части очереди; после сканирования всех
|
||||
`results-*.jsonl` пустых записей больше. Это ожидаемо: старый экстрактор
|
||||
отбрасывал статьи, а страницы-обёртки давали пустой результат.
|
||||
33 документа × ~30–40 с, но многие `skip`/`empty` быстрее → **~1–2 часа**,
|
||||
не дни. Полный support-проход (18 347) при текущей скорости — ~12–13 дней;
|
||||
поэтому он выключен до отдельного решения.
|
||||
|
||||
## Ограничение
|
||||
## Файлы
|
||||
|
||||
18 380 × ~35 с ≈ несколько суток на одном воркере. Это нормально: задача
|
||||
фоновая, приоритет ниже основного каталога.
|
||||
- `queue-retry-datasheet.jsonl`
|
||||
- `queue-retry-support.jsonl`
|
||||
- `progress-yealink-retry-0.json`
|
||||
@@ -3,22 +3,22 @@
|
||||
pre{white-space:pre-wrap;background:#161b22;border:1px solid #30363d;border-radius:10px;padding:18px;overflow:auto}
|
||||
a{color:#58a6ff} .nav{margin-bottom:16px} h1{font-size:22px}</style></head>
|
||||
<body><div class="nav"><a href="/">Комбайн</a> · <a href="/reports/">Отчёты</a></div>
|
||||
<h1>P0.6 retry-очередь</h1><pre># P0.6 — retry пустых документов
|
||||
<h1>P0.6 retry-очередь</h1><pre># P0.6 — retry: только datasheet
|
||||
|
||||
- Собрано из `results-*.jsonl`: **18 380** пустых URL.
|
||||
- Очередь: `/opt/work-hub/research/queue-retry.jsonl`.
|
||||
- Задание диспетчера: `vendor: yealink`, `tag: retry`, `model: qwen2.5:3b`, `weight: 1`.
|
||||
- Прогресс: `progress-yealink-retry-0.json`, результаты — `results-yealink-retry-0.jsonl`.
|
||||
- Идёт фоном, не сбивает основной прогресс (отдельный tag).
|
||||
- Первый проход: **33** документа (4 priority datasheet + 29 PDF/datasheet URL).
|
||||
- Support-статьи: **18 347** — в `queue-retry-support.jsonl`, **на паузе**.
|
||||
- Job: `queue-retry-datasheet.jsonl`, tag `retry`, weight 1.
|
||||
- Диспетчер уже обрабатывает PDF (`file:///opt/work-hub/research/pdf/...`).
|
||||
|
||||
## Почему 18k, а не 6k
|
||||
## Оценка
|
||||
|
||||
`empty` в старых отчётах считался по части очереди; после сканирования всех
|
||||
`results-*.jsonl` пустых записей больше. Это ожидаемо: старый экстрактор
|
||||
отбрасывал статьи, а страницы-обёртки давали пустой результат.
|
||||
33 документа × ~30–40 с, но многие `skip`/`empty` быстрее → **~1–2 часа**,
|
||||
не дни. Полный support-проход (18 347) при текущей скорости — ~12–13 дней;
|
||||
поэтому он выключен до отдельного решения.
|
||||
|
||||
## Ограничение
|
||||
## Файлы
|
||||
|
||||
18 380 × ~35 с ≈ несколько суток на одном воркере. Это нормально: задача
|
||||
фоновая, приоритет ниже основного каталога.
|
||||
- `queue-retry-datasheet.jsonl`
|
||||
- `queue-retry-support.jsonl`
|
||||
- `progress-yealink-retry-0.json`
|
||||
</pre></body></html>
|
||||
Reference in new issue
Block a user