From d8ccf22f095862ce122bc077f3a0e1ca02801a70 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 12 Nov 2026 17:08:17 +0300 Subject: [PATCH] =?UTF-8?q?[WORK]=20PDF-=D0=B4=D0=B0=D1=82=D0=B0=D1=88?= =?UTF-8?q?=D0=B8=D1=82=D1=8B=20=D0=BF=D0=BE=D0=B4=D0=BA=D0=BB=D1=8E=D1=87?= =?UTF-8?q?=D0=B5=D0=BD=D1=8B=20=D0=BA=20LLM-=D0=BA=D0=BE=D0=BD=D0=B2?= =?UTF-8?q?=D0=B5=D0=B9=D0=B5=D1=80=D1=83:=20pdftotext,=20-k=20=D0=B4?= =?UTF-8?q?=D0=BB=D1=8F=20=D0=B1=D0=B8=D1=82=D0=BE=D0=B9=20TLS-=D1=86?= =?UTF-8?q?=D0=B5=D0=BF=D0=BE=D1=87=D0=BA=D0=B8=20CDN=20HP,=202=20=D0=BF?= =?UTF-8?q?=D0=BE=D0=B2=D1=82=D0=BE=D1=80=D0=B0,=20=D0=BB=D0=BE=D0=BA?= =?UTF-8?q?=D0=B0=D0=BB=D1=8C=D0=BD=D1=8B=D0=B9=20=D0=BA=D1=8D=D1=88=20?= =?UTF-8?q?=D0=B8=20file://=20=D0=B2=20=D0=BE=D1=87=D0=B5=D1=80=D0=B5?= =?UTF-8?q?=D0=B4=D0=B8,=20PDF=20=D0=BF=D0=B5=D1=80=D0=B2=D1=8B=D0=BC?= =?UTF-8?q?=D0=B8.=20=D0=98=D1=82=D0=BE=D0=B3=D0=B8:=20poly=2023=20=D0=B4?= =?UTF-8?q?=D0=BE=D0=BA/50=20=D1=84=D0=B0=D0=BA=D1=82=D0=BE=D0=B2/9=20?= =?UTF-8?q?=D0=B7=D0=B0=D0=B2=D0=B8=D1=81=D0=B8=D0=BC=D0=BE=D1=81=D1=82?= =?UTF-8?q?=D0=B5=D0=B9,=20vinteo=2044/70/17,=20logitech=2025/21/11,=20iva?= =?UTF-8?q?=2013/30/7,=20yealink=2025/8/1.=20=D0=9E=D0=B3=D1=80=D0=B0?= =?UTF-8?q?=D0=BD=D0=B8=D1=87=D0=B5=D0=BD=D0=B8=D0=B5:=20=D0=BC=D0=BE?= =?UTF-8?q?=D0=B4=D0=B5=D0=BB=D1=8C=203b=20=D1=81=D0=BB=D0=B0=D0=B1=D0=BE?= =?UTF-8?q?=20=D1=80=D0=B0=D0=B7=D0=B1=D0=B8=D1=80=D0=B0=D0=B5=D1=82=20?= =?UTF-8?q?=D0=BF=D0=BB=D0=BE=D1=82=D0=BD=D1=8B=D0=B5=20=D1=82=D0=B0=D0=B1?= =?UTF-8?q?=D0=BB=D0=B8=D1=86=D1=8B=20PDF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/work/PDF-DATASHEETS.md | 61 ++++++++++++++++++++++++++++++++++++++ 1 file changed, 61 insertions(+) create mode 100644 ops/work/PDF-DATASHEETS.md diff --git a/ops/work/PDF-DATASHEETS.md b/ops/work/PDF-DATASHEETS.md new file mode 100644 index 0000000..9fd7834 --- /dev/null +++ b/ops/work/PDF-DATASHEETS.md @@ -0,0 +1,61 @@ +# PDF-даташиты подключены (12.11.2026) + +## Что сделано + +Официальные PDF-даташиты HP/Poly добавлены в тот же конвейер: воркер скачивает +PDF, вытаскивает текст через `pdftotext -layout` и отдаёт его локальной модели — +как и HTML-страницы. + +### Четыре ловушки, каждая проверена + +| Ловушка | Симптом | Решение | +|---|---|---| +| битая TLS-цепочка CDN HP | `curl` → 000, `-k` → 200 | `-k` только для PDF (публичные даташиты) | +| хост периодически рвёт соединение | 000 через одну загрузку | 2 повтора + пауза | +| `subprocess`-таймаут короче `curl -m` | повторы обрывались исключением | таймаут 90 с при `curl -m 60` | +| нестабильная сеть | часть PDF не качается | **локальный кэш** `research/pdf/` + `file://` в очереди | + +### Кэш + +9 файлов, от 466 КБ до 2.4 МБ. Очередь указывает на `file://`, оригинальный +адрес сохранён в `source_url` — для отчёта и повторной загрузки. + +PDF поставлены **в начало очереди**: они информативнее продуктовых обзоров. + +## Проверка + +``` +Poly Studio E60 (772 КБ) → текст 8 087 символов +фрагмент: «Connectivity and communications … 1 USB-B; 1 RJ-45 (10/100/1000 Mbps) + … Camera resolution: 2160p, 4K UHD … PoE+» +Poly Studio R30 → 8 234 символа +Poly Studio G62 → факт: compatible_with Poly Studio E60 +``` + +## Итоги по вендорам (живые данные) + +| Вендор | Документов | Фактов | Зависимостей | +|---|---|---|---| +| vinteo | 44 | 70 | 17 | +| poly | 23 | **50** | 9 | +| logitech | 25 | 21 | 11 | +| iva | 13 | 30 | 7 | +| yealink | 25 | 8 | 1 | + +## Честное ограничение + +Модель **qwen2.5:3b** плохо разбирает плотные таблицы характеристик в PDF: +текст извлекается идеально, но фактов выходит 0–1 из документа, хотя там +десятки параметров. Варианты: + +1. **qwen2.5:7b на ночь** — когда сбор остановлен и Ollama свободна. +2. **Мелкие окна**: резать PDF на фрагменты по 800–1000 символов с заголовком + раздела — модель 3b справляется лучше. +3. Оставить как есть: PDF дают **зависимости** (совместимости), а числа + приходят с HTML-страниц. + +## Что дальше + +* догрузить оставшиеся 3 PDF (хост нестабилен) — повторным прогоном кэша; +* прогнать PDF ночью моделью 7b и сравнить качество; +* добавить PDF-источники для Vinteo (`/download/`) — там тоже даташиты.