[WORK] PDF-даташиты подключены к LLM-конвейеру: pdftotext, -k для битой TLS-цепочки CDN HP, 2 повтора, локальный кэш и file:// в очереди, PDF первыми. Итоги: poly 23 док/50 фактов/9 зависимостей, vinteo 44/70/17, logitech 25/21/11, iva 13/30/7, yealink 25/8/1. Ограничение: модель 3b слабо разбирает плотные таблицы PDF
This commit is contained in:
1 parent
5afee09035
commit
d8ccf22f09
1 file changed
+61
@@ -0,0 +1,61 @@
|
||||
# PDF-даташиты подключены (12.11.2026)
|
||||
|
||||
## Что сделано
|
||||
|
||||
Официальные PDF-даташиты HP/Poly добавлены в тот же конвейер: воркер скачивает
|
||||
PDF, вытаскивает текст через `pdftotext -layout` и отдаёт его локальной модели —
|
||||
как и HTML-страницы.
|
||||
|
||||
### Четыре ловушки, каждая проверена
|
||||
|
||||
| Ловушка | Симптом | Решение |
|
||||
|---|---|---|
|
||||
| битая TLS-цепочка CDN HP | `curl` → 000, `-k` → 200 | `-k` только для PDF (публичные даташиты) |
|
||||
| хост периодически рвёт соединение | 000 через одну загрузку | 2 повтора + пауза |
|
||||
| `subprocess`-таймаут короче `curl -m` | повторы обрывались исключением | таймаут 90 с при `curl -m 60` |
|
||||
| нестабильная сеть | часть PDF не качается | **локальный кэш** `research/pdf/` + `file://` в очереди |
|
||||
|
||||
### Кэш
|
||||
|
||||
9 файлов, от 466 КБ до 2.4 МБ. Очередь указывает на `file://`, оригинальный
|
||||
адрес сохранён в `source_url` — для отчёта и повторной загрузки.
|
||||
|
||||
PDF поставлены **в начало очереди**: они информативнее продуктовых обзоров.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
Poly Studio E60 (772 КБ) → текст 8 087 символов
|
||||
фрагмент: «Connectivity and communications … 1 USB-B; 1 RJ-45 (10/100/1000 Mbps)
|
||||
… Camera resolution: 2160p, 4K UHD … PoE+»
|
||||
Poly Studio R30 → 8 234 символа
|
||||
Poly Studio G62 → факт: compatible_with Poly Studio E60
|
||||
```
|
||||
|
||||
## Итоги по вендорам (живые данные)
|
||||
|
||||
| Вендор | Документов | Фактов | Зависимостей |
|
||||
|---|---|---|---|
|
||||
| vinteo | 44 | 70 | 17 |
|
||||
| poly | 23 | **50** | 9 |
|
||||
| logitech | 25 | 21 | 11 |
|
||||
| iva | 13 | 30 | 7 |
|
||||
| yealink | 25 | 8 | 1 |
|
||||
|
||||
## Честное ограничение
|
||||
|
||||
Модель **qwen2.5:3b** плохо разбирает плотные таблицы характеристик в PDF:
|
||||
текст извлекается идеально, но фактов выходит 0–1 из документа, хотя там
|
||||
десятки параметров. Варианты:
|
||||
|
||||
1. **qwen2.5:7b на ночь** — когда сбор остановлен и Ollama свободна.
|
||||
2. **Мелкие окна**: резать PDF на фрагменты по 800–1000 символов с заголовком
|
||||
раздела — модель 3b справляется лучше.
|
||||
3. Оставить как есть: PDF дают **зависимости** (совместимости), а числа
|
||||
приходят с HTML-страниц.
|
||||
|
||||
## Что дальше
|
||||
|
||||
* догрузить оставшиеся 3 PDF (хост нестабилен) — повторным прогоном кэша;
|
||||
* прогнать PDF ночью моделью 7b и сравнить качество;
|
||||
* добавить PDF-источники для Vinteo (`/download/`) — там тоже даташиты.
|
||||
Reference in new issue
Block a user