3.2 KiB
3.2 KiB
PDF-даташиты подключены (12.11.2026)
Что сделано
Официальные PDF-даташиты HP/Poly добавлены в тот же конвейер: воркер скачивает
PDF, вытаскивает текст через pdftotext -layout и отдаёт его локальной модели —
как и HTML-страницы.
Четыре ловушки, каждая проверена
| Ловушка | Симптом | Решение |
|---|---|---|
| битая TLS-цепочка CDN HP | curl → 000, -k → 200 |
-k только для PDF (публичные даташиты) |
| хост периодически рвёт соединение | 000 через одну загрузку | 2 повтора + пауза |
subprocess-таймаут короче curl -m |
повторы обрывались исключением | таймаут 90 с при curl -m 60 |
| нестабильная сеть | часть PDF не качается | локальный кэш research/pdf/ + file:// в очереди |
Кэш
9 файлов, от 466 КБ до 2.4 МБ. Очередь указывает на file://, оригинальный
адрес сохранён в source_url — для отчёта и повторной загрузки.
PDF поставлены в начало очереди: они информативнее продуктовых обзоров.
Проверка
Poly Studio E60 (772 КБ) → текст 8 087 символов
фрагмент: «Connectivity and communications … 1 USB-B; 1 RJ-45 (10/100/1000 Mbps)
… Camera resolution: 2160p, 4K UHD … PoE+»
Poly Studio R30 → 8 234 символа
Poly Studio G62 → факт: compatible_with Poly Studio E60
Итоги по вендорам (живые данные)
| Вендор | Документов | Фактов | Зависимостей |
|---|---|---|---|
| vinteo | 44 | 70 | 17 |
| poly | 23 | 50 | 9 |
| logitech | 25 | 21 | 11 |
| iva | 13 | 30 | 7 |
| yealink | 25 | 8 | 1 |
Честное ограничение
Модель qwen2.5:3b плохо разбирает плотные таблицы характеристик в PDF: текст извлекается идеально, но фактов выходит 0–1 из документа, хотя там десятки параметров. Варианты:
- qwen2.5:7b на ночь — когда сбор остановлен и Ollama свободна.
- Мелкие окна: резать PDF на фрагменты по 800–1000 символов с заголовком раздела — модель 3b справляется лучше.
- Оставить как есть: PDF дают зависимости (совместимости), а числа приходят с HTML-страниц.
Что дальше
- догрузить оставшиеся 3 PDF (хост нестабилен) — повторным прогоном кэша;
- прогнать PDF ночью моделью 7b и сравнить качество;
- добавить PDF-источники для Vinteo (
/download/) — там тоже даташиты.