Files

3.2 KiB
Raw Permalink Blame History

PDF-даташиты подключены (12.11.2026)

Что сделано

Официальные PDF-даташиты HP/Poly добавлены в тот же конвейер: воркер скачивает PDF, вытаскивает текст через pdftotext -layout и отдаёт его локальной модели — как и HTML-страницы.

Четыре ловушки, каждая проверена

Ловушка Симптом Решение
битая TLS-цепочка CDN HP curl → 000, -k → 200 -k только для PDF (публичные даташиты)
хост периодически рвёт соединение 000 через одну загрузку 2 повтора + пауза
subprocess-таймаут короче curl -m повторы обрывались исключением таймаут 90 с при curl -m 60
нестабильная сеть часть PDF не качается локальный кэш research/pdf/ + file:// в очереди

Кэш

9 файлов, от 466 КБ до 2.4 МБ. Очередь указывает на file://, оригинальный адрес сохранён в source_url — для отчёта и повторной загрузки.

PDF поставлены в начало очереди: они информативнее продуктовых обзоров.

Проверка

Poly Studio E60 (772 КБ) → текст 8 087 символов
фрагмент: «Connectivity and communications … 1 USB-B; 1 RJ-45 (10/100/1000 Mbps)
           … Camera resolution: 2160p, 4K UHD … PoE+»
Poly Studio R30 → 8 234 символа
Poly Studio G62 → факт: compatible_with Poly Studio E60

Итоги по вендорам (живые данные)

Вендор Документов Фактов Зависимостей
vinteo 44 70 17
poly 23 50 9
logitech 25 21 11
iva 13 30 7
yealink 25 8 1

Честное ограничение

Модель qwen2.5:3b плохо разбирает плотные таблицы характеристик в PDF: текст извлекается идеально, но фактов выходит 0–1 из документа, хотя там десятки параметров. Варианты:

  1. qwen2.5:7b на ночь — когда сбор остановлен и Ollama свободна.
  2. Мелкие окна: резать PDF на фрагменты по 800–1000 символов с заголовком раздела — модель 3b справляется лучше.
  3. Оставить как есть: PDF дают зависимости (совместимости), а числа приходят с HTML-страниц.

Что дальше

  • догрузить оставшиеся 3 PDF (хост нестабилен) — повторным прогоном кэша;
  • прогнать PDF ночью моделью 7b и сравнить качество;
  • добавить PDF-источники для Vinteo (/download/) — там тоже даташиты.