Files
buryan-infra/ops/work/VENDORS-COLLECT.md
T

3.4 KiB
Raw Blame History

Сбор данных по вендорам — только официальные источники (12.11.2026)

Кто собирает

LLM-воркеры, а не человек. Мой вклад — реестр и очереди: воркер сам скачивает документ, отдаёт текст локальной модели и пишет факты.

yealink-research@0   support.yealink.com   остаток ~170 из 25885
vendor-vinteo        vinteo.ru             71 адрес
vendor-iva           iva.ru                13 адресов
vendor-logitech      support.logi.com      356 адресов
queue-poly           —                     0 (источник закрыт)

Реестр

ops/work/research/vendors.yaml — домены, карты сайта, прокси, очереди.

Что добавлено в извлечение

Промпт теперь просит, кроме характеристик, зависимости:

"dependencies": [{"target": "с чем совместимо", "kind": "compatible|requires|connects|pairs",
                  "limit": "число или null", "quote": "цитата"}]

Это то, чего не хватало для автогенерации схем: не только «какие порты», но и «что с чем работает».

Проверено на живых данных

Вендор Документов Фактов Зависимостей
vinteo 4 10 3
iva 4 13 3

Пойманные ловушки

Ловушка Почему Как исправлено
Воркеры делили progress-0.json все стартовали с WORKER_ID=0 имена с вендором: progress-<vendor>-0.json
В чужие вендоры попадала очередь Yealink priority.jsonl подмешивался всем приоритет только для yealink
В очередь лез мусор (404, магазин, новости) широкий фильтр по слову «guide» SKIP_HINT + для logitech обязателен ВКС-признак
Logitech отдавал 000 через прокси нестабильный ответ карты 3 попытки в fetch()
У Logitech нет PDF в карте документация в базе знаний Zendesk официальный API поиска: 356 адресов по ВКС-линейке

Poly — честно не собрано

  • documents.polycom.com → 503;
  • support.polycom.com/sitemap.xml → HTML вместо карты (Angular-приложение);
  • www.poly.com/sitemap.xml → HTML (597 КБ) даже через прокси.

Официальный путь есть — API поддержки HP или PDF-портал Poly, но это отдельная задача: нужно разобрать их формат. Данных Poly в базе пока нет.

Что дальше

  1. Дождаться прохода очередей (LLM работает сам).
  2. research-finalize раз в час переносит результаты в Postgres.
  3. Прогнать enrich_from_research.py → значения и зависимости в каталог.
  4. Poly — отдельная задача поиска официального API.