3.4 KiB
3.4 KiB
Сбор данных по вендорам — только официальные источники (12.11.2026)
Кто собирает
LLM-воркеры, а не человек. Мой вклад — реестр и очереди: воркер сам скачивает документ, отдаёт текст локальной модели и пишет факты.
yealink-research@0 support.yealink.com остаток ~170 из 25885
vendor-vinteo vinteo.ru 71 адрес
vendor-iva iva.ru 13 адресов
vendor-logitech support.logi.com 356 адресов
queue-poly — 0 (источник закрыт)
Реестр
ops/work/research/vendors.yaml — домены, карты сайта, прокси, очереди.
Что добавлено в извлечение
Промпт теперь просит, кроме характеристик, зависимости:
"dependencies": [{"target": "с чем совместимо", "kind": "compatible|requires|connects|pairs",
"limit": "число или null", "quote": "цитата"}]
Это то, чего не хватало для автогенерации схем: не только «какие порты», но и «что с чем работает».
Проверено на живых данных
| Вендор | Документов | Фактов | Зависимостей |
|---|---|---|---|
| vinteo | 4 | 10 | 3 |
| iva | 4 | 13 | 3 |
Пойманные ловушки
| Ловушка | Почему | Как исправлено |
|---|---|---|
Воркеры делили progress-0.json |
все стартовали с WORKER_ID=0 | имена с вендором: progress-<vendor>-0.json |
| В чужие вендоры попадала очередь Yealink | priority.jsonl подмешивался всем |
приоритет только для yealink |
| В очередь лез мусор (404, магазин, новости) | широкий фильтр по слову «guide» | SKIP_HINT + для logitech обязателен ВКС-признак |
| Logitech отдавал 000 через прокси | нестабильный ответ карты | 3 попытки в fetch() |
| У Logitech нет PDF в карте | документация в базе знаний Zendesk | официальный API поиска: 356 адресов по ВКС-линейке |
Poly — честно не собрано
documents.polycom.com→ 503;support.polycom.com/sitemap.xml→ HTML вместо карты (Angular-приложение);www.poly.com/sitemap.xml→ HTML (597 КБ) даже через прокси.
Официальный путь есть — API поддержки HP или PDF-портал Poly, но это отдельная задача: нужно разобрать их формат. Данных Poly в базе пока нет.
Что дальше
- Дождаться прохода очередей (LLM работает сам).
research-finalizeраз в час переносит результаты в Postgres.- Прогнать
enrich_from_research.py→ значения и зависимости в каталог. - Poly — отдельная задача поиска официального API.