Files
buryan-infra/ops/work/VENDORS-COLLECT.md
T

64 lines
3.4 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Сбор данных по вендорам — только официальные источники (12.11.2026)
## Кто собирает
**LLM-воркеры**, а не человек. Мой вклад — реестр и очереди: воркер сам
скачивает документ, отдаёт текст локальной модели и пишет факты.
```
yealink-research@0 support.yealink.com остаток ~170 из 25885
vendor-vinteo vinteo.ru 71 адрес
vendor-iva iva.ru 13 адресов
vendor-logitech support.logi.com 356 адресов
queue-poly — 0 (источник закрыт)
```
## Реестр
`ops/work/research/vendors.yaml` — домены, карты сайта, прокси, очереди.
## Что добавлено в извлечение
Промпт теперь просит, кроме характеристик, **зависимости**:
```json
"dependencies": [{"target": "с чем совместимо", "kind": "compatible|requires|connects|pairs",
"limit": "число или null", "quote": "цитата"}]
```
Это то, чего не хватало для автогенерации схем: не только «какие порты»,
но и «что с чем работает».
### Проверено на живых данных
| Вендор | Документов | Фактов | Зависимостей |
|---|---|---|---|
| vinteo | 4 | 10 | 3 |
| iva | 4 | 13 | 3 |
## Пойманные ловушки
| Ловушка | Почему | Как исправлено |
|---|---|---|
| Воркеры делили `progress-0.json` | все стартовали с WORKER_ID=0 | имена с вендором: `progress-<vendor>-0.json` |
| В чужие вендоры попадала очередь Yealink | `priority.jsonl` подмешивался всем | приоритет только для yealink |
| В очередь лез мусор (404, магазин, новости) | широкий фильтр по слову «guide» | `SKIP_HINT` + для logitech обязателен ВКС-признак |
| Logitech отдавал 000 через прокси | нестабильный ответ карты | 3 попытки в `fetch()` |
| У Logitech нет PDF в карте | документация в базе знаний Zendesk | официальный API поиска: 356 адресов по ВКС-линейке |
## Poly — честно не собрано
* `documents.polycom.com` → **503**;
* `support.polycom.com/sitemap.xml` → HTML вместо карты (Angular-приложение);
* `www.poly.com/sitemap.xml` → HTML (597 КБ) даже через прокси.
Официальный путь есть — API поддержки HP или PDF-портал Poly, но это отдельная
задача: нужно разобрать их формат. **Данных Poly в базе пока нет.**
## Что дальше
1. Дождаться прохода очередей (LLM работает сам).
2. `research-finalize` раз в час переносит результаты в Postgres.
3. Прогнать `enrich_from_research.py` → значения и зависимости в каталог.
4. Poly — отдельная задача поиска официального API.