64 lines
3.4 KiB
Markdown
64 lines
3.4 KiB
Markdown
# Сбор данных по вендорам — только официальные источники (12.11.2026)
|
||
|
||
## Кто собирает
|
||
|
||
**LLM-воркеры**, а не человек. Мой вклад — реестр и очереди: воркер сам
|
||
скачивает документ, отдаёт текст локальной модели и пишет факты.
|
||
|
||
```
|
||
yealink-research@0 support.yealink.com остаток ~170 из 25885
|
||
vendor-vinteo vinteo.ru 71 адрес
|
||
vendor-iva iva.ru 13 адресов
|
||
vendor-logitech support.logi.com 356 адресов
|
||
queue-poly — 0 (источник закрыт)
|
||
```
|
||
|
||
## Реестр
|
||
|
||
`ops/work/research/vendors.yaml` — домены, карты сайта, прокси, очереди.
|
||
|
||
## Что добавлено в извлечение
|
||
|
||
Промпт теперь просит, кроме характеристик, **зависимости**:
|
||
|
||
```json
|
||
"dependencies": [{"target": "с чем совместимо", "kind": "compatible|requires|connects|pairs",
|
||
"limit": "число или null", "quote": "цитата"}]
|
||
```
|
||
|
||
Это то, чего не хватало для автогенерации схем: не только «какие порты»,
|
||
но и «что с чем работает».
|
||
|
||
### Проверено на живых данных
|
||
|
||
| Вендор | Документов | Фактов | Зависимостей |
|
||
|---|---|---|---|
|
||
| vinteo | 4 | 10 | 3 |
|
||
| iva | 4 | 13 | 3 |
|
||
|
||
## Пойманные ловушки
|
||
|
||
| Ловушка | Почему | Как исправлено |
|
||
|---|---|---|
|
||
| Воркеры делили `progress-0.json` | все стартовали с WORKER_ID=0 | имена с вендором: `progress-<vendor>-0.json` |
|
||
| В чужие вендоры попадала очередь Yealink | `priority.jsonl` подмешивался всем | приоритет только для yealink |
|
||
| В очередь лез мусор (404, магазин, новости) | широкий фильтр по слову «guide» | `SKIP_HINT` + для logitech обязателен ВКС-признак |
|
||
| Logitech отдавал 000 через прокси | нестабильный ответ карты | 3 попытки в `fetch()` |
|
||
| У Logitech нет PDF в карте | документация в базе знаний Zendesk | официальный API поиска: 356 адресов по ВКС-линейке |
|
||
|
||
## Poly — честно не собрано
|
||
|
||
* `documents.polycom.com` → **503**;
|
||
* `support.polycom.com/sitemap.xml` → HTML вместо карты (Angular-приложение);
|
||
* `www.poly.com/sitemap.xml` → HTML (597 КБ) даже через прокси.
|
||
|
||
Официальный путь есть — API поддержки HP или PDF-портал Poly, но это отдельная
|
||
задача: нужно разобрать их формат. **Данных Poly в базе пока нет.**
|
||
|
||
## Что дальше
|
||
|
||
1. Дождаться прохода очередей (LLM работает сам).
|
||
2. `research-finalize` раз в час переносит результаты в Postgres.
|
||
3. Прогнать `enrich_from_research.py` → значения и зависимости в каталог.
|
||
4. Poly — отдельная задача поиска официального API.
|