[LLM] Добавлен вендор Hitrolink: vendor_queue.py (hitrolink.tech + hitrolink.com.ru + hitrolink.com), очередь 162 адреса (105 .tech, 57 .com.ru), задание в jobs.yaml (weight 1, 3B). Две ловушки: DOC_HINT не матчил slug-и магазина (добавил hitrolink_), VENDOR_TOKENS не знал вендора -> всё уходило в skip (добавил токены, skip сброшен). Проверено: ok +11 и +9 фактов (power_w 15, poe_ports 1, poe_budget_w 15). Даташитов PDF на официальных сайтах нет: на .tech только картинки, .com.ru/downloads 403 (дилерский), у перекупщиков есть, но это не официальный источник
This commit is contained in:
1 parent
6e315c9786
commit
12b9f4891a
2 files changed
+96
-1
No files matched your search
@@ -0,0 +1,88 @@
|
||||
# Hitrolink добавлен в очередь LLM (13.11.2026)
|
||||
|
||||
## Что сделано
|
||||
|
||||
1. В `ops/work/vendor_queue.py` добавлен вендор:
|
||||
|
||||
```python
|
||||
"hitrolink": {
|
||||
"proxy": False,
|
||||
"hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"],
|
||||
"sitemaps": ["https://hitrolink.tech/sitemap_index.xml",
|
||||
"https://www.hitrolink.com.ru/sitemap.xml"],
|
||||
"follow_index": True,
|
||||
},
|
||||
```
|
||||
|
||||
2. Очередь собрана: **162 адреса** — 105 страниц на `hitrolink.tech`,
|
||||
57 на `hitrolink.com.ru` (интернет-магазин с описаниями).
|
||||
|
||||
3. Добавлено задание в `jobs.yaml` (weight 1, qwen2.5:3b, без прокси)
|
||||
и перезапущен диспетчер.
|
||||
|
||||
## Две ловушки, которые пришлось поправить
|
||||
|
||||
### Страницы .com.ru не попадали в очередь
|
||||
|
||||
`DOC_HINT` не знал про slug-и магазина вида `hitrolink_hti-xc800`.
|
||||
Добавил `hitrolink_` в шаблон — очередь выросла с 107 до 162 адресов.
|
||||
|
||||
### Все документы уходили в `skip`
|
||||
|
||||
У воркера `VENDOR_TOKENS` не было записи для `hitrolink`, поэтому
|
||||
`hits = 0` и каждый документ отбрасывался. Добавил токены:
|
||||
|
||||
```
|
||||
"hitrolink": ["hitrolink", "hti-", "камер", "конференц", "видеобар",
|
||||
"микрофон", "экран", "транскриб", "вкс", "коммутац"]
|
||||
```
|
||||
|
||||
Статусы `skip` в прогрессе сброшены, документы переобработались.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
[2026-11-13 16:47:39] hitrolink ok +11 hitrolink_hti-xc800-ndi
|
||||
[2026-11-13 16:48:28] hitrolink ok +9 hitrolink_hti-xc800
|
||||
```
|
||||
|
||||
Факты из первого документа:
|
||||
|
||||
```
|
||||
power_w: 15
|
||||
poe_ports: 1
|
||||
poe_budget_w: 15
|
||||
```
|
||||
|
||||
То есть модель на страницах магазина уже достаёт нормальные
|
||||
технические характеристики.
|
||||
|
||||
## Про даташиты — честно
|
||||
|
||||
Официальных PDF-даташитов на сайтах Hitrolink **нет**:
|
||||
|
||||
| Проверка | Результат |
|
||||
|---|---|
|
||||
| `hitrolink.tech/wp-json/wp/v2/media` | только картинки (159 jpeg, 483 png) и 3 видео, **0 PDF** |
|
||||
| `hitrolink.tech/sitemap_index.xml` | карты: post, page, product, category — карты вложений нет |
|
||||
| `hitrolink.com.ru/downloads/` | **403** — дилерский раздел закрыт |
|
||||
| `hitrolink.com` (глобальный) | PDF-ссылок нет |
|
||||
|
||||
PDF-даташиты существуют у перекупщиков (например, `snk-s.ru`), но это
|
||||
**не официальный источник**, и по нашему правилу такие ссылки в очередь
|
||||
не попадают.
|
||||
|
||||
### Варианты
|
||||
|
||||
1. **Оставить как есть** — описания товаров с официальных сайтов уже дают
|
||||
характеристики (что и подтвердилось).
|
||||
2. **Доступ к дилерскому разделу** `.com.ru/downloads` — если у вас есть
|
||||
логин, можно забирать PDF оттуда как из официального источника.
|
||||
3. **Разрешить PDF с сайтов-дистрибьюторов** — это отступление от правила
|
||||
«только официальный источник», нужно ваше явное согласие.
|
||||
|
||||
## Что дальше
|
||||
|
||||
Очередь 162 документа, скорость около 35 с на документ при weight 1
|
||||
(вперемешку с yealink) — примерно **2.5–3 часа** до полного прохода.
|
||||
После этого результаты пойдут в общий разбор и в слияние с Комбайном.
|
||||
@@ -41,12 +41,19 @@ VENDORS = {
|
||||
"sitemaps": ["https://www.poly.com/sitemap.xml"],
|
||||
"follow_index": True,
|
||||
},
|
||||
"hitrolink": {
|
||||
"proxy": False,
|
||||
"hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"],
|
||||
"sitemaps": ["https://hitrolink.tech/sitemap_index.xml",
|
||||
"https://www.hitrolink.com.ru/sitemap.xml"],
|
||||
"follow_index": True,
|
||||
},
|
||||
}
|
||||
|
||||
DOC_HINT = re.compile(
|
||||
r"(?i)(\.pdf|/docs?/|/documentation|datasheet|data-sheet|guide|manual|"
|
||||
r"/hc/|firmware|release-notes|admin-guide|user-guide|specification|"
|
||||
r"room-designer|/support/|/products?/|/catalog/|/katalog/)")
|
||||
r"room-designer|/support/|/products?/|/catalog/|/katalog/|hitrolink_)")
|
||||
|
||||
# мусор: ошибки, магазин, новости, вакансии, логин
|
||||
SKIP_HINT = re.compile(
|
||||
|
||||
Reference in new issue
Block a user