[LLM] Добавлен вендор Hitrolink: vendor_queue.py (hitrolink.tech + hitrolink.com.ru + hitrolink.com), очередь 162 адреса (105 .tech, 57 .com.ru), задание в jobs.yaml (weight 1, 3B). Две ловушки: DOC_HINT не матчил slug-и магазина (добавил hitrolink_), VENDOR_TOKENS не знал вендора -> всё уходило в skip (добавил токены, skip сброшен). Проверено: ok +11 и +9 фактов (power_w 15, poe_ports 1, poe_budget_w 15). Даташитов PDF на официальных сайтах нет: на .tech только картинки, .com.ru/downloads 403 (дилерский), у перекупщиков есть, но это не официальный источник

This commit is contained in:
root committed 2026-11-13 16:48:54 +03:00
1 parent 6e315c9786
commit 12b9f4891a
2 files changed
+96 -1

No files matched your search

+88
View File
@@ -0,0 +1,88 @@
# Hitrolink добавлен в очередь LLM (13.11.2026)
## Что сделано
1. В `ops/work/vendor_queue.py` добавлен вендор:
```python
"hitrolink": {
"proxy": False,
"hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"],
"sitemaps": ["https://hitrolink.tech/sitemap_index.xml",
"https://www.hitrolink.com.ru/sitemap.xml"],
"follow_index": True,
},
```
2. Очередь собрана: **162 адреса** — 105 страниц на `hitrolink.tech`,
57 на `hitrolink.com.ru` (интернет-магазин с описаниями).
3. Добавлено задание в `jobs.yaml` (weight 1, qwen2.5:3b, без прокси)
и перезапущен диспетчер.
## Две ловушки, которые пришлось поправить
### Страницы .com.ru не попадали в очередь
`DOC_HINT` не знал про slug-и магазина вида `hitrolink_hti-xc800`.
Добавил `hitrolink_` в шаблон — очередь выросла с 107 до 162 адресов.
### Все документы уходили в `skip`
У воркера `VENDOR_TOKENS` не было записи для `hitrolink`, поэтому
`hits = 0` и каждый документ отбрасывался. Добавил токены:
```
"hitrolink": ["hitrolink", "hti-", "камер", "конференц", "видеобар",
"микрофон", "экран", "транскриб", "вкс", "коммутац"]
```
Статусы `skip` в прогрессе сброшены, документы переобработались.
## Проверка
```
[2026-11-13 16:47:39] hitrolink ok +11 hitrolink_hti-xc800-ndi
[2026-11-13 16:48:28] hitrolink ok +9 hitrolink_hti-xc800
```
Факты из первого документа:
```
power_w: 15
poe_ports: 1
poe_budget_w: 15
```
То есть модель на страницах магазина уже достаёт нормальные
технические характеристики.
## Про даташиты — честно
Официальных PDF-даташитов на сайтах Hitrolink **нет**:
| Проверка | Результат |
|---|---|
| `hitrolink.tech/wp-json/wp/v2/media` | только картинки (159 jpeg, 483 png) и 3 видео, **0 PDF** |
| `hitrolink.tech/sitemap_index.xml` | карты: post, page, product, category — карты вложений нет |
| `hitrolink.com.ru/downloads/` | **403** — дилерский раздел закрыт |
| `hitrolink.com` (глобальный) | PDF-ссылок нет |
PDF-даташиты существуют у перекупщиков (например, `snk-s.ru`), но это
**не официальный источник**, и по нашему правилу такие ссылки в очередь
не попадают.
### Варианты
1. **Оставить как есть** — описания товаров с официальных сайтов уже дают
характеристики (что и подтвердилось).
2. **Доступ к дилерскому разделу** `.com.ru/downloads` — если у вас есть
логин, можно забирать PDF оттуда как из официального источника.
3. **Разрешить PDF с сайтов-дистрибьюторов** — это отступление от правила
«только официальный источник», нужно ваше явное согласие.
## Что дальше
Очередь 162 документа, скорость около 35 с на документ при weight 1
(вперемешку с yealink) — примерно **2.5–3 часа** до полного прохода.
После этого результаты пойдут в общий разбор и в слияние с Комбайном.
+8 -1
View File
@@ -41,12 +41,19 @@ VENDORS = {
"sitemaps": ["https://www.poly.com/sitemap.xml"],
"follow_index": True,
},
"hitrolink": {
"proxy": False,
"hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"],
"sitemaps": ["https://hitrolink.tech/sitemap_index.xml",
"https://www.hitrolink.com.ru/sitemap.xml"],
"follow_index": True,
},
}
DOC_HINT = re.compile(
r"(?i)(\.pdf|/docs?/|/documentation|datasheet|data-sheet|guide|manual|"
r"/hc/|firmware|release-notes|admin-guide|user-guide|specification|"
r"room-designer|/support/|/products?/|/catalog/|/katalog/)")
r"room-designer|/support/|/products?/|/catalog/|/katalog/|hitrolink_)")
# мусор: ошибки, магазин, новости, вакансии, логин
SKIP_HINT = re.compile(