From 12b9f4891a0e55a7f2ee1b82d455de47791a42e4 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Fri, 13 Nov 2026 16:48:54 +0300 Subject: [PATCH] =?UTF-8?q?[LLM]=20=D0=94=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB?= =?UTF-8?q?=D0=B5=D0=BD=20=D0=B2=D0=B5=D0=BD=D0=B4=D0=BE=D1=80=20Hitrolink?= =?UTF-8?q?:=20vendor=5Fqueue.py=20(hitrolink.tech=20+=20hitrolink.com.ru?= =?UTF-8?q?=20+=20hitrolink.com),=20=D0=BE=D1=87=D0=B5=D1=80=D0=B5=D0=B4?= =?UTF-8?q?=D1=8C=20162=20=D0=B0=D0=B4=D1=80=D0=B5=D1=81=D0=B0=20(105=20.t?= =?UTF-8?q?ech,=2057=20.com.ru),=20=D0=B7=D0=B0=D0=B4=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D0=B5=20=D0=B2=20jobs.yaml=20(weight=201,=203B).=20=D0=94?= =?UTF-8?q?=D0=B2=D0=B5=20=D0=BB=D0=BE=D0=B2=D1=83=D1=88=D0=BA=D0=B8:=20DO?= =?UTF-8?q?C=5FHINT=20=D0=BD=D0=B5=20=D0=BC=D0=B0=D1=82=D1=87=D0=B8=D0=BB?= =?UTF-8?q?=20slug-=D0=B8=20=D0=BC=D0=B0=D0=B3=D0=B0=D0=B7=D0=B8=D0=BD?= =?UTF-8?q?=D0=B0=20(=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8=D0=BB=20hitrolin?= =?UTF-8?q?k=5F),=20VENDOR=5FTOKENS=20=D0=BD=D0=B5=20=D0=B7=D0=BD=D0=B0?= =?UTF-8?q?=D0=BB=20=D0=B2=D0=B5=D0=BD=D0=B4=D0=BE=D1=80=D0=B0=20->=20?= =?UTF-8?q?=D0=B2=D1=81=D1=91=20=D1=83=D1=85=D0=BE=D0=B4=D0=B8=D0=BB=D0=BE?= =?UTF-8?q?=20=D0=B2=20skip=20(=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=B8=D0=BB?= =?UTF-8?q?=20=D1=82=D0=BE=D0=BA=D0=B5=D0=BD=D1=8B,=20skip=20=D1=81=D0=B1?= =?UTF-8?q?=D1=80=D0=BE=D1=88=D0=B5=D0=BD).=20=D0=9F=D1=80=D0=BE=D0=B2?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=BD=D0=BE:=20ok=20+11=20=D0=B8=20+9=20?= =?UTF-8?q?=D1=84=D0=B0=D0=BA=D1=82=D0=BE=D0=B2=20(power=5Fw=2015,=20poe?= =?UTF-8?q?=5Fports=201,=20poe=5Fbudget=5Fw=2015).=20=D0=94=D0=B0=D1=82?= =?UTF-8?q?=D0=B0=D1=88=D0=B8=D1=82=D0=BE=D0=B2=20PDF=20=D0=BD=D0=B0=20?= =?UTF-8?q?=D0=BE=D1=84=D0=B8=D1=86=D0=B8=D0=B0=D0=BB=D1=8C=D0=BD=D1=8B?= =?UTF-8?q?=D1=85=20=D1=81=D0=B0=D0=B9=D1=82=D0=B0=D1=85=20=D0=BD=D0=B5?= =?UTF-8?q?=D1=82:=20=D0=BD=D0=B0=20.tech=20=D1=82=D0=BE=D0=BB=D1=8C=D0=BA?= =?UTF-8?q?=D0=BE=20=D0=BA=D0=B0=D1=80=D1=82=D0=B8=D0=BD=D0=BA=D0=B8,=20.c?= =?UTF-8?q?om.ru/downloads=20403=20(=D0=B4=D0=B8=D0=BB=D0=B5=D1=80=D1=81?= =?UTF-8?q?=D0=BA=D0=B8=D0=B9),=20=D1=83=20=D0=BF=D0=B5=D1=80=D0=B5=D0=BA?= =?UTF-8?q?=D1=83=D0=BF=D1=89=D0=B8=D0=BA=D0=BE=D0=B2=20=D0=B5=D1=81=D1=82?= =?UTF-8?q?=D1=8C,=20=D0=BD=D0=BE=20=D1=8D=D1=82=D0=BE=20=D0=BD=D0=B5=20?= =?UTF-8?q?=D0=BE=D1=84=D0=B8=D1=86=D0=B8=D0=B0=D0=BB=D1=8C=D0=BD=D1=8B?= =?UTF-8?q?=D0=B9=20=D0=B8=D1=81=D1=82=D0=BE=D1=87=D0=BD=D0=B8=D0=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audits/HITROLINK-QUEUE-2026-11-13.md | 88 ++++++++++++++++++++++++ ops/work/vendor_queue.py | 9 ++- 2 files changed, 96 insertions(+), 1 deletion(-) create mode 100644 ops/audits/HITROLINK-QUEUE-2026-11-13.md diff --git a/ops/audits/HITROLINK-QUEUE-2026-11-13.md b/ops/audits/HITROLINK-QUEUE-2026-11-13.md new file mode 100644 index 0000000..66ad711 --- /dev/null +++ b/ops/audits/HITROLINK-QUEUE-2026-11-13.md @@ -0,0 +1,88 @@ +# Hitrolink добавлен в очередь LLM (13.11.2026) + +## Что сделано + +1. В `ops/work/vendor_queue.py` добавлен вендор: + +```python +"hitrolink": { + "proxy": False, + "hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"], + "sitemaps": ["https://hitrolink.tech/sitemap_index.xml", + "https://www.hitrolink.com.ru/sitemap.xml"], + "follow_index": True, +}, +``` + +2. Очередь собрана: **162 адреса** — 105 страниц на `hitrolink.tech`, + 57 на `hitrolink.com.ru` (интернет-магазин с описаниями). + +3. Добавлено задание в `jobs.yaml` (weight 1, qwen2.5:3b, без прокси) + и перезапущен диспетчер. + +## Две ловушки, которые пришлось поправить + +### Страницы .com.ru не попадали в очередь + +`DOC_HINT` не знал про slug-и магазина вида `hitrolink_hti-xc800`. +Добавил `hitrolink_` в шаблон — очередь выросла с 107 до 162 адресов. + +### Все документы уходили в `skip` + +У воркера `VENDOR_TOKENS` не было записи для `hitrolink`, поэтому +`hits = 0` и каждый документ отбрасывался. Добавил токены: + +``` +"hitrolink": ["hitrolink", "hti-", "камер", "конференц", "видеобар", + "микрофон", "экран", "транскриб", "вкс", "коммутац"] +``` + +Статусы `skip` в прогрессе сброшены, документы переобработались. + +## Проверка + +``` +[2026-11-13 16:47:39] hitrolink ok +11 hitrolink_hti-xc800-ndi +[2026-11-13 16:48:28] hitrolink ok +9 hitrolink_hti-xc800 +``` + +Факты из первого документа: + +``` +power_w: 15 +poe_ports: 1 +poe_budget_w: 15 +``` + +То есть модель на страницах магазина уже достаёт нормальные +технические характеристики. + +## Про даташиты — честно + +Официальных PDF-даташитов на сайтах Hitrolink **нет**: + +| Проверка | Результат | +|---|---| +| `hitrolink.tech/wp-json/wp/v2/media` | только картинки (159 jpeg, 483 png) и 3 видео, **0 PDF** | +| `hitrolink.tech/sitemap_index.xml` | карты: post, page, product, category — карты вложений нет | +| `hitrolink.com.ru/downloads/` | **403** — дилерский раздел закрыт | +| `hitrolink.com` (глобальный) | PDF-ссылок нет | + +PDF-даташиты существуют у перекупщиков (например, `snk-s.ru`), но это +**не официальный источник**, и по нашему правилу такие ссылки в очередь +не попадают. + +### Варианты + +1. **Оставить как есть** — описания товаров с официальных сайтов уже дают + характеристики (что и подтвердилось). +2. **Доступ к дилерскому разделу** `.com.ru/downloads` — если у вас есть + логин, можно забирать PDF оттуда как из официального источника. +3. **Разрешить PDF с сайтов-дистрибьюторов** — это отступление от правила + «только официальный источник», нужно ваше явное согласие. + +## Что дальше + +Очередь 162 документа, скорость около 35 с на документ при weight 1 +(вперемешку с yealink) — примерно **2.5–3 часа** до полного прохода. +После этого результаты пойдут в общий разбор и в слияние с Комбайном. diff --git a/ops/work/vendor_queue.py b/ops/work/vendor_queue.py index 8336201..8643015 100644 --- a/ops/work/vendor_queue.py +++ b/ops/work/vendor_queue.py @@ -41,12 +41,19 @@ VENDORS = { "sitemaps": ["https://www.poly.com/sitemap.xml"], "follow_index": True, }, + "hitrolink": { + "proxy": False, + "hosts": ["hitrolink.tech", "hitrolink.com.ru", "hitrolink.com"], + "sitemaps": ["https://hitrolink.tech/sitemap_index.xml", + "https://www.hitrolink.com.ru/sitemap.xml"], + "follow_index": True, + }, } DOC_HINT = re.compile( r"(?i)(\.pdf|/docs?/|/documentation|datasheet|data-sheet|guide|manual|" r"/hc/|firmware|release-notes|admin-guide|user-guide|specification|" - r"room-designer|/support/|/products?/|/catalog/|/katalog/)") + r"room-designer|/support/|/products?/|/catalog/|/katalog/|hitrolink_)") # мусор: ошибки, магазин, новости, вакансии, логин SKIP_HINT = re.compile(