[LLM] Разбор источников документации вендоров: официальные сайты PDF не отдают (WP media только картинки, .com.ru/downloads 403, /docs 404). Проверены API: WP REST, sitemap-files Avicon, Wayback (снапшотов нет), Common Crawl (502/504), поисковые API (нет ключей) => публичного API нет. Найдены дистрибьюторы snk-s.ru (23 PDF) и avicon.ru (9 PDF), avikon.ru — парковка, avikon.com — Польша, tele-vek/voip-shop — без PDF. Написан переиспользуемый сканер ops/scripts/dist-scan.py (обход до 60 страниц, карточки вендора, PDF, раскодирование процентных ссылок). Очередь дистрибьютора: 32 файла с пометкой
This commit is contained in:
1 parent
070837dd25
commit
683ac28aaa
3 files changed
+244
No files matched your search
@@ -8398,3 +8398,88 @@ unknown
|
||||
[2026-11-14 12:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-14 12:00:16] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-14 12:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
|
||||
[2026-11-14 18:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest
|
||||
[2026-11-14 18:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0
|
||||
[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
|
||||
[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
|
||||
[2026-11-14 18:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-14 18:00:04] не удалось отправить уведомление для authentik-security-redis-1
|
||||
[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-11-14 18:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
|
||||
[2026-11-14 18:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
|
||||
[2026-11-14 18:00:05] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
|
||||
[2026-11-14 18:00:05] не удалось отправить уведомление для calibre-web
|
||||
[2026-11-14 18:00:05] нет данных Docker Hub: lissy93/dashy:latest:latest
|
||||
[2026-11-14 18:00:05] нет данных Docker Hub: docmost/docmost:latest:latest
|
||||
[2026-11-14 18:00:05] нет данных Docker Hub: duplicati/duplicati:latest:latest
|
||||
[2026-11-14 18:00:06] нет данных Docker Hub: vectorim/element-web:latest:latest
|
||||
[2026-11-14 18:00:07] нет данных Docker Hub: fireflyiii/core:latest:latest
|
||||
[2026-11-14 18:00:07] нет данных Docker Hub: freshrss/freshrss:latest:latest
|
||||
[2026-11-14 18:00:07] нет данных Docker Hub: gitea/gitea:latest:latest
|
||||
[2026-11-14 18:00:07] нет данных Docker Hub: grafana/grafana:latest:latest
|
||||
[2026-11-14 18:00:08] нет данных Docker Hub: unknown:unknown
|
||||
[2026-11-14 18:00:08] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-14 18:00:08] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
|
||||
[2026-11-14 18:00:08] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
|
||||
[2026-11-14 18:00:09] нет данных Docker Hub: sissbruecker/linkding:latest:latest
|
||||
[2026-11-14 18:00:09] нет данных Docker Hub: livekit/livekit-server:latest:latest
|
||||
[2026-11-14 18:00:09] нет данных Docker Hub: grafana/loki:3.2.1
|
||||
[2026-11-14 18:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
|
||||
[2026-11-14 18:00:11] изменение: matrix-coturn — было dig, стало latest (обновлён) (coturn/coturn)
|
||||
[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-coturn
|
||||
[2026-11-14 18:00:11] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
|
||||
[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-synapse
|
||||
[2026-11-14 18:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
|
||||
[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
|
||||
[2026-11-14 18:00:11] нет данных Docker Hub: monica:monica
|
||||
[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
|
||||
[2026-11-14 18:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest
|
||||
[2026-11-14 18:00:12] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
|
||||
[2026-11-14 18:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest
|
||||
[2026-11-14 18:00:12] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
|
||||
[2026-11-14 18:00:12] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
|
||||
[2026-11-14 18:00:12] не удалось отправить уведомление для nextcloud
|
||||
[2026-11-14 18:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
|
||||
[2026-11-14 18:00:13] не удалось отправить уведомление для node_red
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
|
||||
[2026-11-14 18:00:13] изменение: npm-app-1 — было dig, стало latest (обновлён) (jc21/nginx-proxy-manager)
|
||||
[2026-11-14 18:00:13] не удалось отправить уведомление для npm-app-1
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
|
||||
[2026-11-14 18:00:14] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-14 18:00:14] не удалось отправить уведомление для paperless_redis
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-11-14 18:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: prom/prometheus:latest:latest
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
|
||||
[2026-11-14 18:00:15] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
|
||||
[2026-11-14 18:00:15] не удалось отправить уведомление для swarm-redis
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest
|
||||
[2026-11-14 18:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest
|
||||
[2026-11-14 18:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
|
||||
[2026-11-14 18:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
|
||||
[2026-11-14 18:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest
|
||||
[2026-11-14 18:00:17] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
|
||||
[2026-11-14 18:00:17] не удалось отправить уведомление для zigbee2mqtt
|
||||
[2026-11-14 18:00:17] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
|
||||
@@ -0,0 +1,73 @@
|
||||
# Где искать документацию вендоров: разбор источников и API (14.11.2026)
|
||||
|
||||
Владелец попросил найти варианты самому: может, есть API или другие пути.
|
||||
Ниже — что проверено и что из этого работает.
|
||||
|
||||
## Официальные сайты
|
||||
|
||||
| Источник | Что есть | PDF |
|
||||
|---|---|---|
|
||||
| `hitrolink.tech` | WordPress + WooCommerce, каталог 104 товара | **нет**: WP media API отдаёт только картинки (159 jpeg, 483 png) и 3 видео; карты вложений в sitemap нет |
|
||||
| `hitrolink.com.ru` | «Официальный поставщик в России», OpenCart | **нет**: `/downloads` → 403 (дилерский), `/docs` → 404, ссылка `href="docs"` на `/service` ведёт в никуда |
|
||||
| `hitrolink.com` | глобальный сайт | PDF-ссылок нет |
|
||||
|
||||
## Дистрибьюторы и магазины
|
||||
|
||||
| Сайт | Что оказалось | PDF |
|
||||
|---|---|---|
|
||||
| **`snk-s.ru`** | дистрибьютор, 36 карточек `hti-*` | **23 PDF** — добавлены |
|
||||
| **`avicon.ru`** | «Официальный дистрибьютор AV-оборудования и ВКС», 8 товаров бренда | **9 PDF** — добавлены |
|
||||
| `avikon.ru` | **парковка домена** (Руцентр, «домен продаётся») | — |
|
||||
| `avikon.com` | польская компания, Hitrolink нет | — |
|
||||
| `tele-vek.ru` | «официальный диллер», 60 страниц обойдено | 0 |
|
||||
| `voip-shop.ru` | магазин, 5 карточек | 0 |
|
||||
|
||||
## API и архивы — что проверено
|
||||
|
||||
| Способ | Результат |
|
||||
|---|---|
|
||||
| WordPress REST API `hitrolink.tech/wp-json/wp/v2/media` | работает, но **PDF нет** (только изображения и видео) |
|
||||
| `sitemap-index.xml` Avicon + `sitemap-files.xml` | работает; в файловой карте 15 файлов, Hitrolink среди них **нет** |
|
||||
| Wayback Machine (`archive.org/wayback/available`) | API отвечает, но для `hitrolink.tech` **снапшотов нет** |
|
||||
| Common Crawl index (`index.commoncrawl.org`) | коллекции есть (последняя `CC-MAIN-2026-43`), но запросы по домену отдают **502/504** — сервис недоступен |
|
||||
| Поисковые API (Yandex XML, Bing) | требуют ключей, которых у нас нет |
|
||||
|
||||
**Вывод: публичного API с документацией вендора нет.** Единственный
|
||||
систематический путь — обход каталогов дистрибьюторов.
|
||||
|
||||
## Инструмент: сканер дистрибьюторов
|
||||
|
||||
Написал `ops/scripts/dist-scan.py` — переиспользуемый сканер:
|
||||
|
||||
```
|
||||
python3 ops/scripts/dist-scan.py <хост> [начальные_пути...]
|
||||
```
|
||||
|
||||
Что делает: обходит сайт (до 60 страниц), находит карточки вендора
|
||||
(`hitrolink`, `hti-*`), собирает PDF-ссылки, пишет список в
|
||||
`/tmp/dist-scan-<хост>.txt`.
|
||||
|
||||
Ловушка: часть CMS отдаёт ссылки в процентах (`avicon.ru%2Fcatalog%2F…`) —
|
||||
сканер их раскодирует, иначе находит 1 страницу вместо 19.
|
||||
|
||||
Проверка на Avicon: **19 карточек, 4 PDF** (на страницах, куда дошёл обход).
|
||||
|
||||
## Текущее состояние очереди
|
||||
|
||||
```
|
||||
queue-hitrolink-dist.jsonl — 32 файла
|
||||
snk-s.ru — 23
|
||||
avicon.ru — 9
|
||||
```
|
||||
|
||||
Все помечены `official: false`, `requires_confirmation: true`,
|
||||
источник в поле `source.host`.
|
||||
|
||||
## Что можно сделать дальше
|
||||
|
||||
1. **Дилерский доступ** к `hitrolink.com.ru/downloads` — если у владельца
|
||||
есть аккаунт, это официальный источник и пометка не нужна.
|
||||
2. **Письмо вендору** — Hitrolink как производитель обязан дать даташиты
|
||||
по запросу; это тоже официальный канал.
|
||||
3. **Новые сайты** — сканер готов: достаточно назвать домен, обход и
|
||||
добавление в очередь делаются одной командой.
|
||||
Executable
+86
@@ -0,0 +1,86 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Сканер дистрибьюторов: обходит сайт, находит карточки вендора и PDF-файлы.
|
||||
|
||||
Зачем: у вендоров даташиты часто лежат только у дистрибьюторов. Ручной
|
||||
обход каждый раз — долго, поэтому правила задаются конфигом.
|
||||
|
||||
Использование:
|
||||
python3 dist-scan.py <host> [<start_path> ...]
|
||||
|
||||
Пишет найденные PDF в /tmp/dist-scan-<host>.txt и печатает сводку.
|
||||
Ничего не добавляет в очередь автоматически — очередь собирает
|
||||
отдельный шаг, чтобы владелец видел список.
|
||||
"""
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
import urllib.parse
|
||||
|
||||
UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/124 Safari/537.36"
|
||||
MAX_PAGES = 60
|
||||
|
||||
|
||||
def get(url, timeout=25):
|
||||
try:
|
||||
r = subprocess.run(["curl", "-sL", "-m", str(timeout), "-A", UA, url],
|
||||
capture_output=True, text=True, timeout=timeout + 10)
|
||||
return r.stdout or ""
|
||||
except Exception:
|
||||
return ""
|
||||
|
||||
|
||||
def main():
|
||||
if len(sys.argv) < 2:
|
||||
print("нужен хост: python3 dist-scan.py avicon.ru")
|
||||
return 2
|
||||
host = sys.argv[1]
|
||||
base = "https://" + host
|
||||
starts = sys.argv[2:] or ["/"]
|
||||
seen = set()
|
||||
products = set()
|
||||
pdfs = set()
|
||||
|
||||
queue = [base + p for p in starts]
|
||||
while queue and len(seen) < MAX_PAGES:
|
||||
url = queue.pop(0).split("#")[0]
|
||||
if url in seen:
|
||||
continue
|
||||
seen.add(url)
|
||||
html = get(url)
|
||||
if not html:
|
||||
continue
|
||||
low = html.lower()
|
||||
# карточки вендора
|
||||
for m in re.findall(r'href="([^"]+)"', html):
|
||||
# некоторые CMS отдают ссылки в процентах: avicon.ru%2Fcatalog%2F...
|
||||
m = urllib.parse.unquote(m)
|
||||
full = m if m.startswith("http") else urllib.parse.urljoin(base, m)
|
||||
if not full.startswith(base):
|
||||
continue
|
||||
if re.search(r"(hitrolink|hti[-_])", full, re.I) and "/brands/" not in full:
|
||||
products.add(full.split("?")[0])
|
||||
if re.search(r"(catalog|brands|search)", full, re.I) and len(queue) < MAX_PAGES:
|
||||
if full.split("?")[0] not in seen and full.split("?")[0] not in queue:
|
||||
queue.append(full.split("?")[0])
|
||||
# PDF прямо на странице
|
||||
for m in re.findall(r'href="([^"]+\.pdf[^"]*)"', html, re.I):
|
||||
if m.startswith("file://") or "C:" in m:
|
||||
continue
|
||||
full = m if m.startswith("http") else urllib.parse.urljoin(base, m)
|
||||
pdfs.add(full)
|
||||
|
||||
print("хост: %s" % host)
|
||||
print(" страниц просмотрено: %d" % len(seen))
|
||||
print(" карточек вендора: %d" % len(products))
|
||||
print(" PDF найдено: %d" % len(pdfs))
|
||||
for u in sorted(pdfs)[:20]:
|
||||
print(" ", urllib.parse.unquote(u)[:120])
|
||||
|
||||
out = "/tmp/dist-scan-%s.txt" % host
|
||||
open(out, "w", encoding="utf-8").write("\n".join(sorted(pdfs)))
|
||||
print(" список: %s" % out)
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
raise SystemExit(main())
|
||||
Reference in new issue
Block a user