[LLM] Разбор источников документации вендоров: официальные сайты PDF не отдают (WP media только картинки, .com.ru/downloads 403, /docs 404). Проверены API: WP REST, sitemap-files Avicon, Wayback (снапшотов нет), Common Crawl (502/504), поисковые API (нет ключей) => публичного API нет. Найдены дистрибьюторы snk-s.ru (23 PDF) и avicon.ru (9 PDF), avikon.ru — парковка, avikon.com — Польша, tele-vek/voip-shop — без PDF. Написан переиспользуемый сканер ops/scripts/dist-scan.py (обход до 60 страниц, карточки вендора, PDF, раскодирование процентных ссылок). Очередь дистрибьютора: 32 файла с пометкой

This commit is contained in:
root committed 2026-11-14 21:44:33 +03:00
1 parent 070837dd25
commit 683ac28aaa
3 files changed
+244

No files matched your search

+85
View File
@@ -8398,3 +8398,88 @@ unknown
[2026-11-14 12:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-14 12:00:16] не удалось отправить уведомление для zigbee2mqtt
[2026-11-14 12:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
[2026-11-14 18:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest
[2026-11-14 18:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0
[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest
[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5
[2026-11-14 18:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-14 18:00:04] не удалось отправить уведомление для authentik-security-redis-1
[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-11-14 18:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
[2026-11-14 18:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest
[2026-11-14 18:00:05] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web)
[2026-11-14 18:00:05] не удалось отправить уведомление для calibre-web
[2026-11-14 18:00:05] нет данных Docker Hub: lissy93/dashy:latest:latest
[2026-11-14 18:00:05] нет данных Docker Hub: docmost/docmost:latest:latest
[2026-11-14 18:00:05] нет данных Docker Hub: duplicati/duplicati:latest:latest
[2026-11-14 18:00:06] нет данных Docker Hub: vectorim/element-web:latest:latest
[2026-11-14 18:00:07] нет данных Docker Hub: fireflyiii/core:latest:latest
[2026-11-14 18:00:07] нет данных Docker Hub: freshrss/freshrss:latest:latest
[2026-11-14 18:00:07] нет данных Docker Hub: gitea/gitea:latest:latest
[2026-11-14 18:00:07] нет данных Docker Hub: grafana/grafana:latest:latest
[2026-11-14 18:00:08] нет данных Docker Hub: unknown:unknown
[2026-11-14 18:00:08] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-14 18:00:08] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
[2026-11-14 18:00:08] нет данных Docker Hub: jvmilazz0/kavita:latest:latest
[2026-11-14 18:00:09] нет данных Docker Hub: sissbruecker/linkding:latest:latest
[2026-11-14 18:00:09] нет данных Docker Hub: livekit/livekit-server:latest:latest
[2026-11-14 18:00:09] нет данных Docker Hub: grafana/loki:3.2.1
[2026-11-14 18:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
[2026-11-14 18:00:11] изменение: matrix-coturn — было dig, стало latest (обновлён) (coturn/coturn)
[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-coturn
[2026-11-14 18:00:11] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse)
[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-synapse
[2026-11-14 18:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
[2026-11-14 18:00:11] нет данных Docker Hub: monica:monica
[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable
[2026-11-14 18:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest
[2026-11-14 18:00:12] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine
[2026-11-14 18:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest
[2026-11-14 18:00:12] нет данных Docker Hub: netboxcommunity/netbox:latest:latest
[2026-11-14 18:00:12] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
[2026-11-14 18:00:12] не удалось отправить уведомление для nextcloud
[2026-11-14 18:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
[2026-11-14 18:00:13] не удалось отправить уведомление для node_red
[2026-11-14 18:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
[2026-11-14 18:00:13] изменение: npm-app-1 — было dig, стало latest (обновлён) (jc21/nginx-proxy-manager)
[2026-11-14 18:00:13] не удалось отправить уведомление для npm-app-1
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
[2026-11-14 18:00:14] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-14 18:00:14] не удалось отправить уведомление для paperless_redis
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-11-14 18:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest
[2026-11-14 18:00:15] нет данных Docker Hub: prom/prometheus:latest:latest
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
[2026-11-14 18:00:15] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis)
[2026-11-14 18:00:15] не удалось отправить уведомление для swarm-redis
[2026-11-14 18:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest
[2026-11-14 18:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest
[2026-11-14 18:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
[2026-11-14 18:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
[2026-11-14 18:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest
[2026-11-14 18:00:17] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt)
[2026-11-14 18:00:17] не удалось отправить уведомление для zigbee2mqtt
[2026-11-14 18:00:17] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0
@@ -0,0 +1,73 @@
# Где искать документацию вендоров: разбор источников и API (14.11.2026)
Владелец попросил найти варианты самому: может, есть API или другие пути.
Ниже — что проверено и что из этого работает.
## Официальные сайты
| Источник | Что есть | PDF |
|---|---|---|
| `hitrolink.tech` | WordPress + WooCommerce, каталог 104 товара | **нет**: WP media API отдаёт только картинки (159 jpeg, 483 png) и 3 видео; карты вложений в sitemap нет |
| `hitrolink.com.ru` | «Официальный поставщик в России», OpenCart | **нет**: `/downloads` → 403 (дилерский), `/docs` → 404, ссылка `href="docs"` на `/service` ведёт в никуда |
| `hitrolink.com` | глобальный сайт | PDF-ссылок нет |
## Дистрибьюторы и магазины
| Сайт | Что оказалось | PDF |
|---|---|---|
| **`snk-s.ru`** | дистрибьютор, 36 карточек `hti-*` | **23 PDF** — добавлены |
| **`avicon.ru`** | «Официальный дистрибьютор AV-оборудования и ВКС», 8 товаров бренда | **9 PDF** — добавлены |
| `avikon.ru` | **парковка домена** (Руцентр, «домен продаётся») | — |
| `avikon.com` | польская компания, Hitrolink нет | — |
| `tele-vek.ru` | «официальный диллер», 60 страниц обойдено | 0 |
| `voip-shop.ru` | магазин, 5 карточек | 0 |
## API и архивы — что проверено
| Способ | Результат |
|---|---|
| WordPress REST API `hitrolink.tech/wp-json/wp/v2/media` | работает, но **PDF нет** (только изображения и видео) |
| `sitemap-index.xml` Avicon + `sitemap-files.xml` | работает; в файловой карте 15 файлов, Hitrolink среди них **нет** |
| Wayback Machine (`archive.org/wayback/available`) | API отвечает, но для `hitrolink.tech` **снапшотов нет** |
| Common Crawl index (`index.commoncrawl.org`) | коллекции есть (последняя `CC-MAIN-2026-43`), но запросы по домену отдают **502/504** — сервис недоступен |
| Поисковые API (Yandex XML, Bing) | требуют ключей, которых у нас нет |
**Вывод: публичного API с документацией вендора нет.** Единственный
систематический путь — обход каталогов дистрибьюторов.
## Инструмент: сканер дистрибьюторов
Написал `ops/scripts/dist-scan.py` — переиспользуемый сканер:
```
python3 ops/scripts/dist-scan.py <хост> [начальные_пути...]
```
Что делает: обходит сайт (до 60 страниц), находит карточки вендора
(`hitrolink`, `hti-*`), собирает PDF-ссылки, пишет список в
`/tmp/dist-scan-<хост>.txt`.
Ловушка: часть CMS отдаёт ссылки в процентах (`avicon.ru%2Fcatalog%2F…`) —
сканер их раскодирует, иначе находит 1 страницу вместо 19.
Проверка на Avicon: **19 карточек, 4 PDF** (на страницах, куда дошёл обход).
## Текущее состояние очереди
```
queue-hitrolink-dist.jsonl — 32 файла
snk-s.ru — 23
avicon.ru — 9
```
Все помечены `official: false`, `requires_confirmation: true`,
источник в поле `source.host`.
## Что можно сделать дальше
1. **Дилерский доступ** к `hitrolink.com.ru/downloads` — если у владельца
есть аккаунт, это официальный источник и пометка не нужна.
2. **Письмо вендору** — Hitrolink как производитель обязан дать даташиты
по запросу; это тоже официальный канал.
3. **Новые сайты** — сканер готов: достаточно назвать домен, обход и
добавление в очередь делаются одной командой.
+86
View File
@@ -0,0 +1,86 @@
#!/usr/bin/env python3
"""Сканер дистрибьюторов: обходит сайт, находит карточки вендора и PDF-файлы.
Зачем: у вендоров даташиты часто лежат только у дистрибьюторов. Ручной
обход каждый раз — долго, поэтому правила задаются конфигом.
Использование:
python3 dist-scan.py <host> [<start_path> ...]
Пишет найденные PDF в /tmp/dist-scan-<host>.txt и печатает сводку.
Ничего не добавляет в очередь автоматически — очередь собирает
отдельный шаг, чтобы владелец видел список.
"""
import re
import subprocess
import sys
import urllib.parse
UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/124 Safari/537.36"
MAX_PAGES = 60
def get(url, timeout=25):
try:
r = subprocess.run(["curl", "-sL", "-m", str(timeout), "-A", UA, url],
capture_output=True, text=True, timeout=timeout + 10)
return r.stdout or ""
except Exception:
return ""
def main():
if len(sys.argv) < 2:
print("нужен хост: python3 dist-scan.py avicon.ru")
return 2
host = sys.argv[1]
base = "https://" + host
starts = sys.argv[2:] or ["/"]
seen = set()
products = set()
pdfs = set()
queue = [base + p for p in starts]
while queue and len(seen) < MAX_PAGES:
url = queue.pop(0).split("#")[0]
if url in seen:
continue
seen.add(url)
html = get(url)
if not html:
continue
low = html.lower()
# карточки вендора
for m in re.findall(r'href="([^"]+)"', html):
# некоторые CMS отдают ссылки в процентах: avicon.ru%2Fcatalog%2F...
m = urllib.parse.unquote(m)
full = m if m.startswith("http") else urllib.parse.urljoin(base, m)
if not full.startswith(base):
continue
if re.search(r"(hitrolink|hti[-_])", full, re.I) and "/brands/" not in full:
products.add(full.split("?")[0])
if re.search(r"(catalog|brands|search)", full, re.I) and len(queue) < MAX_PAGES:
if full.split("?")[0] not in seen and full.split("?")[0] not in queue:
queue.append(full.split("?")[0])
# PDF прямо на странице
for m in re.findall(r'href="([^"]+\.pdf[^"]*)"', html, re.I):
if m.startswith("file://") or "C:" in m:
continue
full = m if m.startswith("http") else urllib.parse.urljoin(base, m)
pdfs.add(full)
print("хост: %s" % host)
print(" страниц просмотрено: %d" % len(seen))
print(" карточек вендора: %d" % len(products))
print(" PDF найдено: %d" % len(pdfs))
for u in sorted(pdfs)[:20]:
print(" ", urllib.parse.unquote(u)[:120])
out = "/tmp/dist-scan-%s.txt" % host
open(out, "w", encoding="utf-8").write("\n".join(sorted(pdfs)))
print(" список: %s" % out)
return 0
if __name__ == "__main__":
raise SystemExit(main())