From 683ac28aaa1b023b602face5706ff9773629683a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sat, 14 Nov 2026 21:44:33 +0300 Subject: [PATCH] =?UTF-8?q?[LLM]=20=D0=A0=D0=B0=D0=B7=D0=B1=D0=BE=D1=80=20?= =?UTF-8?q?=D0=B8=D1=81=D1=82=D0=BE=D1=87=D0=BD=D0=B8=D0=BA=D0=BE=D0=B2=20?= =?UTF-8?q?=D0=B4=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD=D1=82=D0=B0=D1=86?= =?UTF-8?q?=D0=B8=D0=B8=20=D0=B2=D0=B5=D0=BD=D0=B4=D0=BE=D1=80=D0=BE=D0=B2?= =?UTF-8?q?:=20=D0=BE=D1=84=D0=B8=D1=86=D0=B8=D0=B0=D0=BB=D1=8C=D0=BD?= =?UTF-8?q?=D1=8B=D0=B5=20=D1=81=D0=B0=D0=B9=D1=82=D1=8B=20PDF=20=D0=BD?= =?UTF-8?q?=D0=B5=20=D0=BE=D1=82=D0=B4=D0=B0=D1=8E=D1=82=20(WP=20media=20?= =?UTF-8?q?=D1=82=D0=BE=D0=BB=D1=8C=D0=BA=D0=BE=20=D0=BA=D0=B0=D1=80=D1=82?= =?UTF-8?q?=D0=B8=D0=BD=D0=BA=D0=B8,=20.com.ru/downloads=20403,=20/docs=20?= =?UTF-8?q?404).=20=D0=9F=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=B5=D0=BD=D1=8B?= =?UTF-8?q?=20API:=20WP=20REST,=20sitemap-files=20Avicon,=20Wayback=20(?= =?UTF-8?q?=D1=81=D0=BD=D0=B0=D0=BF=D1=88=D0=BE=D1=82=D0=BE=D0=B2=20=D0=BD?= =?UTF-8?q?=D0=B5=D1=82),=20Common=20Crawl=20(502/504),=20=D0=BF=D0=BE?= =?UTF-8?q?=D0=B8=D1=81=D0=BA=D0=BE=D0=B2=D1=8B=D0=B5=20API=20(=D0=BD?= =?UTF-8?q?=D0=B5=D1=82=20=D0=BA=D0=BB=D1=8E=D1=87=D0=B5=D0=B9)=20=3D>=20?= =?UTF-8?q?=D0=BF=D1=83=D0=B1=D0=BB=D0=B8=D1=87=D0=BD=D0=BE=D0=B3=D0=BE=20?= =?UTF-8?q?API=20=D0=BD=D0=B5=D1=82.=20=D0=9D=D0=B0=D0=B9=D0=B4=D0=B5?= =?UTF-8?q?=D0=BD=D1=8B=20=D0=B4=D0=B8=D1=81=D1=82=D1=80=D0=B8=D0=B1=D1=8C?= =?UTF-8?q?=D1=8E=D1=82=D0=BE=D1=80=D1=8B=20snk-s.ru=20(23=20PDF)=20=D0=B8?= =?UTF-8?q?=20avicon.ru=20(9=20PDF),=20avikon.ru=20=E2=80=94=20=D0=BF?= =?UTF-8?q?=D0=B0=D1=80=D0=BA=D0=BE=D0=B2=D0=BA=D0=B0,=20avikon.com=20?= =?UTF-8?q?=E2=80=94=20=D0=9F=D0=BE=D0=BB=D1=8C=D1=88=D0=B0,=20tele-vek/vo?= =?UTF-8?q?ip-shop=20=E2=80=94=20=D0=B1=D0=B5=D0=B7=20PDF.=20=D0=9D=D0=B0?= =?UTF-8?q?=D0=BF=D0=B8=D1=81=D0=B0=D0=BD=20=D0=BF=D0=B5=D1=80=D0=B5=D0=B8?= =?UTF-8?q?=D1=81=D0=BF=D0=BE=D0=BB=D1=8C=D0=B7=D1=83=D0=B5=D0=BC=D1=8B?= =?UTF-8?q?=D0=B9=20=D1=81=D0=BA=D0=B0=D0=BD=D0=B5=D1=80=20ops/scripts/dis?= =?UTF-8?q?t-scan.py=20(=D0=BE=D0=B1=D1=85=D0=BE=D0=B4=20=D0=B4=D0=BE=2060?= =?UTF-8?q?=20=D1=81=D1=82=D1=80=D0=B0=D0=BD=D0=B8=D1=86,=20=D0=BA=D0=B0?= =?UTF-8?q?=D1=80=D1=82=D0=BE=D1=87=D0=BA=D0=B8=20=D0=B2=D0=B5=D0=BD=D0=B4?= =?UTF-8?q?=D0=BE=D1=80=D0=B0,=20PDF,=20=D1=80=D0=B0=D1=81=D0=BA=D0=BE?= =?UTF-8?q?=D0=B4=D0=B8=D1=80=D0=BE=D0=B2=D0=B0=D0=BD=D0=B8=D0=B5=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D1=86=D0=B5=D0=BD=D1=82=D0=BD=D1=8B=D1=85=20=D1=81?= =?UTF-8?q?=D1=81=D1=8B=D0=BB=D0=BE=D0=BA).=20=D0=9E=D1=87=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D0=B4=D1=8C=20=D0=B4=D0=B8=D1=81=D1=82=D1=80=D0=B8=D0=B1?= =?UTF-8?q?=D1=8C=D1=8E=D1=82=D0=BE=D1=80=D0=B0:=2032=20=D1=84=D0=B0=D0=B9?= =?UTF-8?q?=D0=BB=D0=B0=20=D1=81=20=D0=BF=D0=BE=D0=BC=D0=B5=D1=82=D0=BA?= =?UTF-8?q?=D0=BE=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/audit/version-watch.log | 85 ++++++++++++++++++++ ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md | 73 +++++++++++++++++ ops/scripts/dist-scan.py | 86 +++++++++++++++++++++ 3 files changed, 244 insertions(+) create mode 100644 ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md create mode 100755 ops/scripts/dist-scan.py diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index 4b466be..d55c490 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -8398,3 +8398,88 @@ unknown [2026-11-14 12:00:16] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) [2026-11-14 12:00:16] не удалось отправить уведомление для zigbee2mqtt [2026-11-14 12:00:16] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 +[2026-11-14 18:00:02] нет данных Docker Hub: adguard/adguardhome:latest:latest +[2026-11-14 18:00:02] нет данных Docker Hub: prom/alertmanager:v0.27.0 +[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/advplyr/audiobookshelf:latest:latest +[2026-11-14 18:00:02] нет данных Docker Hub: ghcr.io/goauthentik/server:2026.8.5 +[2026-11-14 18:00:04] изменение: authentik-security-redis-1 — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-14 18:00:04] не удалось отправить уведомление для authentik-security-redis-1 +[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-14 18:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-11-14 18:00:04] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-11-14 18:00:04] нет данных Docker Hub: crocodilestick/calibre-web-automated:latest:latest +[2026-11-14 18:00:05] изменение: calibre-web — было dig, стало latest (обновлён) (linuxserver/calibre-web) +[2026-11-14 18:00:05] не удалось отправить уведомление для calibre-web +[2026-11-14 18:00:05] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-11-14 18:00:05] нет данных Docker Hub: docmost/docmost:latest:latest +[2026-11-14 18:00:05] нет данных Docker Hub: duplicati/duplicati:latest:latest +[2026-11-14 18:00:06] нет данных Docker Hub: vectorim/element-web:latest:latest +[2026-11-14 18:00:07] нет данных Docker Hub: fireflyiii/core:latest:latest +[2026-11-14 18:00:07] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-11-14 18:00:07] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-11-14 18:00:07] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-11-14 18:00:08] нет данных Docker Hub: unknown:unknown +[2026-11-14 18:00:08] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-14 18:00:08] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-11-14 18:00:08] нет данных Docker Hub: jvmilazz0/kavita:latest:latest +[2026-11-14 18:00:09] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-11-14 18:00:09] нет данных Docker Hub: livekit/livekit-server:latest:latest +[2026-11-14 18:00:09] нет данных Docker Hub: grafana/loki:3.2.1 +[2026-11-14 18:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-11-14 18:00:11] изменение: matrix-coturn — было dig, стало latest (обновлён) (coturn/coturn) +[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-coturn +[2026-11-14 18:00:11] изменение: matrix-synapse — было dig, стало latest (обновлён) (matrixdotorg/synapse) +[2026-11-14 18:00:11] не удалось отправить уведомление для matrix-synapse +[2026-11-14 18:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-11-14 18:00:11] нет данных Docker Hub: monica:monica +[2026-11-14 18:00:11] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable:stable +[2026-11-14 18:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-11-14 18:00:12] нет данных Docker Hub: nats:2.10.17-alpine:2.10.17-alpine +[2026-11-14 18:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-11-14 18:00:12] нет данных Docker Hub: netboxcommunity/netbox:latest:latest +[2026-11-14 18:00:12] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-11-14 18:00:12] не удалось отправить уведомление для nextcloud +[2026-11-14 18:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-11-14 18:00:13] не удалось отправить уведомление для node_red +[2026-11-14 18:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-11-14 18:00:13] изменение: npm-app-1 — было dig, стало latest (обновлён) (jc21/nginx-proxy-manager) +[2026-11-14 18:00:13] не удалось отправить уведомление для npm-app-1 +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:13] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/seerr-team/seerr:latest:latest +[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-11-14 18:00:14] изменение: paperless_redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-14 18:00:14] не удалось отправить уведомление для paperless_redis +[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-14 18:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-11-14 18:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-11-14 18:00:15] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-11-14 18:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-11-14 18:00:15] изменение: swarm-redis — было dig, стало 7-alpine (обновлён) (redis) +[2026-11-14 18:00:15] не удалось отправить уведомление для swarm-redis +[2026-11-14 18:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-11-14 18:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-11-14 18:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-11-14 18:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-11-14 18:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-11-14 18:00:17] изменение: zigbee2mqtt — было dig, стало latest (обновлён) (koenkk/zigbee2mqtt) +[2026-11-14 18:00:17] не удалось отправить уведомление для zigbee2mqtt +[2026-11-14 18:00:17] [version-watch] закреплённых: 1, плавающих: 11, без данных: 64, база: 0, изменений: 0 diff --git a/ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md b/ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md new file mode 100644 index 0000000..bbae5fc --- /dev/null +++ b/ops/audits/VENDOR-DOC-SOURCES-2026-11-14.md @@ -0,0 +1,73 @@ +# Где искать документацию вендоров: разбор источников и API (14.11.2026) + +Владелец попросил найти варианты самому: может, есть API или другие пути. +Ниже — что проверено и что из этого работает. + +## Официальные сайты + +| Источник | Что есть | PDF | +|---|---|---| +| `hitrolink.tech` | WordPress + WooCommerce, каталог 104 товара | **нет**: WP media API отдаёт только картинки (159 jpeg, 483 png) и 3 видео; карты вложений в sitemap нет | +| `hitrolink.com.ru` | «Официальный поставщик в России», OpenCart | **нет**: `/downloads` → 403 (дилерский), `/docs` → 404, ссылка `href="docs"` на `/service` ведёт в никуда | +| `hitrolink.com` | глобальный сайт | PDF-ссылок нет | + +## Дистрибьюторы и магазины + +| Сайт | Что оказалось | PDF | +|---|---|---| +| **`snk-s.ru`** | дистрибьютор, 36 карточек `hti-*` | **23 PDF** — добавлены | +| **`avicon.ru`** | «Официальный дистрибьютор AV-оборудования и ВКС», 8 товаров бренда | **9 PDF** — добавлены | +| `avikon.ru` | **парковка домена** (Руцентр, «домен продаётся») | — | +| `avikon.com` | польская компания, Hitrolink нет | — | +| `tele-vek.ru` | «официальный диллер», 60 страниц обойдено | 0 | +| `voip-shop.ru` | магазин, 5 карточек | 0 | + +## API и архивы — что проверено + +| Способ | Результат | +|---|---| +| WordPress REST API `hitrolink.tech/wp-json/wp/v2/media` | работает, но **PDF нет** (только изображения и видео) | +| `sitemap-index.xml` Avicon + `sitemap-files.xml` | работает; в файловой карте 15 файлов, Hitrolink среди них **нет** | +| Wayback Machine (`archive.org/wayback/available`) | API отвечает, но для `hitrolink.tech` **снапшотов нет** | +| Common Crawl index (`index.commoncrawl.org`) | коллекции есть (последняя `CC-MAIN-2026-43`), но запросы по домену отдают **502/504** — сервис недоступен | +| Поисковые API (Yandex XML, Bing) | требуют ключей, которых у нас нет | + +**Вывод: публичного API с документацией вендора нет.** Единственный +систематический путь — обход каталогов дистрибьюторов. + +## Инструмент: сканер дистрибьюторов + +Написал `ops/scripts/dist-scan.py` — переиспользуемый сканер: + +``` +python3 ops/scripts/dist-scan.py <хост> [начальные_пути...] +``` + +Что делает: обходит сайт (до 60 страниц), находит карточки вендора +(`hitrolink`, `hti-*`), собирает PDF-ссылки, пишет список в +`/tmp/dist-scan-<хост>.txt`. + +Ловушка: часть CMS отдаёт ссылки в процентах (`avicon.ru%2Fcatalog%2F…`) — +сканер их раскодирует, иначе находит 1 страницу вместо 19. + +Проверка на Avicon: **19 карточек, 4 PDF** (на страницах, куда дошёл обход). + +## Текущее состояние очереди + +``` +queue-hitrolink-dist.jsonl — 32 файла + snk-s.ru — 23 + avicon.ru — 9 +``` + +Все помечены `official: false`, `requires_confirmation: true`, +источник в поле `source.host`. + +## Что можно сделать дальше + +1. **Дилерский доступ** к `hitrolink.com.ru/downloads` — если у владельца + есть аккаунт, это официальный источник и пометка не нужна. +2. **Письмо вендору** — Hitrolink как производитель обязан дать даташиты + по запросу; это тоже официальный канал. +3. **Новые сайты** — сканер готов: достаточно назвать домен, обход и + добавление в очередь делаются одной командой. diff --git a/ops/scripts/dist-scan.py b/ops/scripts/dist-scan.py new file mode 100755 index 0000000..fee8b21 --- /dev/null +++ b/ops/scripts/dist-scan.py @@ -0,0 +1,86 @@ +#!/usr/bin/env python3 +"""Сканер дистрибьюторов: обходит сайт, находит карточки вендора и PDF-файлы. + +Зачем: у вендоров даташиты часто лежат только у дистрибьюторов. Ручной +обход каждый раз — долго, поэтому правила задаются конфигом. + +Использование: + python3 dist-scan.py [ ...] + +Пишет найденные PDF в /tmp/dist-scan-.txt и печатает сводку. +Ничего не добавляет в очередь автоматически — очередь собирает +отдельный шаг, чтобы владелец видел список. +""" +import re +import subprocess +import sys +import urllib.parse + +UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/124 Safari/537.36" +MAX_PAGES = 60 + + +def get(url, timeout=25): + try: + r = subprocess.run(["curl", "-sL", "-m", str(timeout), "-A", UA, url], + capture_output=True, text=True, timeout=timeout + 10) + return r.stdout or "" + except Exception: + return "" + + +def main(): + if len(sys.argv) < 2: + print("нужен хост: python3 dist-scan.py avicon.ru") + return 2 + host = sys.argv[1] + base = "https://" + host + starts = sys.argv[2:] or ["/"] + seen = set() + products = set() + pdfs = set() + + queue = [base + p for p in starts] + while queue and len(seen) < MAX_PAGES: + url = queue.pop(0).split("#")[0] + if url in seen: + continue + seen.add(url) + html = get(url) + if not html: + continue + low = html.lower() + # карточки вендора + for m in re.findall(r'href="([^"]+)"', html): + # некоторые CMS отдают ссылки в процентах: avicon.ru%2Fcatalog%2F... + m = urllib.parse.unquote(m) + full = m if m.startswith("http") else urllib.parse.urljoin(base, m) + if not full.startswith(base): + continue + if re.search(r"(hitrolink|hti[-_])", full, re.I) and "/brands/" not in full: + products.add(full.split("?")[0]) + if re.search(r"(catalog|brands|search)", full, re.I) and len(queue) < MAX_PAGES: + if full.split("?")[0] not in seen and full.split("?")[0] not in queue: + queue.append(full.split("?")[0]) + # PDF прямо на странице + for m in re.findall(r'href="([^"]+\.pdf[^"]*)"', html, re.I): + if m.startswith("file://") or "C:" in m: + continue + full = m if m.startswith("http") else urllib.parse.urljoin(base, m) + pdfs.add(full) + + print("хост: %s" % host) + print(" страниц просмотрено: %d" % len(seen)) + print(" карточек вендора: %d" % len(products)) + print(" PDF найдено: %d" % len(pdfs)) + for u in sorted(pdfs)[:20]: + print(" ", urllib.parse.unquote(u)[:120]) + + out = "/tmp/dist-scan-%s.txt" % host + open(out, "w", encoding="utf-8").write("\n".join(sorted(pdfs))) + print(" список: %s" % out) + return 0 + + +if __name__ == "__main__": + raise SystemExit(main())