From 48d4cc8aa0249ea80e57fdac820aec1a6220ebbc Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Wed, 18 Nov 2026 15:32:42 +0300 Subject: [PATCH] =?UTF-8?q?[COMBINE]=20Support-=D0=BE=D1=87=D0=B5=D1=80?= =?UTF-8?q?=D0=B5=D0=B4=D1=8C=20=D1=80=D0=B0=D0=B7=D0=B4=D0=B5=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D0=B0:=20PC=209123=20/=20host=209224,=20=D0=B8=D0=BD?= =?UTF-8?q?=D1=81=D1=82=D1=80=D1=83=D0=BA=D1=86=D0=B8=D1=8F=20PC-=D0=B2?= =?UTF-8?q?=D0=BE=D1=80=D0=BA=D0=B5=D1=80=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/research/PC-SUPPORT-WORKER.md | 51 ++++++++++++++++++++++++++++++ ops/scripts/split_support_queue.py | 18 +++++++++++ 2 files changed, 69 insertions(+) create mode 100644 ops/research/PC-SUPPORT-WORKER.md create mode 100644 ops/scripts/split_support_queue.py diff --git a/ops/research/PC-SUPPORT-WORKER.md b/ops/research/PC-SUPPORT-WORKER.md new file mode 100644 index 0000000..609bdb3 --- /dev/null +++ b/ops/research/PC-SUPPORT-WORKER.md @@ -0,0 +1,51 @@ +# Support-очередь на ПК (низкий приоритет) + +Support-статьи **на паузе**. Для ускорения можно подключить ПК отдельным +воркером. Очередь уже разделена: + +| Шард | URL | Файл | +|---|---|---| +| ПК | 9 123 | `queue-support-pc.jsonl` | +| Хост | 9 224 | `queue-support-host.jsonl` | + +Дублирования нет: URL разложены по hash. + +## Что нужно от ПК + +- Python 3.10+; +- доступ к `192.168.1.229:11434` (Ollama) **или** локальный Ollama; +- желательно GPU: тогда ПК реально ускорит, иначе он будет только быстрее + скачивать/скипать статьи, а модель всё равно на 229. + +## Запуск на ПК + +Скопировать на ПК: +- `llm_research.py` с хоста `/opt/work-hub/research/llm_research.py`; +- `queue-support-pc.jsonl`. + +PowerShell: +```powershell +$env:RESEARCH_QUEUE="C:\work\queue-support-pc.jsonl" +$env:RESEARCH_VENDOR="yealink" +$env:RESEARCH_TAG="support-pc" +$env:WORKER_ID="0" +$env:OLLAMA_URL="http://192.168.1.229:11434" # или http://127.0.0.1:11434 +$env:RESEARCH_SLEEP="1" +$env:PYTHONIOENCODING="utf-8" +python llm_research.py +``` + +Результат: `results-yealink-support-pc-0.jsonl` и +`progress-yealink-support-pc-0.json` — скопировать обратно на хост в +`/opt/work-hub/research/`. + +## Что учесть + +- `file:///...` PDF на ПК недоступны; их лучше исключить или смонтировать папку. +- Не запускать host-шард одновременно с PC-шардом на тех же URL. +- Модель `qwen2.5:3b`; для GPU можно `qwen2.5:3b`/7b, но проверить память. +- Support — низкий приоритет: основной каталог и datasheet важнее. + +## Оценка + +9 123 URL; при 60/час — ~6 дней, при GPU 300+/час — ~1–2 дня. diff --git a/ops/scripts/split_support_queue.py b/ops/scripts/split_support_queue.py new file mode 100644 index 0000000..7df6d00 --- /dev/null +++ b/ops/scripts/split_support_queue.py @@ -0,0 +1,18 @@ +#!/usr/bin/env python3 +"""Разделить support-очередь на host/PC шарды (по hash URL).""" +import hashlib +import json +import os + +OUT = "/opt/work-hub/research" +src = os.path.join(OUT, "queue-retry-support.jsonl") +rows = [json.loads(l) for l in open(src, encoding="utf-8") if l.strip()] +pc, host = [], [] +for x in rows: + h = int(hashlib.sha1(x["url"].encode()).hexdigest(), 16) + (pc if h % 2 == 0 else host).append(x) +for name, data in (("queue-support-pc.jsonl", pc), ("queue-support-host.jsonl", host)): + with open(os.path.join(OUT, name), "w", encoding="utf-8") as f: + for x in data: + f.write(json.dumps(x, ensure_ascii=False) + "\n") +print("pc", len(pc), "host", len(host), "total", len(rows))