diff --git a/ops/research/PC-SUPPORT-WORKER.md b/ops/research/PC-SUPPORT-WORKER.md new file mode 100644 index 0000000..609bdb3 --- /dev/null +++ b/ops/research/PC-SUPPORT-WORKER.md @@ -0,0 +1,51 @@ +# Support-очередь на ПК (низкий приоритет) + +Support-статьи **на паузе**. Для ускорения можно подключить ПК отдельным +воркером. Очередь уже разделена: + +| Шард | URL | Файл | +|---|---|---| +| ПК | 9 123 | `queue-support-pc.jsonl` | +| Хост | 9 224 | `queue-support-host.jsonl` | + +Дублирования нет: URL разложены по hash. + +## Что нужно от ПК + +- Python 3.10+; +- доступ к `192.168.1.229:11434` (Ollama) **или** локальный Ollama; +- желательно GPU: тогда ПК реально ускорит, иначе он будет только быстрее + скачивать/скипать статьи, а модель всё равно на 229. + +## Запуск на ПК + +Скопировать на ПК: +- `llm_research.py` с хоста `/opt/work-hub/research/llm_research.py`; +- `queue-support-pc.jsonl`. + +PowerShell: +```powershell +$env:RESEARCH_QUEUE="C:\work\queue-support-pc.jsonl" +$env:RESEARCH_VENDOR="yealink" +$env:RESEARCH_TAG="support-pc" +$env:WORKER_ID="0" +$env:OLLAMA_URL="http://192.168.1.229:11434" # или http://127.0.0.1:11434 +$env:RESEARCH_SLEEP="1" +$env:PYTHONIOENCODING="utf-8" +python llm_research.py +``` + +Результат: `results-yealink-support-pc-0.jsonl` и +`progress-yealink-support-pc-0.json` — скопировать обратно на хост в +`/opt/work-hub/research/`. + +## Что учесть + +- `file:///...` PDF на ПК недоступны; их лучше исключить или смонтировать папку. +- Не запускать host-шард одновременно с PC-шардом на тех же URL. +- Модель `qwen2.5:3b`; для GPU можно `qwen2.5:3b`/7b, но проверить память. +- Support — низкий приоритет: основной каталог и datasheet важнее. + +## Оценка + +9 123 URL; при 60/час — ~6 дней, при GPU 300+/час — ~1–2 дня. diff --git a/ops/scripts/split_support_queue.py b/ops/scripts/split_support_queue.py new file mode 100644 index 0000000..7df6d00 --- /dev/null +++ b/ops/scripts/split_support_queue.py @@ -0,0 +1,18 @@ +#!/usr/bin/env python3 +"""Разделить support-очередь на host/PC шарды (по hash URL).""" +import hashlib +import json +import os + +OUT = "/opt/work-hub/research" +src = os.path.join(OUT, "queue-retry-support.jsonl") +rows = [json.loads(l) for l in open(src, encoding="utf-8") if l.strip()] +pc, host = [], [] +for x in rows: + h = int(hashlib.sha1(x["url"].encode()).hexdigest(), 16) + (pc if h % 2 == 0 else host).append(x) +for name, data in (("queue-support-pc.jsonl", pc), ("queue-support-host.jsonl", host)): + with open(os.path.join(OUT, name), "w", encoding="utf-8") as f: + for x in data: + f.write(json.dumps(x, ensure_ascii=False) + "\n") +print("pc", len(pc), "host", len(host), "total", len(rows))