[COMBINE] Support-очередь разделена: PC 9123 / host 9224, инструкция PC-воркера
This commit is contained in:
1 parent
a1cca55603
commit
48d4cc8aa0
2 files changed
+69
No files matched your search
@@ -0,0 +1,51 @@
|
||||
# Support-очередь на ПК (низкий приоритет)
|
||||
|
||||
Support-статьи **на паузе**. Для ускорения можно подключить ПК отдельным
|
||||
воркером. Очередь уже разделена:
|
||||
|
||||
| Шард | URL | Файл |
|
||||
|---|---|---|
|
||||
| ПК | 9 123 | `queue-support-pc.jsonl` |
|
||||
| Хост | 9 224 | `queue-support-host.jsonl` |
|
||||
|
||||
Дублирования нет: URL разложены по hash.
|
||||
|
||||
## Что нужно от ПК
|
||||
|
||||
- Python 3.10+;
|
||||
- доступ к `192.168.1.229:11434` (Ollama) **или** локальный Ollama;
|
||||
- желательно GPU: тогда ПК реально ускорит, иначе он будет только быстрее
|
||||
скачивать/скипать статьи, а модель всё равно на 229.
|
||||
|
||||
## Запуск на ПК
|
||||
|
||||
Скопировать на ПК:
|
||||
- `llm_research.py` с хоста `/opt/work-hub/research/llm_research.py`;
|
||||
- `queue-support-pc.jsonl`.
|
||||
|
||||
PowerShell:
|
||||
```powershell
|
||||
$env:RESEARCH_QUEUE="C:\work\queue-support-pc.jsonl"
|
||||
$env:RESEARCH_VENDOR="yealink"
|
||||
$env:RESEARCH_TAG="support-pc"
|
||||
$env:WORKER_ID="0"
|
||||
$env:OLLAMA_URL="http://192.168.1.229:11434" # или http://127.0.0.1:11434
|
||||
$env:RESEARCH_SLEEP="1"
|
||||
$env:PYTHONIOENCODING="utf-8"
|
||||
python llm_research.py
|
||||
```
|
||||
|
||||
Результат: `results-yealink-support-pc-0.jsonl` и
|
||||
`progress-yealink-support-pc-0.json` — скопировать обратно на хост в
|
||||
`/opt/work-hub/research/`.
|
||||
|
||||
## Что учесть
|
||||
|
||||
- `file:///...` PDF на ПК недоступны; их лучше исключить или смонтировать папку.
|
||||
- Не запускать host-шард одновременно с PC-шардом на тех же URL.
|
||||
- Модель `qwen2.5:3b`; для GPU можно `qwen2.5:3b`/7b, но проверить память.
|
||||
- Support — низкий приоритет: основной каталог и datasheet важнее.
|
||||
|
||||
## Оценка
|
||||
|
||||
9 123 URL; при 60/час — ~6 дней, при GPU 300+/час — ~1–2 дня.
|
||||
@@ -0,0 +1,18 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Разделить support-очередь на host/PC шарды (по hash URL)."""
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
|
||||
OUT = "/opt/work-hub/research"
|
||||
src = os.path.join(OUT, "queue-retry-support.jsonl")
|
||||
rows = [json.loads(l) for l in open(src, encoding="utf-8") if l.strip()]
|
||||
pc, host = [], []
|
||||
for x in rows:
|
||||
h = int(hashlib.sha1(x["url"].encode()).hexdigest(), 16)
|
||||
(pc if h % 2 == 0 else host).append(x)
|
||||
for name, data in (("queue-support-pc.jsonl", pc), ("queue-support-host.jsonl", host)):
|
||||
with open(os.path.join(OUT, name), "w", encoding="utf-8") as f:
|
||||
for x in data:
|
||||
f.write(json.dumps(x, ensure_ascii=False) + "\n")
|
||||
print("pc", len(pc), "host", len(host), "total", len(rows))
|
||||
Reference in new issue
Block a user