root
|
893bf687e6
|
[LLM] Отдельный трек ускорения локальной LLM: скрипт ops/scripts/llm_lab.py (read-only замеры prefill/gen для моделей и размеров промпта, JSONL + summary в /var/lib/llm-lab), смоук: 300 токенов 4.1с, 2000 — 28.2с prefill (64-75 т/с), 14k ≈ 375с. Бэклог: облегчить промпт OpenClaw, num_batch/num_thread, кэш префикса, выбор модели/кванта, GPU, гибрид локально/DeepSeek. В текущих задачах не участвует
|
2026-11-17 15:29:24 +03:00 |
|