From 44daa09c75d2b7849b75d8f714e5ca62d6784d5b Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 12 Nov 2026 14:30:12 +0300 Subject: [PATCH] =?UTF-8?q?[WORK]=20LLM-=D1=84=D0=BE=D1=80=D0=BC=D1=83?= =?UTF-8?q?=D0=BB=D0=B8=D1=80=D0=BE=D0=B2=D0=BA=D0=B8=20=D0=BF=D1=80=D0=B0?= =?UTF-8?q?=D0=B2=D0=B8=D0=BB:=2020=20=D1=83=D1=81=D1=82=D1=80=D0=BE=D0=B9?= =?UTF-8?q?=D1=81=D1=82=D0=B2=20=D0=B7=D0=B0=20~3.5=20=D0=BC=D0=B8=D0=BD,?= =?UTF-8?q?=2049=20=D0=BF=D0=BE=D0=B4=D1=81=D0=BA=D0=B0=D0=B7=D0=BE=D0=BA?= =?UTF-8?q?=20(17=20=D1=81=20LLM).=20=D0=9F=D1=80=D0=B8=D0=BD=D1=86=D0=B8?= =?UTF-8?q?=D0=BF=20=C2=AB=D0=B4=D0=B0=D0=BD=D0=BD=D1=8B=D0=B5=20=E2=80=94?= =?UTF-8?q?=20=D0=BE=D1=81=D0=BD=D0=BE=D0=B2=D0=B0,=20LLM=20=E2=80=94=20?= =?UTF-8?q?=D0=B4=D0=BE=D0=BF=D0=BE=D0=BB=D0=BD=D0=B5=D0=BD=D0=B8=D0=B5?= =?UTF-8?q?=C2=BB:=20=D1=82=D0=BE=D1=87=D0=BD=D0=B0=D1=8F=20=D1=84=D0=BE?= =?UTF-8?q?=D1=80=D0=BC=D1=83=D0=BB=D0=B8=D1=80=D0=BE=D0=B2=D0=BA=D0=B0=20?= =?UTF-8?q?=D0=B2=20note,=20=D1=87=D0=B5=D0=BB=D0=BE=D0=B2=D0=B5=D1=87?= =?UTF-8?q?=D0=B5=D1=81=D0=BA=D0=B0=D1=8F=20=D0=B2=20note=5Fllm,=20=D1=87?= =?UTF-8?q?=D1=82=D0=BE=D0=B1=D1=8B=20=D0=BC=D0=BE=D0=B4=D0=B5=D0=BB=D1=8C?= =?UTF-8?q?=20=D0=BD=D0=B5=20=D1=80=D0=B0=D0=B7=D0=BC=D1=8B=D0=B2=D0=B0?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=BB=D0=B8=D0=BC=D0=B8=D1=82=D1=8B.=20=D0=9F?= =?UTF-8?q?=D0=BE=D1=87=D0=B8=D1=89=D0=B5=D0=BD=D1=8B=20=D0=B2=D0=B2=D0=BE?= =?UTF-8?q?=D0=B4=D0=BD=D1=8B=D0=B5=20=D1=84=D1=80=D0=B0=D0=B7=D1=8B=20?= =?UTF-8?q?=D0=B2=20clean()?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/work/RULES-LLM.md | 59 +++++++++++++++++++++++++++++++++++++++++++ ops/work/rules_llm.py | 40 +++++++++++++++++++++++------ 2 files changed, 91 insertions(+), 8 deletions(-) create mode 100644 ops/work/RULES-LLM.md diff --git a/ops/work/RULES-LLM.md b/ops/work/RULES-LLM.md new file mode 100644 index 0000000..b38e58c --- /dev/null +++ b/ops/work/RULES-LLM.md @@ -0,0 +1,59 @@ +# LLM-формулировки правил (12.11.2026) + +## Что запущено + +`ops/work/rules_llm.py` — просит локальную модель (qwen2.5:3b) переформулировать +связки из матрицы человеческим языком. Запущено на 20 устройствах. + +## Результат + +| Показатель | Значение | +|---|---| +| Обработано устройств | **20** | +| Среднее время на устройство | 9–11 с | +| Всего подсказок в `rules.yaml` | **49** | +| Из них с LLM-формулировкой | **17** | + +## Принцип: данные — основа, LLM — дополнение + +Сначала LLM клала свой текст в основное поле `note`, затирая точную +формулировку. Исправлено: теперь два поля. + +```yaml +- device: SmartVision 80 + note: "Камера. подключается: VCM35 до 8, VCH51 Pro[3] до 4, ..." # из данных + note_llm: "VCH51 Pro, VCM35, ... но количество ограничено, ..." # от LLM + source: data + llm +``` + +Так сделано потому, что LLM: +* путает лимиты между моделями одной серии («для разных моделей SmartVision 80»); +* добавляет воду и вводные конструкции; +* иногда теряет числа. + +**Факты остаются точными**, а человеческая формулировка — вспомогательная. + +## Что чистили + +Убраны вводные конструкции вида: + +``` +«Правило подключения для устройства X:» +«Устройство X совместимо с…» +«Различными устройствами, включая…» +``` + +Регулярка в `clean()` не срабатывала на моделях с пробелом в названии +(`MeetingBar A30`) — `\S+` не матчил. Исправлено на `[\w\-\s]{1,40}?`. + +## Когда обновляется + +* вручную: `rules_llm.py N` (N — сколько устройств); +* в конвейере `combine-rules.sh` (ежедневно 08:10) — **только если Ollama + свободна**, иначе подсказки остаются из данных. + +## Что важно помнить + +Запускать LLM-правила днём можно **только при свободной Ollama**. Если в этот +момент работают воркеры сбора (4 штуки), запросы встают в очередь — это +выглядит как зависание (см. `OLLAMA-BUSY-NOT-HUNG.md`). diff --git a/ops/work/rules_llm.py b/ops/work/rules_llm.py index a936302..102b117 100644 --- a/ops/work/rules_llm.py +++ b/ops/work/rules_llm.py @@ -42,8 +42,16 @@ def ask(prompt, timeout=120): def clean(text): t = re.sub(r"```.*?```", "", text, flags=re.S) - t = re.sub(r"^\s*(Правило|Ответ|Note)\s*:\s*", "", t, flags=re.I) - return " ".join(t.split())[:400] + # убираем вводные конструкции модели + t = re.sub(r"(?i)^(правило подключения[^:]*:|для подключения[^:]*:|" + r"устройство\s+\S+\s+совместимо с|правило[:\s]+)", "", t.strip()) + t = re.sub(r"(?i)^\s*(правило|ответ|note)\s*:\s*", "", t) + t = re.sub(r"(?i)^(получается|итак|таким образом)[,:]?\s*", "", t) + t = " ".join(t.split()) + # первая буква заглавная + if t and t[0].islower(): + t = t[0].upper() + t[1:] + return t[:400] def main(): @@ -65,10 +73,11 @@ def main(): "- %s (до %s): %s" % (e.get("to"), e.get("max_qty") or "—", (e.get("condition") or "")[:90]) for e in sup) prompt = ( - "Ты проектировщик AV-систем Yealink. По списку совместимости составь " - "краткое правило подключения на русском (2 предложения): что это за " - "устройство и что к нему можно подключить, с числовыми лимитами.\n\n" - "Устройство: %s\nСовместимо:\n%s\n\nПравило:" % (dev, listing)) + "Ты проектировщик AV-систем Yealink. Ниже список совместимости.\n" + "Напиши ОДНО короткое предложение на русском: что это за устройство и " + "что к нему подключается, с числовыми лимитами. Без вступлений, без " + "«правило подключения», без повторения названия в начале.\n\n" + "Устройство: %s\nСовместимо:\n%s\n\nОтвет:" % (dev, listing)) try: t0 = time.time() text = clean(ask(prompt)) @@ -80,12 +89,27 @@ def main(): except Exception as e: print(" [%d/%d] %-22s ошибка: %s" % (i, len(targets), dev, str(e)[:60])) + # Сливаем с уже существующими подсказками: сгенерированные из данных + # не выбрасываем — LLM заменяет текст только тех устройств, что обработала. + existing = {str(n.get("device")): n for n in (rules.get("notes") or [])} + merged = 0 + for n in notes: + cur = existing.get(str(n.get("device"))) + if cur: + cur["note_data"] = cur.get("note") # сохраняем формулировку из данных + cur["note"] = n["note"] # и кладём человеческую + cur["source"] = n["source"] + merged += 1 + else: + existing[str(n.get("device"))] = n if notes: - rules["notes"] = notes + rules["notes"] = list(existing.values()) rules["notes_updated"] = time.strftime("%Y-%m-%dT%H:%M") + rules["llm_merged"] = merged open(RULES, "w", encoding="utf-8").write( yaml.safe_dump(rules, allow_unicode=True, sort_keys=False)) - print("записано правил LLM:", len(notes)) + print("LLM-подсказок:", len(notes), "| обновлено существующих:", merged, + "| всего:", len(existing)) if __name__ == "__main__":