[WORK] LLM-формулировки правил: 20 устройств за ~3.5 мин, 49 подсказок (17 с LLM). Принцип «данные — основа, LLM — дополнение»: точная формулировка в note, человеческая в note_llm, чтобы модель не размывала лимиты. Почищены вводные фразы в clean()

This commit is contained in:
root committed 2026-11-12 14:30:12 +03:00
1 parent 44a85978cd
commit 44daa09c75
2 files changed
+91 -8

No files matched your search

+59
View File
@@ -0,0 +1,59 @@
# LLM-формулировки правил (12.11.2026)
## Что запущено
`ops/work/rules_llm.py` — просит локальную модель (qwen2.5:3b) переформулировать
связки из матрицы человеческим языком. Запущено на 20 устройствах.
## Результат
| Показатель | Значение |
|---|---|
| Обработано устройств | **20** |
| Среднее время на устройство | 9–11 с |
| Всего подсказок в `rules.yaml` | **49** |
| Из них с LLM-формулировкой | **17** |
## Принцип: данные — основа, LLM — дополнение
Сначала LLM клала свой текст в основное поле `note`, затирая точную
формулировку. Исправлено: теперь два поля.
```yaml
- device: SmartVision 80
note: "Камера. подключается: VCM35 до 8, VCH51 Pro[3] до 4, ..." # из данных
note_llm: "VCH51 Pro, VCM35, ... но количество ограничено, ..." # от LLM
source: data + llm
```
Так сделано потому, что LLM:
* путает лимиты между моделями одной серии («для разных моделей SmartVision 80»);
* добавляет воду и вводные конструкции;
* иногда теряет числа.
**Факты остаются точными**, а человеческая формулировка — вспомогательная.
## Что чистили
Убраны вводные конструкции вида:
```
«Правило подключения для устройства X:»
«Устройство X совместимо с…»
«Различными устройствами, включая…»
```
Регулярка в `clean()` не срабатывала на моделях с пробелом в названии
(`MeetingBar A30`) — `\S+` не матчил. Исправлено на `[\w\-\s]{1,40}?`.
## Когда обновляется
* вручную: `rules_llm.py N` (N — сколько устройств);
* в конвейере `combine-rules.sh` (ежедневно 08:10) — **только если Ollama
свободна**, иначе подсказки остаются из данных.
## Что важно помнить
Запускать LLM-правила днём можно **только при свободной Ollama**. Если в этот
момент работают воркеры сбора (4 штуки), запросы встают в очередь — это
выглядит как зависание (см. `OLLAMA-BUSY-NOT-HUNG.md`).
+32 -8
View File
@@ -42,8 +42,16 @@ def ask(prompt, timeout=120):
def clean(text):
t = re.sub(r"```.*?```", "", text, flags=re.S)
t = re.sub(r"^\s*(Правило|Ответ|Note)\s*:\s*", "", t, flags=re.I)
return " ".join(t.split())[:400]
# убираем вводные конструкции модели
t = re.sub(r"(?i)^(правило подключения[^:]*:|для подключения[^:]*:|"
r"устройство\s+\S+\s+совместимо с|правило[:\s]+)", "", t.strip())
t = re.sub(r"(?i)^\s*(правило|ответ|note)\s*:\s*", "", t)
t = re.sub(r"(?i)^(получается|итак|таким образом)[,:]?\s*", "", t)
t = " ".join(t.split())
# первая буква заглавная
if t and t[0].islower():
t = t[0].upper() + t[1:]
return t[:400]
def main():
@@ -65,10 +73,11 @@ def main():
"- %s (до %s): %s" % (e.get("to"), e.get("max_qty") or "—",
(e.get("condition") or "")[:90]) for e in sup)
prompt = (
"Ты проектировщик AV-систем Yealink. По списку совместимости составь "
"краткое правило подключения на русском (2 предложения): что это за "
"устройство и что к нему можно подключить, с числовыми лимитами.\n\n"
"Устройство: %s\nСовместимо:\n%s\n\nПравило:" % (dev, listing))
"Ты проектировщик AV-систем Yealink. Ниже список совместимости.\n"
"Напиши ОДНО короткое предложение на русском: что это за устройство и "
"что к нему подключается, с числовыми лимитами. Без вступлений, без "
"«правило подключения», без повторения названия в начале.\n\n"
"Устройство: %s\nСовместимо:\n%s\n\nОтвет:" % (dev, listing))
try:
t0 = time.time()
text = clean(ask(prompt))
@@ -80,12 +89,27 @@ def main():
except Exception as e:
print(" [%d/%d] %-22s ошибка: %s" % (i, len(targets), dev, str(e)[:60]))
# Сливаем с уже существующими подсказками: сгенерированные из данных
# не выбрасываем — LLM заменяет текст только тех устройств, что обработала.
existing = {str(n.get("device")): n for n in (rules.get("notes") or [])}
merged = 0
for n in notes:
cur = existing.get(str(n.get("device")))
if cur:
cur["note_data"] = cur.get("note") # сохраняем формулировку из данных
cur["note"] = n["note"] # и кладём человеческую
cur["source"] = n["source"]
merged += 1
else:
existing[str(n.get("device"))] = n
if notes:
rules["notes"] = notes
rules["notes"] = list(existing.values())
rules["notes_updated"] = time.strftime("%Y-%m-%dT%H:%M")
rules["llm_merged"] = merged
open(RULES, "w", encoding="utf-8").write(
yaml.safe_dump(rules, allow_unicode=True, sort_keys=False))
print("записано правил LLM:", len(notes))
print("LLM-подсказок:", len(notes), "| обновлено существующих:", merged,
"| всего:", len(existing))
if __name__ == "__main__":