[WORK] LLM-формулировки правил: 20 устройств за ~3.5 мин, 49 подсказок (17 с LLM). Принцип «данные — основа, LLM — дополнение»: точная формулировка в note, человеческая в note_llm, чтобы модель не размывала лимиты. Почищены вводные фразы в clean()
This commit is contained in:
1 parent
44a85978cd
commit
44daa09c75
2 files changed
+91
-8
No files matched your search
@@ -0,0 +1,59 @@
|
||||
# LLM-формулировки правил (12.11.2026)
|
||||
|
||||
## Что запущено
|
||||
|
||||
`ops/work/rules_llm.py` — просит локальную модель (qwen2.5:3b) переформулировать
|
||||
связки из матрицы человеческим языком. Запущено на 20 устройствах.
|
||||
|
||||
## Результат
|
||||
|
||||
| Показатель | Значение |
|
||||
|---|---|
|
||||
| Обработано устройств | **20** |
|
||||
| Среднее время на устройство | 9–11 с |
|
||||
| Всего подсказок в `rules.yaml` | **49** |
|
||||
| Из них с LLM-формулировкой | **17** |
|
||||
|
||||
## Принцип: данные — основа, LLM — дополнение
|
||||
|
||||
Сначала LLM клала свой текст в основное поле `note`, затирая точную
|
||||
формулировку. Исправлено: теперь два поля.
|
||||
|
||||
```yaml
|
||||
- device: SmartVision 80
|
||||
note: "Камера. подключается: VCM35 до 8, VCH51 Pro[3] до 4, ..." # из данных
|
||||
note_llm: "VCH51 Pro, VCM35, ... но количество ограничено, ..." # от LLM
|
||||
source: data + llm
|
||||
```
|
||||
|
||||
Так сделано потому, что LLM:
|
||||
* путает лимиты между моделями одной серии («для разных моделей SmartVision 80»);
|
||||
* добавляет воду и вводные конструкции;
|
||||
* иногда теряет числа.
|
||||
|
||||
**Факты остаются точными**, а человеческая формулировка — вспомогательная.
|
||||
|
||||
## Что чистили
|
||||
|
||||
Убраны вводные конструкции вида:
|
||||
|
||||
```
|
||||
«Правило подключения для устройства X:»
|
||||
«Устройство X совместимо с…»
|
||||
«Различными устройствами, включая…»
|
||||
```
|
||||
|
||||
Регулярка в `clean()` не срабатывала на моделях с пробелом в названии
|
||||
(`MeetingBar A30`) — `\S+` не матчил. Исправлено на `[\w\-\s]{1,40}?`.
|
||||
|
||||
## Когда обновляется
|
||||
|
||||
* вручную: `rules_llm.py N` (N — сколько устройств);
|
||||
* в конвейере `combine-rules.sh` (ежедневно 08:10) — **только если Ollama
|
||||
свободна**, иначе подсказки остаются из данных.
|
||||
|
||||
## Что важно помнить
|
||||
|
||||
Запускать LLM-правила днём можно **только при свободной Ollama**. Если в этот
|
||||
момент работают воркеры сбора (4 штуки), запросы встают в очередь — это
|
||||
выглядит как зависание (см. `OLLAMA-BUSY-NOT-HUNG.md`).
|
||||
+32
-8
@@ -42,8 +42,16 @@ def ask(prompt, timeout=120):
|
||||
|
||||
def clean(text):
|
||||
t = re.sub(r"```.*?```", "", text, flags=re.S)
|
||||
t = re.sub(r"^\s*(Правило|Ответ|Note)\s*:\s*", "", t, flags=re.I)
|
||||
return " ".join(t.split())[:400]
|
||||
# убираем вводные конструкции модели
|
||||
t = re.sub(r"(?i)^(правило подключения[^:]*:|для подключения[^:]*:|"
|
||||
r"устройство\s+\S+\s+совместимо с|правило[:\s]+)", "", t.strip())
|
||||
t = re.sub(r"(?i)^\s*(правило|ответ|note)\s*:\s*", "", t)
|
||||
t = re.sub(r"(?i)^(получается|итак|таким образом)[,:]?\s*", "", t)
|
||||
t = " ".join(t.split())
|
||||
# первая буква заглавная
|
||||
if t and t[0].islower():
|
||||
t = t[0].upper() + t[1:]
|
||||
return t[:400]
|
||||
|
||||
|
||||
def main():
|
||||
@@ -65,10 +73,11 @@ def main():
|
||||
"- %s (до %s): %s" % (e.get("to"), e.get("max_qty") or "—",
|
||||
(e.get("condition") or "")[:90]) for e in sup)
|
||||
prompt = (
|
||||
"Ты проектировщик AV-систем Yealink. По списку совместимости составь "
|
||||
"краткое правило подключения на русском (2 предложения): что это за "
|
||||
"устройство и что к нему можно подключить, с числовыми лимитами.\n\n"
|
||||
"Устройство: %s\nСовместимо:\n%s\n\nПравило:" % (dev, listing))
|
||||
"Ты проектировщик AV-систем Yealink. Ниже список совместимости.\n"
|
||||
"Напиши ОДНО короткое предложение на русском: что это за устройство и "
|
||||
"что к нему подключается, с числовыми лимитами. Без вступлений, без "
|
||||
"«правило подключения», без повторения названия в начале.\n\n"
|
||||
"Устройство: %s\nСовместимо:\n%s\n\nОтвет:" % (dev, listing))
|
||||
try:
|
||||
t0 = time.time()
|
||||
text = clean(ask(prompt))
|
||||
@@ -80,12 +89,27 @@ def main():
|
||||
except Exception as e:
|
||||
print(" [%d/%d] %-22s ошибка: %s" % (i, len(targets), dev, str(e)[:60]))
|
||||
|
||||
# Сливаем с уже существующими подсказками: сгенерированные из данных
|
||||
# не выбрасываем — LLM заменяет текст только тех устройств, что обработала.
|
||||
existing = {str(n.get("device")): n for n in (rules.get("notes") or [])}
|
||||
merged = 0
|
||||
for n in notes:
|
||||
cur = existing.get(str(n.get("device")))
|
||||
if cur:
|
||||
cur["note_data"] = cur.get("note") # сохраняем формулировку из данных
|
||||
cur["note"] = n["note"] # и кладём человеческую
|
||||
cur["source"] = n["source"]
|
||||
merged += 1
|
||||
else:
|
||||
existing[str(n.get("device"))] = n
|
||||
if notes:
|
||||
rules["notes"] = notes
|
||||
rules["notes"] = list(existing.values())
|
||||
rules["notes_updated"] = time.strftime("%Y-%m-%dT%H:%M")
|
||||
rules["llm_merged"] = merged
|
||||
open(RULES, "w", encoding="utf-8").write(
|
||||
yaml.safe_dump(rules, allow_unicode=True, sort_keys=False))
|
||||
print("записано правил LLM:", len(notes))
|
||||
print("LLM-подсказок:", len(notes), "| обновлено существующих:", merged,
|
||||
"| всего:", len(existing))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
|
||||
Reference in new issue
Block a user