From 017d68c1ebb61dc3d5a1f16ca439a879ae746c6a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 10 Nov 2026 10:52:03 +0300 Subject: [PATCH] =?UTF-8?q?[RESEARCH]=20=D0=90=D0=B2=D1=82=D0=BE=D0=BC?= =?UTF-8?q?=D0=B0=D1=82=D0=B8=D1=87=D0=B5=D1=81=D0=BA=D0=B0=D1=8F=20=D1=84?= =?UTF-8?q?=D0=B8=D0=BD=D0=B0=D0=BB=D0=B8=D0=B7=D0=B0=D1=86=D0=B8=D1=8F:?= =?UTF-8?q?=20research-finalize=20=D1=80=D0=B0=D0=B7=20=D0=B2=20=D1=87?= =?UTF-8?q?=D0=B0=D1=81=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D1=8F=D0=B5?= =?UTF-8?q?=D1=82=20=D0=BE=D0=BA=D0=BE=D0=BD=D1=87=D0=B0=D0=BD=D0=B8=D0=B5?= =?UTF-8?q?=20=D1=81=D0=B1=D0=BE=D1=80=D0=B0=20=D0=B8=20=D1=81=D0=B0=D0=BC?= =?UTF-8?q?=20=D0=B4=D0=B5=D0=BB=D0=B0=D0=B5=D1=82=20=D1=81=D0=BB=D0=B8?= =?UTF-8?q?=D1=8F=D0=BD=D0=B8=D0=B5=20+=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5?= =?UTF-8?q?=D1=80=D0=BA=D1=83=20=D1=86=D0=B8=D1=82=D0=B0=D1=82,=20=D1=80?= =?UTF-8?q?=D0=B5=D0=B7=D1=83=D0=BB=D1=8C=D1=82=D0=B0=D1=82=20=D0=B2=20?= =?UTF-8?q?=D1=88=D0=B8=D0=BD=D1=83.=20verify=5Fproposals=20=D0=BF=D1=80?= =?UTF-8?q?=D0=BE=D0=B2=D0=B5=D1=80=D1=8F=D0=B5=D1=82=20=D0=92=D0=A1=D0=95?= =?UTF-8?q?=20=D0=BF=D1=80=D0=B5=D0=B4=D0=BB=D0=BE=D0=B6=D0=B5=D0=BD=D0=B8?= =?UTF-8?q?=D1=8F:=20=D0=BF=D1=80=D0=B5=D0=B4=D0=B2=D0=B0=D1=80=D0=B8?= =?UTF-8?q?=D1=82=D0=B5=D0=BB=D1=8C=D0=BD=D0=BE=2076=20=D0=BF=D0=BE=D0=B4?= =?UTF-8?q?=D1=82=D0=B2=D0=B5=D1=80=D0=B6=D0=B4=D0=B5=D0=BD=D0=BE,=2098=20?= =?UTF-8?q?=D0=BE=D1=82=D0=BA=D0=BB=D0=BE=D0=BD=D0=B5=D0=BD=D0=BE?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/research/LLM-FINALIZE-2026-11-10.md | 73 +++++++++++++++++++++++++ 1 file changed, 73 insertions(+) create mode 100644 ops/research/LLM-FINALIZE-2026-11-10.md diff --git a/ops/research/LLM-FINALIZE-2026-11-10.md b/ops/research/LLM-FINALIZE-2026-11-10.md new file mode 100644 index 0000000..b1a48bf --- /dev/null +++ b/ops/research/LLM-FINALIZE-2026-11-10.md @@ -0,0 +1,73 @@ +# Автоматическая финализация LLM-сбора (10.11.2026) + +## Задача + +После завершения полного обхода `support.yealink.com` — автоматически: +1. свести факты (`enrich_from_research.py`), +2. проверить **каждое** предложение по смыслу цитаты, +3. сообщить результат в шину Hermes. + +Ручной запуск больше не нужен. + +## Два новых скрипта + +### `verify_proposals.py` — проверка всех фактов + +Проверяет **все** предложения (не только конфликты). Для каждого атрибута: + +* число должно присутствовать в цитате; +* в цитате должен быть признак параметра (`spl`, `pickup`, `budget`, `standby`…); +* не должно быть чужих признаков (`sensitivity`, `microphone array`, `cable`…); +* значение в правдоподобном диапазоне. + +Пишет: + +* `verified.yaml` — подтверждённые значения (можно нести человеку); +* `rejected.yaml` — отклонённые с причиной и цитатой. + +**Предварительный прогон (сбор ещё идёт):** +``` +подтверждено: 76 атрибутов у 40 устройств +отклонено: 98 +``` + +То есть примерно **половина** фактов от LLM не подтверждается цитатой — это +ожидаемо для модели 3B и объясняет, зачем нужна проверка. + +### `research_finalize.py` — запуск после окончания + +Раз в час проверяет, закончился ли сбор: + +* воркеры неактивны **или** последняя позиция ≥ 25 899 → сбор завершён; +* иначе тихо выходит (не мешает). + +При завершении: запускает слияние + проверку, пишет событие в Hermes +(`source: hermes:research`) и ставит флаг `/var/lib/hermes/research_finalized.json`, +чтобы не повторяться. + +## Задание Hermes + +```yaml +research-finalize: + command: /usr/bin/python3 /opt/work-hub/research/research_finalize.py + every_seconds: 3600 + timeout: 1800 +``` + +Заданий в Hermes: **26**. + +## Проверка сейчас + +``` +воркеров активно: 4 | позиция: 19536/25899 | готово: False +``` + +— скрипт корректно определил, что сбор ещё идёт, и вышел без действий. + +## Что произойдёт по окончании + +1. Факты пересоберутся из полных данных (~25 900 документов вместо 14 700). +2. Каждое значение пройдёт проверку цитатой. +3. В `verified.yaml` останутся только подтверждённые. +4. В Hermes появится событие «LLM-сбор завершён: факты сведены и проверены». +5. Секретарь сможет рассказать об этом (инструмент `hermes` → `events`).