[RESEARCH] Автоматическая финализация: research-finalize раз в час проверяет окончание сбора и сам делает слияние + проверку цитат, результат в шину. verify_proposals проверяет ВСЕ предложения: предварительно 76 подтверждено, 98 отклонено
This commit is contained in:
1 parent
1ebe2de35d
commit
017d68c1eb
1 file changed
+73
@@ -0,0 +1,73 @@
|
||||
# Автоматическая финализация LLM-сбора (10.11.2026)
|
||||
|
||||
## Задача
|
||||
|
||||
После завершения полного обхода `support.yealink.com` — автоматически:
|
||||
1. свести факты (`enrich_from_research.py`),
|
||||
2. проверить **каждое** предложение по смыслу цитаты,
|
||||
3. сообщить результат в шину Hermes.
|
||||
|
||||
Ручной запуск больше не нужен.
|
||||
|
||||
## Два новых скрипта
|
||||
|
||||
### `verify_proposals.py` — проверка всех фактов
|
||||
|
||||
Проверяет **все** предложения (не только конфликты). Для каждого атрибута:
|
||||
|
||||
* число должно присутствовать в цитате;
|
||||
* в цитате должен быть признак параметра (`spl`, `pickup`, `budget`, `standby`…);
|
||||
* не должно быть чужих признаков (`sensitivity`, `microphone array`, `cable`…);
|
||||
* значение в правдоподобном диапазоне.
|
||||
|
||||
Пишет:
|
||||
|
||||
* `verified.yaml` — подтверждённые значения (можно нести человеку);
|
||||
* `rejected.yaml` — отклонённые с причиной и цитатой.
|
||||
|
||||
**Предварительный прогон (сбор ещё идёт):**
|
||||
```
|
||||
подтверждено: 76 атрибутов у 40 устройств
|
||||
отклонено: 98
|
||||
```
|
||||
|
||||
То есть примерно **половина** фактов от LLM не подтверждается цитатой — это
|
||||
ожидаемо для модели 3B и объясняет, зачем нужна проверка.
|
||||
|
||||
### `research_finalize.py` — запуск после окончания
|
||||
|
||||
Раз в час проверяет, закончился ли сбор:
|
||||
|
||||
* воркеры неактивны **или** последняя позиция ≥ 25 899 → сбор завершён;
|
||||
* иначе тихо выходит (не мешает).
|
||||
|
||||
При завершении: запускает слияние + проверку, пишет событие в Hermes
|
||||
(`source: hermes:research`) и ставит флаг `/var/lib/hermes/research_finalized.json`,
|
||||
чтобы не повторяться.
|
||||
|
||||
## Задание Hermes
|
||||
|
||||
```yaml
|
||||
research-finalize:
|
||||
command: /usr/bin/python3 /opt/work-hub/research/research_finalize.py
|
||||
every_seconds: 3600
|
||||
timeout: 1800
|
||||
```
|
||||
|
||||
Заданий в Hermes: **26**.
|
||||
|
||||
## Проверка сейчас
|
||||
|
||||
```
|
||||
воркеров активно: 4 | позиция: 19536/25899 | готово: False
|
||||
```
|
||||
|
||||
— скрипт корректно определил, что сбор ещё идёт, и вышел без действий.
|
||||
|
||||
## Что произойдёт по окончании
|
||||
|
||||
1. Факты пересоберутся из полных данных (~25 900 документов вместо 14 700).
|
||||
2. Каждое значение пройдёт проверку цитатой.
|
||||
3. В `verified.yaml` останутся только подтверждённые.
|
||||
4. В Hermes появится событие «LLM-сбор завершён: факты сведены и проверены».
|
||||
5. Секретарь сможет рассказать об этом (инструмент `hermes` → `events`).
|
||||
Reference in new issue
Block a user