[PHASE4] LLM в отчётах: report_llm.py (3b→DeepSeek, только важное) врезан в weekly_report, trust_report, research_alternatives — блок «## Главное» после заголовка. Проверено на всех трёх: weekly (риски: 23 находки, high), trust (1 требует внимания: selftest-guards), research (рекомендация проверять prometheus/grafana). Ловушки: импорт sys оказался ниже вставки (NameError), 3b пересказывала разделы (уточнён промпт), доставка weekly не вызывалась (main возвращал 0) — добавлена
This commit is contained in:
1 parent
c8e41c1775
commit
9b2388ad60
8 files changed
+184
-13
No files matched your search
@@ -0,0 +1,83 @@
|
||||
# Фаза 4: LLM в отчётах (16.11.2026)
|
||||
|
||||
## Что было
|
||||
|
||||
Три отчёта собирались правилами и не имели резюме:
|
||||
|
||||
| Отчёт | Где | Метрика |
|
||||
|---|---|---|
|
||||
| `weekly_report` | `ops/weekly/WEEKLY-YYYY-WNN.md` | недельная сводка |
|
||||
| `trust_report` | `ops/trust/report-YYYY-MM-DD.md` | доверие к агенту |
|
||||
| `research_alternatives` | `ops/evolution/research-YYYY-MM-DD.md` | альтернативы |
|
||||
|
||||
## Что сделано
|
||||
|
||||
### Общий помощник `report_llm.py`
|
||||
|
||||
```
|
||||
summarize(header, body) → текст «Главное» (3-4 пункта)
|
||||
```
|
||||
|
||||
* модель: qwen2.5:3b локально → deepseek-chat при сбое (через `llm_fallback`);
|
||||
* если модель недоступна — пустая строка, отчёт не ломается;
|
||||
* промпт: только важное (проблемы, риски, изменения), не пересказывать
|
||||
разделы и не писать «30 из 30 контейнеров, uptime».
|
||||
|
||||
### Врезка в отчёты
|
||||
|
||||
В каждый отчёт после заголовка добавляется блок:
|
||||
|
||||
```markdown
|
||||
## Главное
|
||||
|
||||
- ...
|
||||
```
|
||||
|
||||
## Проверка
|
||||
|
||||
### weekly
|
||||
|
||||
```markdown
|
||||
# Недельная сводка — 2026-11-16
|
||||
|
||||
## Главное
|
||||
|
||||
- **Всё в штатном режиме**.
|
||||
- **Проблемы и риски**: найдено 23 проблемы, большая часть в категории "high"...
|
||||
- **Изменения**: докупить RAM, ограничить лимиты контейнерам...
|
||||
```
|
||||
|
||||
### trust
|
||||
|
||||
```markdown
|
||||
## Главное
|
||||
|
||||
- Всё в штатном режиме
|
||||
- готовы к повышению: **0**
|
||||
- требуют внимания: **1** (selftest-guards)
|
||||
```
|
||||
|
||||
### research
|
||||
|
||||
```markdown
|
||||
## Главное
|
||||
|
||||
- Всё в штатном режиме.
|
||||
- Рекомендуется периодически проверять обновления для контейнеров,
|
||||
особенно `prometheus/prometheus` и `grafana/grafana`.
|
||||
```
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| `sys` до использования | вставка `sys.path.insert` оказалась выше `import sys` → NameError. Теперь импорт ставится перед вставкой |
|
||||
| 3b пересказывает разделы | первый промпт давал 7-10 пунктов «для галочки»; уточнено: 3-4 пункта, только важное |
|
||||
| противоречие | «Всё в штатном режиме» + список проблем — следствие того, что 3b видит и «всё ок», и находки; для критичных отчётов лучше 7b/DeepSeek |
|
||||
| доставка weekly | `main()` возвращала 0, `_deliver` не вызывался — недельный отчёт не доставлялся. Добавлен вызов доставки |
|
||||
|
||||
## Что осталось
|
||||
|
||||
* Критичные отчёты (weekly) лучше отдавать DeepSeek: 3b путает тон.
|
||||
* Связать «Главное» с дайджестом ночного разбора (Фаза 3), чтобы не было
|
||||
двух разных сводок об одном и том же.
|
||||
@@ -1,20 +1,26 @@
|
||||
# Живое исследование альтернатив — 2026-11-16
|
||||
|
||||
## Главное
|
||||
|
||||
- Всё в штатном режиме.
|
||||
- Проблем не выявлено.
|
||||
- Рекомендуется периодически проверять обновления для контейнеров, особенно для `prometheus/prometheus` и `grafana/grafana`, чтобы быть в курсе любых изменений и возможных breaking changes.
|
||||
|
||||
Источник фактов: GitHub API (публичные данные, на момент запуска).
|
||||
Каждая строка — проверяемое утверждение со ссылкой.
|
||||
|
||||
| Сервис | У нас | Последний релиз | Обновлён | Звёзд | Ссылка |
|
||||
|---|---|---|---|---|---|
|
||||
| `mealie-recipes/mealie` (рецепты) | latest | v3.31.0 | 2026-11-13 | 13,910 | https://github.com/mealie-recipes/mealie/releases |
|
||||
| `firefly-iii/firefly-iii` (финансы) | latest | v6.7.9 | 2026-10-11 | 25,259 | https://github.com/firefly-iii/firefly-iii/releases |
|
||||
| `go-vikunja/vikunja` (задачи) | latest | — | — | 6,062 | https://github.com/go-vikunja/vikunja/releases |
|
||||
| `go-gitea/gitea` (git) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `prometheus/prometheus` (метрики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `grafana/grafana` (графики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `grafana/loki` (логи) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `syncthing/syncthing` (синхронизация) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `jellyfin/jellyfin` (медиа) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `goauthentik/authentik` (вход) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
|
||||
| `mealie-recipes/mealie` (рецепты) | latest | v3.31.0 | 2026-11-13 | 13,914 | https://github.com/mealie-recipes/mealie/releases |
|
||||
| `firefly-iii/firefly-iii` (финансы) | latest | v6.7.9 | 2026-10-11 | 25,260 | https://github.com/firefly-iii/firefly-iii/releases |
|
||||
| `go-vikunja/vikunja` (задачи) | latest | v2.8.0 | 2026-11-05 | 6,070 | https://github.com/go-vikunja/vikunja/releases |
|
||||
| `go-gitea/gitea` (git) | latest | v28.4.0 | 2026-11-15 | 59,114 | https://github.com/go-gitea/gitea/releases |
|
||||
| `prometheus/prometheus` (метрики) | latest | v3.16.0 | 2026-11-05 | 67,650 | https://github.com/prometheus/prometheus/releases |
|
||||
| `grafana/grafana` (графики) | 3.2.1, 3.5.1, 3.7.9 | v13.3.1 | 2026-11-10 | 77,942 | https://github.com/grafana/grafana/releases |
|
||||
| `grafana/loki` (логи) | 3.7.9 | v3.7.10 | 2026-11-13 | 29,166 | https://github.com/grafana/loki/releases |
|
||||
| `syncthing/syncthing` (синхронизация) | latest | v2.1.7 | 2026-10-21 | 90,488 | https://github.com/syncthing/syncthing/releases |
|
||||
| `jellyfin/jellyfin` (медиа) | latest | v12.4 | 2026-10-26 | 59,426 | https://github.com/jellyfin/jellyfin/releases |
|
||||
| `goauthentik/authentik` (вход) | 2026.8.5, latest | version/2026.8.5 | 2026-10-21 | 26,364 | https://github.com/goauthentik/authentik/releases |
|
||||
|
||||
## Как читать
|
||||
|
||||
@@ -24,4 +30,4 @@
|
||||
- Отчёт не делает выводов «заменить X на Y»: для этого нужны критерии (нагрузка, поддержка, CVE) —
|
||||
они в отчёте агента развития.
|
||||
|
||||
_Запросов к GitHub API: 6 (лимит без токена — 60/час)._
|
||||
_Запросов к GitHub API: 20 (лимит без токена — 60/час)._
|
||||
Executable
+43
@@ -0,0 +1,43 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Короткое резюме отчёта локальной моделью (Фаза 4).
|
||||
|
||||
Единая точка: отчёт уже собран фактами, модель делает из него 3-5 пунктов
|
||||
«главного» для владельца. Модель 3b локально → DeepSeek при сбое.
|
||||
Если модель недоступна — возвращается пустая строка, отчёт не ломается.
|
||||
|
||||
Использование:
|
||||
from report_llm import summarize
|
||||
text = summarize("недельный отчёт", "\n".join(L))
|
||||
"""
|
||||
import sys
|
||||
|
||||
sys.path.insert(0, "/opt/hub-core")
|
||||
|
||||
PROMPT = """Ниже отчёт по домашней инфраструктуре.
|
||||
|
||||
Сделай короткое резюме для владельца: 3-4 пункта, только важное — проблемы,
|
||||
риски, изменения. Не пересказывай разделы и не перечисляй «для галочки»
|
||||
(30 из 30 контейнеров, uptime). Если всё штатно — одна строка
|
||||
«Всё в штатном режиме». Не выдумывай цифры, которых нет в отчёте.
|
||||
Формат — строки, каждая начинается с «- ».
|
||||
|
||||
ОТЧЁТ:
|
||||
%s
|
||||
"""
|
||||
|
||||
|
||||
def summarize(header, body, max_chars=3500, max_tokens=280):
|
||||
facts = (body or "")[:max_chars]
|
||||
if len(facts.strip()) < 80:
|
||||
return ""
|
||||
try:
|
||||
from llm_fallback import ask
|
||||
r = ask(PROMPT % facts, max_tokens=max_tokens, temperature=0.2,
|
||||
chain=[{"name": "qwen2.5:3b", "kind": "ollama", "timeout": 60},
|
||||
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 40}])
|
||||
txt = (r.get("text") or "").strip()
|
||||
# чистим возможные обёртки
|
||||
txt = txt.replace("```", "").strip()
|
||||
return txt[:1200]
|
||||
except Exception:
|
||||
return ""
|
||||
@@ -8,6 +8,9 @@ GitHub API, сверяет с тем, что у нас работает, и пи
|
||||
Отчёт: ops/evolution/research-YYYY-MM-DD.md
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
|
||||
from report_llm import summarize as _llm_summary
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
@@ -91,6 +94,9 @@ def main():
|
||||
" они в отчёте агента развития.", ""]
|
||||
L.append("_Запросов к GitHub API: %d (лимит без токена — 60/час)._ " % used)
|
||||
|
||||
_sum = _llm_summary("отчёт об альтернативах", "\n".join(L))
|
||||
if _sum:
|
||||
L[2:2] = ["## Главное", "", _sum, ""]
|
||||
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
|
||||
print("отчёт:", path)
|
||||
print("сервисов исследовано:", len(TARGETS), "| запросов:", used)
|
||||
|
||||
@@ -8,6 +8,9 @@
|
||||
Отчёт: ops/trust/report-YYYY-MM-DD.md
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
|
||||
from report_llm import summarize as _llm_summary
|
||||
import os
|
||||
import sys
|
||||
from collections import defaultdict
|
||||
@@ -106,6 +109,9 @@ def main():
|
||||
"Когда правило наберёт нужную статистику, его можно перевести на уровень выше",
|
||||
"(например, L2 — реально перезапускать контейнеры). Решение принимает владелец.", ""]
|
||||
|
||||
_sum = _llm_summary("отчёт о доверии к агенту", "\n".join(L))
|
||||
if _sum:
|
||||
L[2:2] = ["## Главное", "", _sum, ""]
|
||||
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
|
||||
print("отчёт:", path)
|
||||
print("правил:", len(runs), "| к повышению:", len(promote), "| требуют внимания:", len(demote))
|
||||
|
||||
@@ -1,10 +1,13 @@
|
||||
#!/usr/bin/env python3
|
||||
import sys
|
||||
"""Недельный сводный отчёт: гигиена + развитие + доверие + состояние.
|
||||
|
||||
Собирает свежие отчёты агентов и формирует единый документ для владельца.
|
||||
Отчёт: ops/weekly/WEEKLY-YYYY-WNN.md
|
||||
"""
|
||||
import glob
|
||||
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
|
||||
from report_llm import summarize as _llm_summary
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
@@ -135,8 +138,15 @@ def main():
|
||||
L.append(ln.replace("- [ ]", "- ☐"))
|
||||
L.append("")
|
||||
|
||||
_sum = _llm_summary("недельный отчёт", "\n".join(L))
|
||||
if _sum:
|
||||
L[2:2] = ["## Главное", "", _sum, ""]
|
||||
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
|
||||
print("отчёт:", path)
|
||||
try:
|
||||
_deliver("\n".join(L)[:3000], "Недельный отчёт")
|
||||
except Exception:
|
||||
pass
|
||||
print("контейнеры: %s/%s | упавших: %s | память: %s" % (up, total, failed, mem))
|
||||
return 0
|
||||
|
||||
|
||||
@@ -1,5 +1,14 @@
|
||||
# Статистика доверия агента — 2026-11-16
|
||||
|
||||
## Главное
|
||||
|
||||
- Всё в штатном режиме
|
||||
- готовы к повышению: **0**
|
||||
- требуют внимания: **1** (selftest-guards)
|
||||
- наблюдение: **13**
|
||||
- Уровень L1 для всех правил
|
||||
- `selftest-guards` требует внимания и может быть понижен или разобран дальше
|
||||
|
||||
Порог повышения уровня: **20 успешных запусков при успешности ≥ 95%**.
|
||||
|
||||
| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт |
|
||||
|
||||
@@ -1,5 +1,13 @@
|
||||
# Недельная сводка — 2026-11-16
|
||||
|
||||
## Главное
|
||||
|
||||
- **Всё в штатном режиме**.
|
||||
|
||||
- **Проблемы и риски**: Найдено 23 проблемы, большая часть из которых находится в категории "high". Уровень доверия агента требует внимания, что указывает на наличие проблем, требующих устранения.
|
||||
|
||||
- **Изменения**: Необходимо докупить RAM, ограничить лимиты контейнерам, внедрить новые системы и устранить ненужные задачи.
|
||||
|
||||
## Состояние
|
||||
|
||||
| Метрика | Значение |
|
||||
@@ -7,7 +15,7 @@
|
||||
| Контейнеры | 30 из 30 |
|
||||
| Упавших юнитов | 0 |
|
||||
| Память | 11Gi / 15Gi |
|
||||
| Uptime | up 2 days, 17 hours, 37 minutes |
|
||||
| Uptime | up 3 days, 2 hours, 36 minutes |
|
||||
|
||||
## Гигиена
|
||||
|
||||
@@ -16,7 +24,7 @@
|
||||
|
||||
## Развитие
|
||||
|
||||
- отчёт: `report-2026-11-15.md`
|
||||
- отчёт: `report-2026-11-16.md`
|
||||
- кандидаты/сервисы: 27 строк
|
||||
|
||||
## Доверие агента
|
||||
|
||||
Reference in new issue
Block a user