[PHASE4] LLM в отчётах: report_llm.py (3b→DeepSeek, только важное) врезан в weekly_report, trust_report, research_alternatives — блок «## Главное» после заголовка. Проверено на всех трёх: weekly (риски: 23 находки, high), trust (1 требует внимания: selftest-guards), research (рекомендация проверять prometheus/grafana). Ловушки: импорт sys оказался ниже вставки (NameError), 3b пересказывала разделы (уточнён промпт), доставка weekly не вызывалась (main возвращал 0) — добавлена

This commit is contained in:
root committed 2026-11-16 17:11:05 +03:00
1 parent c8e41c1775
commit 9b2388ad60
8 files changed
+184 -13

No files matched your search

+83
View File
@@ -0,0 +1,83 @@
# Фаза 4: LLM в отчётах (16.11.2026)
## Что было
Три отчёта собирались правилами и не имели резюме:
| Отчёт | Где | Метрика |
|---|---|---|
| `weekly_report` | `ops/weekly/WEEKLY-YYYY-WNN.md` | недельная сводка |
| `trust_report` | `ops/trust/report-YYYY-MM-DD.md` | доверие к агенту |
| `research_alternatives` | `ops/evolution/research-YYYY-MM-DD.md` | альтернативы |
## Что сделано
### Общий помощник `report_llm.py`
```
summarize(header, body) → текст «Главное» (3-4 пункта)
```
* модель: qwen2.5:3b локально → deepseek-chat при сбое (через `llm_fallback`);
* если модель недоступна — пустая строка, отчёт не ломается;
* промпт: только важное (проблемы, риски, изменения), не пересказывать
разделы и не писать «30 из 30 контейнеров, uptime».
### Врезка в отчёты
В каждый отчёт после заголовка добавляется блок:
```markdown
## Главное
- ...
```
## Проверка
### weekly
```markdown
# Недельная сводка — 2026-11-16
## Главное
- **Всё в штатном режиме**.
- **Проблемы и риски**: найдено 23 проблемы, большая часть в категории "high"...
- **Изменения**: докупить RAM, ограничить лимиты контейнерам...
```
### trust
```markdown
## Главное
- Всё в штатном режиме
- готовы к повышению: **0**
- требуют внимания: **1** (selftest-guards)
```
### research
```markdown
## Главное
- Всё в штатном режиме.
- Рекомендуется периодически проверять обновления для контейнеров,
особенно `prometheus/prometheus` и `grafana/grafana`.
```
## Ловушки
| Ловушка | Что было |
|---|---|
| `sys` до использования | вставка `sys.path.insert` оказалась выше `import sys` → NameError. Теперь импорт ставится перед вставкой |
| 3b пересказывает разделы | первый промпт давал 7-10 пунктов «для галочки»; уточнено: 3-4 пункта, только важное |
| противоречие | «Всё в штатном режиме» + список проблем — следствие того, что 3b видит и «всё ок», и находки; для критичных отчётов лучше 7b/DeepSeek |
| доставка weekly | `main()` возвращала 0, `_deliver` не вызывался — недельный отчёт не доставлялся. Добавлен вызов доставки |
## Что осталось
* Критичные отчёты (weekly) лучше отдавать DeepSeek: 3b путает тон.
* Связать «Главное» с дайджестом ночного разбора (Фаза 3), чтобы не было
двух разных сводок об одном и том же.
+17 -11
View File
@@ -1,20 +1,26 @@
# Живое исследование альтернатив — 2026-11-16
## Главное
- Всё в штатном режиме.
- Проблем не выявлено.
- Рекомендуется периодически проверять обновления для контейнеров, особенно для `prometheus/prometheus` и `grafana/grafana`, чтобы быть в курсе любых изменений и возможных breaking changes.
Источник фактов: GitHub API (публичные данные, на момент запуска).
Каждая строка — проверяемое утверждение со ссылкой.
| Сервис | У нас | Последний релиз | Обновлён | Звёзд | Ссылка |
|---|---|---|---|---|---|
| `mealie-recipes/mealie` (рецепты) | latest | v3.31.0 | 2026-11-13 | 13,910 | https://github.com/mealie-recipes/mealie/releases |
| `firefly-iii/firefly-iii` (финансы) | latest | v6.7.9 | 2026-10-11 | 25,259 | https://github.com/firefly-iii/firefly-iii/releases |
| `go-vikunja/vikunja` (задачи) | latest | — | — | 6,062 | https://github.com/go-vikunja/vikunja/releases |
| `go-gitea/gitea` (git) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `prometheus/prometheus` (метрики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `grafana/grafana` (графики) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `grafana/loki` (логи) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `syncthing/syncthing` (синхронизация) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `jellyfin/jellyfin` (медиа) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `goauthentik/authentik` (вход) | — | — | — | — | ошибка: HTTPError: HTTP Error 403: rate limit exceeded |
| `mealie-recipes/mealie` (рецепты) | latest | v3.31.0 | 2026-11-13 | 13,914 | https://github.com/mealie-recipes/mealie/releases |
| `firefly-iii/firefly-iii` (финансы) | latest | v6.7.9 | 2026-10-11 | 25,260 | https://github.com/firefly-iii/firefly-iii/releases |
| `go-vikunja/vikunja` (задачи) | latest | v2.8.0 | 2026-11-05 | 6,070 | https://github.com/go-vikunja/vikunja/releases |
| `go-gitea/gitea` (git) | latest | v28.4.0 | 2026-11-15 | 59,114 | https://github.com/go-gitea/gitea/releases |
| `prometheus/prometheus` (метрики) | latest | v3.16.0 | 2026-11-05 | 67,650 | https://github.com/prometheus/prometheus/releases |
| `grafana/grafana` (графики) | 3.2.1, 3.5.1, 3.7.9 | v13.3.1 | 2026-11-10 | 77,942 | https://github.com/grafana/grafana/releases |
| `grafana/loki` (логи) | 3.7.9 | v3.7.10 | 2026-11-13 | 29,166 | https://github.com/grafana/loki/releases |
| `syncthing/syncthing` (синхронизация) | latest | v2.1.7 | 2026-10-21 | 90,488 | https://github.com/syncthing/syncthing/releases |
| `jellyfin/jellyfin` (медиа) | latest | v12.4 | 2026-10-26 | 59,426 | https://github.com/jellyfin/jellyfin/releases |
| `goauthentik/authentik` (вход) | 2026.8.5, latest | version/2026.8.5 | 2026-10-21 | 26,364 | https://github.com/goauthentik/authentik/releases |
## Как читать
@@ -24,4 +30,4 @@
- Отчёт не делает выводов «заменить X на Y»: для этого нужны критерии (нагрузка, поддержка, CVE) —
они в отчёте агента развития.
_Запросов к GitHub API: 6 (лимит без токена — 60/час)._
_Запросов к GitHub API: 20 (лимит без токена — 60/час)._
+43
View File
@@ -0,0 +1,43 @@
#!/usr/bin/env python3
"""Короткое резюме отчёта локальной моделью (Фаза 4).
Единая точка: отчёт уже собран фактами, модель делает из него 3-5 пунктов
«главного» для владельца. Модель 3b локально → DeepSeek при сбое.
Если модель недоступна — возвращается пустая строка, отчёт не ломается.
Использование:
from report_llm import summarize
text = summarize("недельный отчёт", "\n".join(L))
"""
import sys
sys.path.insert(0, "/opt/hub-core")
PROMPT = """Ниже отчёт по домашней инфраструктуре.
Сделай короткое резюме для владельца: 3-4 пункта, только важное — проблемы,
риски, изменения. Не пересказывай разделы и не перечисляй «для галочки»
(30 из 30 контейнеров, uptime). Если всё штатно — одна строка
«Всё в штатном режиме». Не выдумывай цифры, которых нет в отчёте.
Формат — строки, каждая начинается с «- ».
ОТЧЁТ:
%s
"""
def summarize(header, body, max_chars=3500, max_tokens=280):
facts = (body or "")[:max_chars]
if len(facts.strip()) < 80:
return ""
try:
from llm_fallback import ask
r = ask(PROMPT % facts, max_tokens=max_tokens, temperature=0.2,
chain=[{"name": "qwen2.5:3b", "kind": "ollama", "timeout": 60},
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 40}])
txt = (r.get("text") or "").strip()
# чистим возможные обёртки
txt = txt.replace("```", "").strip()
return txt[:1200]
except Exception:
return ""
+6
View File
@@ -8,6 +8,9 @@ GitHub API, сверяет с тем, что у нас работает, и пи
Отчёт: ops/evolution/research-YYYY-MM-DD.md
"""
import json
import sys
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
from report_llm import summarize as _llm_summary
import os
import re
import subprocess
@@ -91,6 +94,9 @@ def main():
" они в отчёте агента развития.", ""]
L.append("_Запросов к GitHub API: %d (лимит без токена — 60/час)._ " % used)
_sum = _llm_summary("отчёт об альтернативах", "\n".join(L))
if _sum:
L[2:2] = ["## Главное", "", _sum, ""]
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
print("сервисов исследовано:", len(TARGETS), "| запросов:", used)
+6
View File
@@ -8,6 +8,9 @@
Отчёт: ops/trust/report-YYYY-MM-DD.md
"""
import json
import sys
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
from report_llm import summarize as _llm_summary
import os
import sys
from collections import defaultdict
@@ -106,6 +109,9 @@ def main():
"Когда правило наберёт нужную статистику, его можно перевести на уровень выше",
"(например, L2 — реально перезапускать контейнеры). Решение принимает владелец.", ""]
_sum = _llm_summary("отчёт о доверии к агенту", "\n".join(L))
if _sum:
L[2:2] = ["## Главное", "", _sum, ""]
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
print("правил:", len(runs), "| к повышению:", len(promote), "| требуют внимания:", len(demote))
+10
View File
@@ -1,10 +1,13 @@
#!/usr/bin/env python3
import sys
"""Недельный сводный отчёт: гигиена + развитие + доверие + состояние.
Собирает свежие отчёты агентов и формирует единый документ для владельца.
Отчёт: ops/weekly/WEEKLY-YYYY-WNN.md
"""
import glob
sys.path.insert(0, "/root/buryan-infra/ops/scripts")
from report_llm import summarize as _llm_summary
import json
import os
import re
@@ -135,8 +138,15 @@ def main():
L.append(ln.replace("- [ ]", "- ☐"))
L.append("")
_sum = _llm_summary("недельный отчёт", "\n".join(L))
if _sum:
L[2:2] = ["## Главное", "", _sum, ""]
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
try:
_deliver("\n".join(L)[:3000], "Недельный отчёт")
except Exception:
pass
print("контейнеры: %s/%s | упавших: %s | память: %s" % (up, total, failed, mem))
return 0
+9
View File
@@ -1,5 +1,14 @@
# Статистика доверия агента — 2026-11-16
## Главное
- Всё в штатном режиме
- готовы к повышению: **0**
- требуют внимания: **1** (selftest-guards)
- наблюдение: **13**
- Уровень L1 для всех правил
- `selftest-guards` требует внимания и может быть понижен или разобран дальше
Порог повышения уровня: **20 успешных запусков при успешности ≥ 95%**.
| Правило | Запусков | ОК | Провал | Отказов | Успешность | Уровень | Вердикт |
+10 -2
View File
@@ -1,5 +1,13 @@
# Недельная сводка — 2026-11-16
## Главное
- **Всё в штатном режиме**.
- **Проблемы и риски**: Найдено 23 проблемы, большая часть из которых находится в категории "high". Уровень доверия агента требует внимания, что указывает на наличие проблем, требующих устранения.
- **Изменения**: Необходимо докупить RAM, ограничить лимиты контейнерам, внедрить новые системы и устранить ненужные задачи.
## Состояние
| Метрика | Значение |
@@ -7,7 +15,7 @@
| Контейнеры | 30 из 30 |
| Упавших юнитов | 0 |
| Память | 11Gi / 15Gi |
| Uptime | up 2 days, 17 hours, 37 minutes |
| Uptime | up 3 days, 2 hours, 36 minutes |
## Гигиена
@@ -16,7 +24,7 @@
## Развитие
- отчёт: `report-2026-11-15.md`
- отчёт: `report-2026-11-16.md`
- кандидаты/сервисы: 27 строк
## Доверие агента