[SPRINT-V1][C] Ночной анализ на локальной LLM с проверкой фактов (0 выдуманных сущностей), задание 03:00

This commit is contained in:
root committed 2026-11-06 01:02:49 +03:00
1 parent 898871c9eb
commit 28fd9fb98c
3 files changed
+171

No files matched your search

+6
View File
@@ -106,3 +106,9 @@ research-alternatives:
notify_on_success: false
timeout: 900
retries: 0
night-analysis:
command: /usr/bin/python3 /root/buryan-infra/ops/scripts/night_analysis.py
daily_at: 03:00
notify_on_success: false
timeout: 1200
retries: 0
+42
View File
@@ -0,0 +1,42 @@
# Ночной анализ — 2026-11-06
Провайдер: локальная qwen2.5:7b
## Вывод модели
Ночью: Система удалила несколько сервисов для разрыва циклических зависимостей.
Требует внимания: Ошибка при активации swap файла и проблема с блокировкой файлов в контейнерах.
Утром проверить: Состояние сервиса openipmi.service и наличие свободного места на дисках.
Уверенность: 100 процентов.
## ✅ Проверка фактов
Все упомянутые CT/VM/числа присутствуют в исходных фактах.
## Исходные факты
```
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job ksmtuned.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job pvescheduler.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job dbus.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job chrony.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job ssh.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job e2scrub_reap.service/start deleted to break ordering cycle starting with multi-user.target/start
Nov 06 00:29:33 pve systemd[1]: getty-static.service: Job swap.target/start deleted to break ordering cycle starting with getty-static.service/start
Nov 06 00:29:33 pve systemd[1]: Failed to activate swap swapfile16.swap - /swapfile16.
Nov 06 00:29:34 pve systemd[1]: swap.target: Job sysinit.target/start deleted to break ordering cycle starting with swap.target/start
Nov 06 00:29:35 pve blkmapd[1449]: open pipe file /run/rpc_pipefs/nfs/blocklayout failed: No such file or directory
Nov 06 00:34:21 pve pct[49169]: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout
Nov 06 00:34:21 pve pct[48958]: <root@pam> end task UPID:pve:0000C011:00006E56:6AECF653:vzstart:111:root@pam: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout
Nov 06 01:00:04 pve kernel: EXT4-fs (dm-39): write access unavailable, skipping orphan cleanup
CT160 остановлен
все VM работают
openipmi.service
/dev/mapper/pve-root 109G 30G 74G 29% /
/dev/nvme0n1p1 938G 132G 797G 15% /mnt/media
/dev/sda1 916G 315G 593G 35% /mnt/archive
Mem: 15Gi 11Gi 295Mi 334Mi 4.4Gi 4.0Gi
/var/lib/vz/dump/vzdump-lxc-108-2026_11_06-01_00_02.tar.zst
21
```
+123
View File
@@ -0,0 +1,123 @@
#!/usr/bin/env python3
"""Ночной анализ на локальной LLM (задача №2).
Собирает факты за сутки (журнал ошибок, состояние CT/VM, гигиена, диск, бэкапы),
отдаёт локальной модели на разбор и пишет отчёт с ОБЯЗАТЕЛЬНОЙ проверкой:
каждое утверждение модели должно опираться на строку из фактов.
Отчёт: ops/night/report-YYYY-MM-DD.md
"""
import json
import os
import re
import subprocess
import sys
import urllib.request
from datetime import date
ROOT = "/root/buryan-infra"
OUT = ROOT + "/ops/night"
LLM = "http://192.168.1.229:11434"
MODEL = "qwen2.5:7b"
def sh(cmd, timeout=90):
try:
r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout)
return (r.stdout or "").strip()
except Exception as e:
return "ошибка: %s" % e
def ask(prompt, max_tokens=600):
body = json.dumps({"model": MODEL, "prompt": prompt, "stream": False,
"options": {"num_predict": max_tokens, "temperature": 0.1}}).encode()
req = urllib.request.Request(LLM + "/api/generate", data=body, method="POST")
req.add_header("Content-Type", "application/json")
with urllib.request.urlopen(req, timeout=900) as r:
return json.loads(r.read().decode()).get("response", "").strip()
def collect():
facts = {}
noise = ("read-only file system", "name resolution", "openipmi", "postfix",
"nfsdcld", "wtmpdb", "grub-common")
raw = sh("journalctl --since '-24h' -p err --no-pager 2>/dev/null | tail -80")
facts["errors"] = "\n".join(l for l in raw.splitlines()
if not any(n in l.lower() for n in noise)) or "нет ошибок"
facts["cts"] = sh("pct list 2>/dev/null | awk 'NR>1 && $2!=\"running\" {print \"CT\"$1\" остановлен\"}'") or "все CT работают"
facts["vms"] = sh("qm list 2>/dev/null | awk 'NR>1 && $3!=\"running\" {print \"VM\"$1\" остановлен\"}'") or "все VM работают"
facts["failed"] = sh("systemctl --failed --no-legend --no-pager 2>/dev/null | awk '{print $2}'") or "нет"
facts["disk"] = sh("df -h / /mnt/media /mnt/archive 2>/dev/null | tail -3")
facts["mem"] = sh("free -h | head -2 | tail -1")
facts["backup"] = sh("ls -t /var/lib/vz/dump/*.tar.zst 2>/dev/null | head -1")
facts["hyg"] = sh("grep -c '^## ' %s/ops/hygiene/report-%s.md 2>/dev/null"
% (ROOT, date.today().isoformat())) or "0"
return facts
def verify(report, facts_text):
"""Проверяем, что модель не выдумала: ищем числа/имена из ответа в фактах."""
fake = []
for token in set(re.findall(r"CT\d{2,3}|VM\d{2,3}|\d+\.\d+ ?Gi", report)):
if token not in facts_text:
fake.append(token)
return fake
def main():
os.makedirs(OUT, exist_ok=True)
path = os.path.join(OUT, "report-%s.md" % date.today().isoformat())
f = collect()
facts_text = "\n".join(str(v) for v in f.values())
prompt = (
"Ты ночной дежурный администратор домашнего сервера. По фактам ниже напиши краткий отчёт "
"по-русски (максимум 8 строк).\n"
"ПРАВИЛА: используй ТОЛЬКО приведённые факты; если данных нет — пиши «нет данных»; "
"не придумывай имена контейнеров, числа и причины.\n"
"Структура: «Ночью: …» / «Требует внимания: …» / «Утром проверить: …» / "
"«Уверенность: N процентов».\n\n"
"=== ФАКТЫ ===\n"
"ОШИБКИ ЖУРНАЛА:\n%s\n\n"
"КОНТЕЙНЕРЫ: %s\n"
"ВИРТУАЛЬНЫЕ МАШИНЫ: %s\n"
"УПАВШИЕ ЮНИТЫ: %s\n"
"ДИСКИ:\n%s\n"
"ПАМЯТЬ: %s\n"
"СВЕЖИЙ БЭКАП: %s\n\nОТЧЁТ:"
% (f["errors"][:2500], f["cts"], f["vms"], f["failed"],
f["disk"], f["mem"], f["backup"] or "не найден")
)
try:
report = ask(prompt)
provider = "локальная qwen2.5:7b"
except Exception as e:
report = "локальная модель недоступна (%s)" % type(e).__name__
provider = "нет"
fake = verify(report, facts_text)
L = ["# Ночной анализ — %s" % date.today().isoformat(), "",
"Провайдер: %s" % provider, "",
"## Вывод модели", "", report or "(пусто)", ""]
if fake:
L += ["## ⚠️ Проверка фактов: обнаружены выдуманные сущности", "",
"Модель упомянула то, чего нет в фактах: %s" % ", ".join(sorted(fake)[:10]), "",
"**Вывод: этому отчёту доверять нельзя без ручной проверки.**", ""]
else:
L += ["## ✅ Проверка фактов", "",
"Все упомянутые CT/VM/числа присутствуют в исходных фактах.", ""]
L += ["## Исходные факты", "", "```", facts_text[:3000], "```", ""]
open(path, "w", encoding="utf-8").write("\n".join(L) + "\n")
print("отчёт:", path)
print("провайдер:", provider, "| выдуманных сущностей:", len(fake))
if report:
print("\n" + report[:600])
return 0
if __name__ == "__main__":
sys.exit(main())