From 28fd9fb98ce3f189ef0f006278bd16c4f50e035a Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Fri, 6 Nov 2026 01:02:49 +0300 Subject: [PATCH] =?UTF-8?q?[SPRINT-V1][C]=20=D0=9D=D0=BE=D1=87=D0=BD=D0=BE?= =?UTF-8?q?=D0=B9=20=D0=B0=D0=BD=D0=B0=D0=BB=D0=B8=D0=B7=20=D0=BD=D0=B0=20?= =?UTF-8?q?=D0=BB=D0=BE=D0=BA=D0=B0=D0=BB=D1=8C=D0=BD=D0=BE=D0=B9=20LLM=20?= =?UTF-8?q?=D1=81=20=D0=BF=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=BA=D0=BE=D0=B9?= =?UTF-8?q?=20=D1=84=D0=B0=D0=BA=D1=82=D0=BE=D0=B2=20(0=20=D0=B2=D1=8B?= =?UTF-8?q?=D0=B4=D1=83=D0=BC=D0=B0=D0=BD=D0=BD=D1=8B=D1=85=20=D1=81=D1=83?= =?UTF-8?q?=D1=89=D0=BD=D0=BE=D1=81=D1=82=D0=B5=D0=B9),=20=D0=B7=D0=B0?= =?UTF-8?q?=D0=B4=D0=B0=D0=BD=D0=B8=D0=B5=2003:00?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/hermes/jobs.yaml | 6 ++ ops/night/report-2026-11-06.md | 42 +++++++++++ ops/scripts/night_analysis.py | 123 +++++++++++++++++++++++++++++++++ 3 files changed, 171 insertions(+) create mode 100644 ops/night/report-2026-11-06.md create mode 100755 ops/scripts/night_analysis.py diff --git a/ops/hermes/jobs.yaml b/ops/hermes/jobs.yaml index 895d154..af60605 100644 --- a/ops/hermes/jobs.yaml +++ b/ops/hermes/jobs.yaml @@ -106,3 +106,9 @@ research-alternatives: notify_on_success: false timeout: 900 retries: 0 +night-analysis: + command: /usr/bin/python3 /root/buryan-infra/ops/scripts/night_analysis.py + daily_at: 03:00 + notify_on_success: false + timeout: 1200 + retries: 0 diff --git a/ops/night/report-2026-11-06.md b/ops/night/report-2026-11-06.md new file mode 100644 index 0000000..22683c4 --- /dev/null +++ b/ops/night/report-2026-11-06.md @@ -0,0 +1,42 @@ +# Ночной анализ — 2026-11-06 + +Провайдер: локальная qwen2.5:7b + +## Вывод модели + +Ночью: Система удалила несколько сервисов для разрыва циклических зависимостей. +Требует внимания: Ошибка при активации swap файла и проблема с блокировкой файлов в контейнерах. +Утром проверить: Состояние сервиса openipmi.service и наличие свободного места на дисках. +Уверенность: 100 процентов. + +## ✅ Проверка фактов + +Все упомянутые CT/VM/числа присутствуют в исходных фактах. + +## Исходные факты + +``` +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job ksmtuned.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job pvescheduler.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job dbus.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job chrony.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job ssh.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: multi-user.target: Job e2scrub_reap.service/start deleted to break ordering cycle starting with multi-user.target/start +Nov 06 00:29:33 pve systemd[1]: getty-static.service: Job swap.target/start deleted to break ordering cycle starting with getty-static.service/start +Nov 06 00:29:33 pve systemd[1]: Failed to activate swap swapfile16.swap - /swapfile16. +Nov 06 00:29:34 pve systemd[1]: swap.target: Job sysinit.target/start deleted to break ordering cycle starting with swap.target/start +Nov 06 00:29:35 pve blkmapd[1449]: open pipe file /run/rpc_pipefs/nfs/blocklayout failed: No such file or directory +Nov 06 00:34:21 pve pct[49169]: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout +Nov 06 00:34:21 pve pct[48958]: end task UPID:pve:0000C011:00006E56:6AECF653:vzstart:111:root@pam: can't lock file '/run/lock/lxc/pve-config-111.lock' - got timeout +Nov 06 01:00:04 pve kernel: EXT4-fs (dm-39): write access unavailable, skipping orphan cleanup +CT160 остановлен +все VM работают +openipmi.service +/dev/mapper/pve-root 109G 30G 74G 29% / +/dev/nvme0n1p1 938G 132G 797G 15% /mnt/media +/dev/sda1 916G 315G 593G 35% /mnt/archive +Mem: 15Gi 11Gi 295Mi 334Mi 4.4Gi 4.0Gi +/var/lib/vz/dump/vzdump-lxc-108-2026_11_06-01_00_02.tar.zst +21 +``` + diff --git a/ops/scripts/night_analysis.py b/ops/scripts/night_analysis.py new file mode 100755 index 0000000..9cff348 --- /dev/null +++ b/ops/scripts/night_analysis.py @@ -0,0 +1,123 @@ +#!/usr/bin/env python3 +"""Ночной анализ на локальной LLM (задача №2). + +Собирает факты за сутки (журнал ошибок, состояние CT/VM, гигиена, диск, бэкапы), +отдаёт локальной модели на разбор и пишет отчёт с ОБЯЗАТЕЛЬНОЙ проверкой: +каждое утверждение модели должно опираться на строку из фактов. + +Отчёт: ops/night/report-YYYY-MM-DD.md +""" +import json +import os +import re +import subprocess +import sys +import urllib.request +from datetime import date + +ROOT = "/root/buryan-infra" +OUT = ROOT + "/ops/night" +LLM = "http://192.168.1.229:11434" +MODEL = "qwen2.5:7b" + + +def sh(cmd, timeout=90): + try: + r = subprocess.run(cmd, shell=True, capture_output=True, text=True, timeout=timeout) + return (r.stdout or "").strip() + except Exception as e: + return "ошибка: %s" % e + + +def ask(prompt, max_tokens=600): + body = json.dumps({"model": MODEL, "prompt": prompt, "stream": False, + "options": {"num_predict": max_tokens, "temperature": 0.1}}).encode() + req = urllib.request.Request(LLM + "/api/generate", data=body, method="POST") + req.add_header("Content-Type", "application/json") + with urllib.request.urlopen(req, timeout=900) as r: + return json.loads(r.read().decode()).get("response", "").strip() + + +def collect(): + facts = {} + noise = ("read-only file system", "name resolution", "openipmi", "postfix", + "nfsdcld", "wtmpdb", "grub-common") + raw = sh("journalctl --since '-24h' -p err --no-pager 2>/dev/null | tail -80") + facts["errors"] = "\n".join(l for l in raw.splitlines() + if not any(n in l.lower() for n in noise)) or "нет ошибок" + facts["cts"] = sh("pct list 2>/dev/null | awk 'NR>1 && $2!=\"running\" {print \"CT\"$1\" остановлен\"}'") or "все CT работают" + facts["vms"] = sh("qm list 2>/dev/null | awk 'NR>1 && $3!=\"running\" {print \"VM\"$1\" остановлен\"}'") or "все VM работают" + facts["failed"] = sh("systemctl --failed --no-legend --no-pager 2>/dev/null | awk '{print $2}'") or "нет" + facts["disk"] = sh("df -h / /mnt/media /mnt/archive 2>/dev/null | tail -3") + facts["mem"] = sh("free -h | head -2 | tail -1") + facts["backup"] = sh("ls -t /var/lib/vz/dump/*.tar.zst 2>/dev/null | head -1") + facts["hyg"] = sh("grep -c '^## ' %s/ops/hygiene/report-%s.md 2>/dev/null" + % (ROOT, date.today().isoformat())) or "0" + return facts + + +def verify(report, facts_text): + """Проверяем, что модель не выдумала: ищем числа/имена из ответа в фактах.""" + fake = [] + for token in set(re.findall(r"CT\d{2,3}|VM\d{2,3}|\d+\.\d+ ?Gi", report)): + if token not in facts_text: + fake.append(token) + return fake + + +def main(): + os.makedirs(OUT, exist_ok=True) + path = os.path.join(OUT, "report-%s.md" % date.today().isoformat()) + f = collect() + facts_text = "\n".join(str(v) for v in f.values()) + + prompt = ( + "Ты ночной дежурный администратор домашнего сервера. По фактам ниже напиши краткий отчёт " + "по-русски (максимум 8 строк).\n" + "ПРАВИЛА: используй ТОЛЬКО приведённые факты; если данных нет — пиши «нет данных»; " + "не придумывай имена контейнеров, числа и причины.\n" + "Структура: «Ночью: …» / «Требует внимания: …» / «Утром проверить: …» / " + "«Уверенность: N процентов».\n\n" + "=== ФАКТЫ ===\n" + "ОШИБКИ ЖУРНАЛА:\n%s\n\n" + "КОНТЕЙНЕРЫ: %s\n" + "ВИРТУАЛЬНЫЕ МАШИНЫ: %s\n" + "УПАВШИЕ ЮНИТЫ: %s\n" + "ДИСКИ:\n%s\n" + "ПАМЯТЬ: %s\n" + "СВЕЖИЙ БЭКАП: %s\n\nОТЧЁТ:" + % (f["errors"][:2500], f["cts"], f["vms"], f["failed"], + f["disk"], f["mem"], f["backup"] or "не найден") + ) + + try: + report = ask(prompt) + provider = "локальная qwen2.5:7b" + except Exception as e: + report = "локальная модель недоступна (%s)" % type(e).__name__ + provider = "нет" + + fake = verify(report, facts_text) + + L = ["# Ночной анализ — %s" % date.today().isoformat(), "", + "Провайдер: %s" % provider, "", + "## Вывод модели", "", report or "(пусто)", ""] + if fake: + L += ["## ⚠️ Проверка фактов: обнаружены выдуманные сущности", "", + "Модель упомянула то, чего нет в фактах: %s" % ", ".join(sorted(fake)[:10]), "", + "**Вывод: этому отчёту доверять нельзя без ручной проверки.**", ""] + else: + L += ["## ✅ Проверка фактов", "", + "Все упомянутые CT/VM/числа присутствуют в исходных фактах.", ""] + L += ["## Исходные факты", "", "```", facts_text[:3000], "```", ""] + + open(path, "w", encoding="utf-8").write("\n".join(L) + "\n") + print("отчёт:", path) + print("провайдер:", provider, "| выдуманных сущностей:", len(fake)) + if report: + print("\n" + report[:600]) + return 0 + + +if __name__ == "__main__": + sys.exit(main())