Files

223 lines
9.7 KiB
Python
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""Фаза 2: LLM-RCA инцидента.
Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт
уходит сразу (с триажем), а RCA считается в фоне и приходит вторым
сообщением: гипотеза, доказательства, шаги и — если есть безопасное
действие — заявка на подтверждение (`одобри <id>`).
Действия ограничены белым списком `approvals.ALLOWED` (сейчас только
restart_container). Если модель предлагает что-то вне списка или
несуществующий контейнер — заявка не создаётся.
"""
import json
import os
import re
import subprocess
import sys
import time
sys.path.insert(0, "/opt/hub-core")
from llm_fallback import ask, LLMUnavailable # noqa: E402
HUB = "http://127.0.0.1:9120"
CACHE_DIR = "/var/lib/hub-rca"
SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker,
Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент.
Отвечай СТРОГО одним JSON-объектом:
{"hypothesis": "наиболее вероятная причина, одно предложение",
"evidence": ["факт из контекста", "..."],
"steps": ["что проверить/сделать, до трёх шагов"],
"action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null,
"risk": "low|medium|high"}
Правила:
- только факты из контекста; если их мало — hypothesis начинай со «вероятно»;
- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps);
- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container;
- если безопасного действия нет — action: null;
- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»;
- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM."""
def _keywords(text, limit=3):
words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "")
stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка",
"тревога", "ошибка", "контейнер", "перезапускается", "циклически"}
out = []
for w in words:
lw = w.lower()
if lw in stop or lw in [x.lower() for x in out]:
continue
out.append(w)
if len(out) >= limit:
break
return out
def _journal(text, minutes=120, limit=8):
kws = _keywords(text)
try:
r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err",
"--no-pager", "-n", "600"],
capture_output=True, text=True, timeout=25)
lines = (r.stdout or "").splitlines()
except Exception:
return ""
if kws:
pat = re.compile("|".join(re.escape(k) for k in kws), re.I)
lines = [ln for ln in lines if pat.search(ln)]
return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800]
def _containers(text):
"""Список docker-контейнеров, которые могут быть виновником."""
kws = [k.lower() for k in _keywords(text)]
names = []
try:
out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"],
capture_output=True, text=True, timeout=15).stdout
names += out.split()
except Exception:
pass
# контейнеры внутри CT, если в тексте есть имя CT/сервиса
for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118",
"119", "120", "121", "122", "127", "134", "140", "155"):
try:
out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps",
"--format", "{{.Names}}"],
capture_output=True, text=True, timeout=10).stdout
for n in out.split():
names.append("%s@CT%s" % (n, ct))
except Exception:
continue
hits = [n for n in names if any(k in n.lower() for k in kws)]
return hits[:8], names
def _status(text):
try:
import urllib.request as u
with u.urlopen(HUB + "/status.json", timeout=8) as r:
d = json.loads(r.read())
except Exception:
return ""
low = (text or "").lower()
lines = []
for s in d.get("services") or []:
nm = (s.get("name") or "").lower()
if nm and nm in low:
lines.append("%s: %s (%s:%s)" % (s.get("name"),
"работает" if s.get("up") else "ЛЕЖИТ",
s.get("ip"), s.get("port")))
return "; ".join(lines)
def rca(title, message):
"""Возвращает dict разбора или None. Никогда не бросает."""
chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90},
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}]
parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]]
j = _journal("%s %s" % (title, message))
if j:
parts.append("Ошибки журнала за 2 часа:\n" + j)
st = _status("%s %s" % (title, message))
if st:
parts.append("Состояние: " + st)
hits, allnames = _containers("%s %s" % (title, message))
if allnames:
parts.append("Docker-контейнеры: " + ", ".join(allnames[:30]))
if hits:
parts.append("Похожие контейнеры: " + ", ".join(hits))
try:
r = ask("\n\n".join(parts) + "\n\nВерни JSON.",
system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain)
except LLMUnavailable:
return None
except Exception:
return None
raw = (r.get("text") or "").strip()
m = re.search(r"\{.*\}", raw, re.S)
if not m:
return None
try:
d = json.loads(m.group(0))
except Exception:
return None
if not isinstance(d, dict):
return None
action = d.get("action")
if isinstance(action, dict):
kind = str(action.get("kind") or "")
target = str(action.get("target") or "")
allowed_targets = [n.split("@")[0] for n in allnames] + hits
if kind != "restart_container" or not target or target not in allowed_targets:
action = None
else:
action = None
return {
"hypothesis": str(d.get("hypothesis") or "").strip()[:300],
"evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4],
"steps": [str(x)[:160] for x in (d.get("steps") or [])][:3],
"action": action,
"risk": str(d.get("risk") or "").strip().lower()[:10],
"model": r.get("model"),
"ms": r.get("ms"),
}
def make_approval(rca_obj, title):
"""Создаёт заявку класса C. Возвращает id или None."""
action = rca_obj.get("action") or {}
if not action:
return None
# target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера
import re as _re
target = _re.sub(r"@CT\d+$", "", str(action.get("target") or ""))
try:
sys.path.insert(0, "/opt/hub-agents")
import approvals
added = approvals.add([{
"class": "C",
"action": "restart_container",
"target": target,
"why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200],
}], agent="incident-rca")
return added[0]["id"] if added else None
except Exception:
return None
def format_rca(rca_obj, approval_id=None):
if not rca_obj or not rca_obj.get("hypothesis"):
return ""
lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]]
if rca_obj.get("evidence"):
lines.append("Факты: " + "; ".join(rca_obj["evidence"]))
if rca_obj.get("steps"):
lines.append("Шаги: " + " · ".join(rca_obj["steps"]))
if approval_id:
lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»"
% (rca_obj["action"].get("target"), approval_id))
lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?",
", риск " + rca_obj["risk"] if rca_obj.get("risk") else ""))
return "\n".join(lines)
if __name__ == "__main__":
args = [a for a in sys.argv[1:] if not a.startswith("--")]
title = args[0] if args else "bazarr"
msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически"
t0 = time.time()
r = rca(title, msg)
if not r:
print("RCA: нет ответа модели")
sys.exit(1)
print(json.dumps(r, ensure_ascii=False, indent=2))
aid = make_approval(r, title)
print("\nзаявка:", aid)
print(format_rca(r, aid))
print("\nвремя: %.1f с" % (time.time() - t0))