223 lines
9.7 KiB
Python
Executable File
223 lines
9.7 KiB
Python
Executable File
#!/usr/bin/env python3
|
||
"""Фаза 2: LLM-RCA инцидента.
|
||
|
||
Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт
|
||
уходит сразу (с триажем), а RCA считается в фоне и приходит вторым
|
||
сообщением: гипотеза, доказательства, шаги и — если есть безопасное
|
||
действие — заявка на подтверждение (`одобри <id>`).
|
||
|
||
Действия ограничены белым списком `approvals.ALLOWED` (сейчас только
|
||
restart_container). Если модель предлагает что-то вне списка или
|
||
несуществующий контейнер — заявка не создаётся.
|
||
"""
|
||
import json
|
||
import os
|
||
import re
|
||
import subprocess
|
||
import sys
|
||
import time
|
||
|
||
sys.path.insert(0, "/opt/hub-core")
|
||
from llm_fallback import ask, LLMUnavailable # noqa: E402
|
||
|
||
HUB = "http://127.0.0.1:9120"
|
||
CACHE_DIR = "/var/lib/hub-rca"
|
||
|
||
SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker,
|
||
Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент.
|
||
|
||
Отвечай СТРОГО одним JSON-объектом:
|
||
{"hypothesis": "наиболее вероятная причина, одно предложение",
|
||
"evidence": ["факт из контекста", "..."],
|
||
"steps": ["что проверить/сделать, до трёх шагов"],
|
||
"action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null,
|
||
"risk": "low|medium|high"}
|
||
|
||
Правила:
|
||
- только факты из контекста; если их мало — hypothesis начинай со «вероятно»;
|
||
- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps);
|
||
- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container;
|
||
- если безопасного действия нет — action: null;
|
||
- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»;
|
||
- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM."""
|
||
|
||
|
||
def _keywords(text, limit=3):
|
||
words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "")
|
||
stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка",
|
||
"тревога", "ошибка", "контейнер", "перезапускается", "циклически"}
|
||
out = []
|
||
for w in words:
|
||
lw = w.lower()
|
||
if lw in stop or lw in [x.lower() for x in out]:
|
||
continue
|
||
out.append(w)
|
||
if len(out) >= limit:
|
||
break
|
||
return out
|
||
|
||
|
||
def _journal(text, minutes=120, limit=8):
|
||
kws = _keywords(text)
|
||
try:
|
||
r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err",
|
||
"--no-pager", "-n", "600"],
|
||
capture_output=True, text=True, timeout=25)
|
||
lines = (r.stdout or "").splitlines()
|
||
except Exception:
|
||
return ""
|
||
if kws:
|
||
pat = re.compile("|".join(re.escape(k) for k in kws), re.I)
|
||
lines = [ln for ln in lines if pat.search(ln)]
|
||
return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800]
|
||
|
||
|
||
def _containers(text):
|
||
"""Список docker-контейнеров, которые могут быть виновником."""
|
||
kws = [k.lower() for k in _keywords(text)]
|
||
names = []
|
||
try:
|
||
out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"],
|
||
capture_output=True, text=True, timeout=15).stdout
|
||
names += out.split()
|
||
except Exception:
|
||
pass
|
||
# контейнеры внутри CT, если в тексте есть имя CT/сервиса
|
||
for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118",
|
||
"119", "120", "121", "122", "127", "134", "140", "155"):
|
||
try:
|
||
out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps",
|
||
"--format", "{{.Names}}"],
|
||
capture_output=True, text=True, timeout=10).stdout
|
||
for n in out.split():
|
||
names.append("%s@CT%s" % (n, ct))
|
||
except Exception:
|
||
continue
|
||
hits = [n for n in names if any(k in n.lower() for k in kws)]
|
||
return hits[:8], names
|
||
|
||
|
||
def _status(text):
|
||
try:
|
||
import urllib.request as u
|
||
with u.urlopen(HUB + "/status.json", timeout=8) as r:
|
||
d = json.loads(r.read())
|
||
except Exception:
|
||
return ""
|
||
low = (text or "").lower()
|
||
lines = []
|
||
for s in d.get("services") or []:
|
||
nm = (s.get("name") or "").lower()
|
||
if nm and nm in low:
|
||
lines.append("%s: %s (%s:%s)" % (s.get("name"),
|
||
"работает" if s.get("up") else "ЛЕЖИТ",
|
||
s.get("ip"), s.get("port")))
|
||
return "; ".join(lines)
|
||
|
||
|
||
def rca(title, message):
|
||
"""Возвращает dict разбора или None. Никогда не бросает."""
|
||
chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90},
|
||
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}]
|
||
parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]]
|
||
j = _journal("%s %s" % (title, message))
|
||
if j:
|
||
parts.append("Ошибки журнала за 2 часа:\n" + j)
|
||
st = _status("%s %s" % (title, message))
|
||
if st:
|
||
parts.append("Состояние: " + st)
|
||
hits, allnames = _containers("%s %s" % (title, message))
|
||
if allnames:
|
||
parts.append("Docker-контейнеры: " + ", ".join(allnames[:30]))
|
||
if hits:
|
||
parts.append("Похожие контейнеры: " + ", ".join(hits))
|
||
try:
|
||
r = ask("\n\n".join(parts) + "\n\nВерни JSON.",
|
||
system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain)
|
||
except LLMUnavailable:
|
||
return None
|
||
except Exception:
|
||
return None
|
||
raw = (r.get("text") or "").strip()
|
||
m = re.search(r"\{.*\}", raw, re.S)
|
||
if not m:
|
||
return None
|
||
try:
|
||
d = json.loads(m.group(0))
|
||
except Exception:
|
||
return None
|
||
if not isinstance(d, dict):
|
||
return None
|
||
action = d.get("action")
|
||
if isinstance(action, dict):
|
||
kind = str(action.get("kind") or "")
|
||
target = str(action.get("target") or "")
|
||
allowed_targets = [n.split("@")[0] for n in allnames] + hits
|
||
if kind != "restart_container" or not target or target not in allowed_targets:
|
||
action = None
|
||
else:
|
||
action = None
|
||
return {
|
||
"hypothesis": str(d.get("hypothesis") or "").strip()[:300],
|
||
"evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4],
|
||
"steps": [str(x)[:160] for x in (d.get("steps") or [])][:3],
|
||
"action": action,
|
||
"risk": str(d.get("risk") or "").strip().lower()[:10],
|
||
"model": r.get("model"),
|
||
"ms": r.get("ms"),
|
||
}
|
||
|
||
|
||
def make_approval(rca_obj, title):
|
||
"""Создаёт заявку класса C. Возвращает id или None."""
|
||
action = rca_obj.get("action") or {}
|
||
if not action:
|
||
return None
|
||
# target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера
|
||
import re as _re
|
||
target = _re.sub(r"@CT\d+$", "", str(action.get("target") or ""))
|
||
try:
|
||
sys.path.insert(0, "/opt/hub-agents")
|
||
import approvals
|
||
added = approvals.add([{
|
||
"class": "C",
|
||
"action": "restart_container",
|
||
"target": target,
|
||
"why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200],
|
||
}], agent="incident-rca")
|
||
return added[0]["id"] if added else None
|
||
except Exception:
|
||
return None
|
||
|
||
|
||
def format_rca(rca_obj, approval_id=None):
|
||
if not rca_obj or not rca_obj.get("hypothesis"):
|
||
return ""
|
||
lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]]
|
||
if rca_obj.get("evidence"):
|
||
lines.append("Факты: " + "; ".join(rca_obj["evidence"]))
|
||
if rca_obj.get("steps"):
|
||
lines.append("Шаги: " + " · ".join(rca_obj["steps"]))
|
||
if approval_id:
|
||
lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»"
|
||
% (rca_obj["action"].get("target"), approval_id))
|
||
lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?",
|
||
", риск " + rca_obj["risk"] if rca_obj.get("risk") else ""))
|
||
return "\n".join(lines)
|
||
|
||
|
||
if __name__ == "__main__":
|
||
args = [a for a in sys.argv[1:] if not a.startswith("--")]
|
||
title = args[0] if args else "bazarr"
|
||
msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически"
|
||
t0 = time.time()
|
||
r = rca(title, msg)
|
||
if not r:
|
||
print("RCA: нет ответа модели")
|
||
sys.exit(1)
|
||
print(json.dumps(r, ensure_ascii=False, indent=2))
|
||
aid = make_approval(r, title)
|
||
print("\nзаявка:", aid)
|
||
print(format_rca(r, aid))
|
||
print("\nвремя: %.1f с" % (time.time() - t0))
|