#!/usr/bin/env python3 """Фаза 2: LLM-RCA инцидента. Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт уходит сразу (с триажем), а RCA считается в фоне и приходит вторым сообщением: гипотеза, доказательства, шаги и — если есть безопасное действие — заявка на подтверждение (`одобри `). Действия ограничены белым списком `approvals.ALLOWED` (сейчас только restart_container). Если модель предлагает что-то вне списка или несуществующий контейнер — заявка не создаётся. """ import json import os import re import subprocess import sys import time sys.path.insert(0, "/opt/hub-core") from llm_fallback import ask, LLMUnavailable # noqa: E402 HUB = "http://127.0.0.1:9120" CACHE_DIR = "/var/lib/hub-rca" SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker, Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент. Отвечай СТРОГО одним JSON-объектом: {"hypothesis": "наиболее вероятная причина, одно предложение", "evidence": ["факт из контекста", "..."], "steps": ["что проверить/сделать, до трёх шагов"], "action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null, "risk": "low|medium|high"} Правила: - только факты из контекста; если их мало — hypothesis начинай со «вероятно»; - target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps); - если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container; - если безопасного действия нет — action: null; - шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»; - не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM.""" def _keywords(text, limit=3): words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "") stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка", "тревога", "ошибка", "контейнер", "перезапускается", "циклически"} out = [] for w in words: lw = w.lower() if lw in stop or lw in [x.lower() for x in out]: continue out.append(w) if len(out) >= limit: break return out def _journal(text, minutes=120, limit=8): kws = _keywords(text) try: r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err", "--no-pager", "-n", "600"], capture_output=True, text=True, timeout=25) lines = (r.stdout or "").splitlines() except Exception: return "" if kws: pat = re.compile("|".join(re.escape(k) for k in kws), re.I) lines = [ln for ln in lines if pat.search(ln)] return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800] def _containers(text): """Список docker-контейнеров, которые могут быть виновником.""" kws = [k.lower() for k in _keywords(text)] names = [] try: out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"], capture_output=True, text=True, timeout=15).stdout names += out.split() except Exception: pass # контейнеры внутри CT, если в тексте есть имя CT/сервиса for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118", "119", "120", "121", "122", "127", "134", "140", "155"): try: out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps", "--format", "{{.Names}}"], capture_output=True, text=True, timeout=10).stdout for n in out.split(): names.append("%s@CT%s" % (n, ct)) except Exception: continue hits = [n for n in names if any(k in n.lower() for k in kws)] return hits[:8], names def _status(text): try: import urllib.request as u with u.urlopen(HUB + "/status.json", timeout=8) as r: d = json.loads(r.read()) except Exception: return "" low = (text or "").lower() lines = [] for s in d.get("services") or []: nm = (s.get("name") or "").lower() if nm and nm in low: lines.append("%s: %s (%s:%s)" % (s.get("name"), "работает" if s.get("up") else "ЛЕЖИТ", s.get("ip"), s.get("port"))) return "; ".join(lines) def rca(title, message): """Возвращает dict разбора или None. Никогда не бросает.""" chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90}, {"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}] parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]] j = _journal("%s %s" % (title, message)) if j: parts.append("Ошибки журнала за 2 часа:\n" + j) st = _status("%s %s" % (title, message)) if st: parts.append("Состояние: " + st) hits, allnames = _containers("%s %s" % (title, message)) if allnames: parts.append("Docker-контейнеры: " + ", ".join(allnames[:30])) if hits: parts.append("Похожие контейнеры: " + ", ".join(hits)) try: r = ask("\n\n".join(parts) + "\n\nВерни JSON.", system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain) except LLMUnavailable: return None except Exception: return None raw = (r.get("text") or "").strip() m = re.search(r"\{.*\}", raw, re.S) if not m: return None try: d = json.loads(m.group(0)) except Exception: return None if not isinstance(d, dict): return None action = d.get("action") if isinstance(action, dict): kind = str(action.get("kind") or "") target = str(action.get("target") or "") allowed_targets = [n.split("@")[0] for n in allnames] + hits if kind != "restart_container" or not target or target not in allowed_targets: action = None else: action = None return { "hypothesis": str(d.get("hypothesis") or "").strip()[:300], "evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4], "steps": [str(x)[:160] for x in (d.get("steps") or [])][:3], "action": action, "risk": str(d.get("risk") or "").strip().lower()[:10], "model": r.get("model"), "ms": r.get("ms"), } def make_approval(rca_obj, title): """Создаёт заявку класса C. Возвращает id или None.""" action = rca_obj.get("action") or {} if not action: return None # target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера import re as _re target = _re.sub(r"@CT\d+$", "", str(action.get("target") or "")) try: sys.path.insert(0, "/opt/hub-agents") import approvals added = approvals.add([{ "class": "C", "action": "restart_container", "target": target, "why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200], }], agent="incident-rca") return added[0]["id"] if added else None except Exception: return None def format_rca(rca_obj, approval_id=None): if not rca_obj or not rca_obj.get("hypothesis"): return "" lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]] if rca_obj.get("evidence"): lines.append("Факты: " + "; ".join(rca_obj["evidence"])) if rca_obj.get("steps"): lines.append("Шаги: " + " · ".join(rca_obj["steps"])) if approval_id: lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»" % (rca_obj["action"].get("target"), approval_id)) lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?", ", риск " + rca_obj["risk"] if rca_obj.get("risk") else "")) return "\n".join(lines) if __name__ == "__main__": args = [a for a in sys.argv[1:] if not a.startswith("--")] title = args[0] if args else "bazarr" msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически" t0 = time.time() r = rca(title, msg) if not r: print("RCA: нет ответа модели") sys.exit(1) print(json.dumps(r, ensure_ascii=False, indent=2)) aid = make_approval(r, title) print("\nзаявка:", aid) print(format_rca(r, aid)) print("\nвремя: %.1f с" % (time.time() - t0))