[PHASE2] RCA инцидента и очеловечивание секретарей. RCA: incident_rca.py врезан в _notify_policy — алерт уходит сразу, разбор приходит вторым сообщением (7b → deepseek-chat), с заявкой на перезапуск и «одобри N»; цикл проверен: #30 approve → bazarr перезапущен в CT120. Критично: _matrix_notify слал через публичный домен изнутри хоста (SSL-handshake timeout, /notify возвращал ok:false и сообщения терялись) — теперь локальный Synapse 192.168.1.155:8008 с фолбэком. Секретари: LLM был ВЫКЛЮЧЕН (нет LLM_API_KEY в окружении hub-bots) — включён через /etc/hub-bots/llm.env + drop-in; персона (живо, без канцелярита, по имени), история 10→20, температура 0.55. Проверено вживую: ответ за 3 с, живой текст

This commit is contained in:
root committed 2026-11-16 16:14:54 +03:00
1 parent 612a0ccfe8
commit 73b317c699
2 files changed
+325

No files matched your search

+222
View File
@@ -0,0 +1,222 @@
#!/usr/bin/env python3
"""Фаза 2: LLM-RCA инцидента.
Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт
уходит сразу (с триажем), а RCA считается в фоне и приходит вторым
сообщением: гипотеза, доказательства, шаги и — если есть безопасное
действие — заявка на подтверждение (`одобри <id>`).
Действия ограничены белым списком `approvals.ALLOWED` (сейчас только
restart_container). Если модель предлагает что-то вне списка или
несуществующий контейнер — заявка не создаётся.
"""
import json
import os
import re
import subprocess
import sys
import time
sys.path.insert(0, "/opt/hub-core")
from llm_fallback import ask, LLMUnavailable # noqa: E402
HUB = "http://127.0.0.1:9120"
CACHE_DIR = "/var/lib/hub-rca"
SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker,
Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент.
Отвечай СТРОГО одним JSON-объектом:
{"hypothesis": "наиболее вероятная причина, одно предложение",
"evidence": ["факт из контекста", "..."],
"steps": ["что проверить/сделать, до трёх шагов"],
"action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null,
"risk": "low|medium|high"}
Правила:
- только факты из контекста; если их мало — hypothesis начинай со «вероятно»;
- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps);
- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container;
- если безопасного действия нет — action: null;
- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»;
- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM."""
def _keywords(text, limit=3):
words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "")
stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка",
"тревога", "ошибка", "контейнер", "перезапускается", "циклически"}
out = []
for w in words:
lw = w.lower()
if lw in stop or lw in [x.lower() for x in out]:
continue
out.append(w)
if len(out) >= limit:
break
return out
def _journal(text, minutes=120, limit=8):
kws = _keywords(text)
try:
r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err",
"--no-pager", "-n", "600"],
capture_output=True, text=True, timeout=25)
lines = (r.stdout or "").splitlines()
except Exception:
return ""
if kws:
pat = re.compile("|".join(re.escape(k) for k in kws), re.I)
lines = [ln for ln in lines if pat.search(ln)]
return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800]
def _containers(text):
"""Список docker-контейнеров, которые могут быть виновником."""
kws = [k.lower() for k in _keywords(text)]
names = []
try:
out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"],
capture_output=True, text=True, timeout=15).stdout
names += out.split()
except Exception:
pass
# контейнеры внутри CT, если в тексте есть имя CT/сервиса
for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118",
"119", "120", "121", "122", "127", "134", "140", "155"):
try:
out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps",
"--format", "{{.Names}}"],
capture_output=True, text=True, timeout=10).stdout
for n in out.split():
names.append("%s@CT%s" % (n, ct))
except Exception:
continue
hits = [n for n in names if any(k in n.lower() for k in kws)]
return hits[:8], names
def _status(text):
try:
import urllib.request as u
with u.urlopen(HUB + "/status.json", timeout=8) as r:
d = json.loads(r.read())
except Exception:
return ""
low = (text or "").lower()
lines = []
for s in d.get("services") or []:
nm = (s.get("name") or "").lower()
if nm and nm in low:
lines.append("%s: %s (%s:%s)" % (s.get("name"),
"работает" if s.get("up") else "ЛЕЖИТ",
s.get("ip"), s.get("port")))
return "; ".join(lines)
def rca(title, message):
"""Возвращает dict разбора или None. Никогда не бросает."""
chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90},
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}]
parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]]
j = _journal("%s %s" % (title, message))
if j:
parts.append("Ошибки журнала за 2 часа:\n" + j)
st = _status("%s %s" % (title, message))
if st:
parts.append("Состояние: " + st)
hits, allnames = _containers("%s %s" % (title, message))
if allnames:
parts.append("Docker-контейнеры: " + ", ".join(allnames[:30]))
if hits:
parts.append("Похожие контейнеры: " + ", ".join(hits))
try:
r = ask("\n\n".join(parts) + "\n\nВерни JSON.",
system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain)
except LLMUnavailable:
return None
except Exception:
return None
raw = (r.get("text") or "").strip()
m = re.search(r"\{.*\}", raw, re.S)
if not m:
return None
try:
d = json.loads(m.group(0))
except Exception:
return None
if not isinstance(d, dict):
return None
action = d.get("action")
if isinstance(action, dict):
kind = str(action.get("kind") or "")
target = str(action.get("target") or "")
allowed_targets = [n.split("@")[0] for n in allnames] + hits
if kind != "restart_container" or not target or target not in allowed_targets:
action = None
else:
action = None
return {
"hypothesis": str(d.get("hypothesis") or "").strip()[:300],
"evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4],
"steps": [str(x)[:160] for x in (d.get("steps") or [])][:3],
"action": action,
"risk": str(d.get("risk") or "").strip().lower()[:10],
"model": r.get("model"),
"ms": r.get("ms"),
}
def make_approval(rca_obj, title):
"""Создаёт заявку класса C. Возвращает id или None."""
action = rca_obj.get("action") or {}
if not action:
return None
# target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера
import re as _re
target = _re.sub(r"@CT\d+$", "", str(action.get("target") or ""))
try:
sys.path.insert(0, "/opt/hub-agents")
import approvals
added = approvals.add([{
"class": "C",
"action": "restart_container",
"target": target,
"why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200],
}], agent="incident-rca")
return added[0]["id"] if added else None
except Exception:
return None
def format_rca(rca_obj, approval_id=None):
if not rca_obj or not rca_obj.get("hypothesis"):
return ""
lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]]
if rca_obj.get("evidence"):
lines.append("Факты: " + "; ".join(rca_obj["evidence"]))
if rca_obj.get("steps"):
lines.append("Шаги: " + " · ".join(rca_obj["steps"]))
if approval_id:
lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»"
% (rca_obj["action"].get("target"), approval_id))
lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?",
", риск " + rca_obj["risk"] if rca_obj.get("risk") else ""))
return "\n".join(lines)
if __name__ == "__main__":
args = [a for a in sys.argv[1:] if not a.startswith("--")]
title = args[0] if args else "bazarr"
msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически"
t0 = time.time()
r = rca(title, msg)
if not r:
print("RCA: нет ответа модели")
sys.exit(1)
print(json.dumps(r, ensure_ascii=False, indent=2))
aid = make_approval(r, title)
print("\nзаявка:", aid)
print(format_rca(r, aid))
print("\nвремя: %.1f с" % (time.time() - t0))