diff --git a/ops/audits/PHASE2-RCA-HUMAN-2026-11-16.md b/ops/audits/PHASE2-RCA-HUMAN-2026-11-16.md new file mode 100644 index 0000000..658e48b --- /dev/null +++ b/ops/audits/PHASE2-RCA-HUMAN-2026-11-16.md @@ -0,0 +1,103 @@ +# Фаза 2: RCA инцидента + очеловечивание секретарей (16.11.2026) + +## Часть 1. LLM-RCA инцидента + +### Как работает + +1. Критический алерт уходит **сразу** (с триажем) — тревога не ждёт. +2. В фоне запускается RCA: `incident_rca.rca()`. +3. Вторым сообщением в ALERT приходит разбор: + +``` +— +**Разбор:** Контейнер bazarr@CT120 циклически перезапускается, из-за чего +порт 6767 не отвечает, хотя в сводке он числится работающим. +Факты: контейнер перезапускается циклически; порт 6767 не отвечает; + в похожих контейнерах есть bazarr@CT120 +Шаги: docker ps -a --filter name=bazarr на CT120 · + docker logs --tail 100 bazarr · + curl -sS -m 5 http://192.168.1.120:6767 +Предлагаю: перезапустить `bazarr` — напишите «одобри 30» +_(RCA·deepseek-chat, риск medium)_ +``` + +Модель: qwen2.5:7b (90 с) → deepseek-chat (60 с) — фолбэк через +`llm_fallback`. + +### Цикл подтверждения (проверен) + +``` +заявка #30 [incident-rca] restart_container bazarr — pending + ↓ «одобри 30» в чате / approvals.py approve 30 +✅ #30 restart_container bazarr@CT120: перезапущен в CT120 +``` + +* белый список действий — только `restart_container` (в `approvals.py`); +* target нормализуется (`bazarr@CT120` → `bazarr`), `execute()` теперь + терпит суффикс CT; +* TTL заявки 24 часа, дубли не создаются. + +### Ловушка: уведомления молча терялись + +`_matrix_notify` отправлял через **публичный** `https://matrix.buryans.ru` +изнутри хоста. Публичный домен изнутри упирается в DPI/hairpin: + +``` +_ssl.c:1012: The handshake operation timed out +``` + +Из-за этого `/notify` возвращал `{"ok": false}` и сообщение терялось. +Исправлено: сначала локальный Synapse (`http://192.168.1.155:8008`), +публичный — только как запасной. Добавлен `HS_LOCAL` в `bots.env`. + +## Часть 2. Очеловечивание секретарей + +### Корень «странной работы» + +`hub/llm.py` включается только при наличии `LLM_BASE_URL` и `LLM_API_KEY` +в окружении, а у `hub-bots.service` их **не было**. Поэтому LLM-путь был +выключен, и секретарь отвечал правилами/шаблонами. + +Исправлено: + +* `/etc/hub-bots/llm.env` (права 600) — `LLM_BASE_URL`, `LLM_API_KEY`, + `LLM_MODEL=deepseek-chat`, `LLM_TIMEOUT=60`; +* drop-in `/etc/systemd/system/hub-bots.service.d/llm.conf` + с `EnvironmentFile=-/etc/hub-bots/llm.env`; +* проверка: `llm.enabled() → True`. + +### Персона и стиль + +* новый системный промпт: «помощник Романа, по-русски, живо, без + канцелярита и шаблонов, по имени, 1–3 предложения, честно про незнание»; +* история диалога 10 → **20** сообщений; +* температура 0.3 → **0.55**, `max_tokens` 500. + +### Проверка вживую + +``` +13:13:48 @akadmin: Привет! Как сам? Ночь была тяжёлая, что скажешь про день? +13:13:51 @secretary: Привет! Я в порядке — работаю ровно, без сбоев. + Про «тяжёлую ночь» могу судить только по журналу системы: + если хочешь, гляну события и падения за ночь. + Что именно проверить — сервисы, задания или всё сразу? +``` + +Ответ за 3 секунды, живой, по делу, с предложением действия. + +## Что осталось + +* Качество RCA: 7b даёт общие шаги; DeepSeek точнее (фолбэк уже есть). + Можно сделать правило: 7b — гипотеза, DeepSeek — шаги. +* Секретарь в ALERT не читает комнату (игнор-лист) — это правильно. +* Триаж/RCA включаются переменными `TRIAGE_ENABLED` / `RCA_ENABLED`. + +## Ловушки + +| Ловушка | Что было | +|---|---| +| публичный домен изнутри | SSL-handshake timeout → `/notify` терял сообщения | +| target с `@CT120` | `docker restart bazarr@CT120` не находил контейнер — нормализация | +| `approvals.py list` «заявок нет» | запускал через venv без psycopg2; правильный — `/opt/music-tools/venv` | +| секретарь «странный» | LLM был выключен: не хватало `LLM_API_KEY` в окружении | +| `status.json` 000 | хендлер был занят триажем (~20 с); после — 200 за 1 мс | diff --git a/ops/scripts/incident_rca.py b/ops/scripts/incident_rca.py new file mode 100755 index 0000000..2ef412d --- /dev/null +++ b/ops/scripts/incident_rca.py @@ -0,0 +1,222 @@ +#!/usr/bin/env python3 +"""Фаза 2: LLM-RCA инцидента. + +Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт +уходит сразу (с триажем), а RCA считается в фоне и приходит вторым +сообщением: гипотеза, доказательства, шаги и — если есть безопасное +действие — заявка на подтверждение (`одобри `). + +Действия ограничены белым списком `approvals.ALLOWED` (сейчас только +restart_container). Если модель предлагает что-то вне списка или +несуществующий контейнер — заявка не создаётся. +""" +import json +import os +import re +import subprocess +import sys +import time + +sys.path.insert(0, "/opt/hub-core") +from llm_fallback import ask, LLMUnavailable # noqa: E402 + +HUB = "http://127.0.0.1:9120" +CACHE_DIR = "/var/lib/hub-rca" + +SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker, +Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент. + +Отвечай СТРОГО одним JSON-объектом: +{"hypothesis": "наиболее вероятная причина, одно предложение", + "evidence": ["факт из контекста", "..."], + "steps": ["что проверить/сделать, до трёх шагов"], + "action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null, + "risk": "low|medium|high"} + +Правила: +- только факты из контекста; если их мало — hypothesis начинай со «вероятно»; +- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps); +- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container; +- если безопасного действия нет — action: null; +- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»; +- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM.""" + + +def _keywords(text, limit=3): + words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "") + stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка", + "тревога", "ошибка", "контейнер", "перезапускается", "циклически"} + out = [] + for w in words: + lw = w.lower() + if lw in stop or lw in [x.lower() for x in out]: + continue + out.append(w) + if len(out) >= limit: + break + return out + + +def _journal(text, minutes=120, limit=8): + kws = _keywords(text) + try: + r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err", + "--no-pager", "-n", "600"], + capture_output=True, text=True, timeout=25) + lines = (r.stdout or "").splitlines() + except Exception: + return "" + if kws: + pat = re.compile("|".join(re.escape(k) for k in kws), re.I) + lines = [ln for ln in lines if pat.search(ln)] + return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800] + + +def _containers(text): + """Список docker-контейнеров, которые могут быть виновником.""" + kws = [k.lower() for k in _keywords(text)] + names = [] + try: + out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"], + capture_output=True, text=True, timeout=15).stdout + names += out.split() + except Exception: + pass + # контейнеры внутри CT, если в тексте есть имя CT/сервиса + for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118", + "119", "120", "121", "122", "127", "134", "140", "155"): + try: + out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps", + "--format", "{{.Names}}"], + capture_output=True, text=True, timeout=10).stdout + for n in out.split(): + names.append("%s@CT%s" % (n, ct)) + except Exception: + continue + hits = [n for n in names if any(k in n.lower() for k in kws)] + return hits[:8], names + + +def _status(text): + try: + import urllib.request as u + with u.urlopen(HUB + "/status.json", timeout=8) as r: + d = json.loads(r.read()) + except Exception: + return "" + low = (text or "").lower() + lines = [] + for s in d.get("services") or []: + nm = (s.get("name") or "").lower() + if nm and nm in low: + lines.append("%s: %s (%s:%s)" % (s.get("name"), + "работает" if s.get("up") else "ЛЕЖИТ", + s.get("ip"), s.get("port"))) + return "; ".join(lines) + + +def rca(title, message): + """Возвращает dict разбора или None. Никогда не бросает.""" + chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90}, + {"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}] + parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]] + j = _journal("%s %s" % (title, message)) + if j: + parts.append("Ошибки журнала за 2 часа:\n" + j) + st = _status("%s %s" % (title, message)) + if st: + parts.append("Состояние: " + st) + hits, allnames = _containers("%s %s" % (title, message)) + if allnames: + parts.append("Docker-контейнеры: " + ", ".join(allnames[:30])) + if hits: + parts.append("Похожие контейнеры: " + ", ".join(hits)) + try: + r = ask("\n\n".join(parts) + "\n\nВерни JSON.", + system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain) + except LLMUnavailable: + return None + except Exception: + return None + raw = (r.get("text") or "").strip() + m = re.search(r"\{.*\}", raw, re.S) + if not m: + return None + try: + d = json.loads(m.group(0)) + except Exception: + return None + if not isinstance(d, dict): + return None + action = d.get("action") + if isinstance(action, dict): + kind = str(action.get("kind") or "") + target = str(action.get("target") or "") + allowed_targets = [n.split("@")[0] for n in allnames] + hits + if kind != "restart_container" or not target or target not in allowed_targets: + action = None + else: + action = None + return { + "hypothesis": str(d.get("hypothesis") or "").strip()[:300], + "evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4], + "steps": [str(x)[:160] for x in (d.get("steps") or [])][:3], + "action": action, + "risk": str(d.get("risk") or "").strip().lower()[:10], + "model": r.get("model"), + "ms": r.get("ms"), + } + + +def make_approval(rca_obj, title): + """Создаёт заявку класса C. Возвращает id или None.""" + action = rca_obj.get("action") or {} + if not action: + return None + # target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера + import re as _re + target = _re.sub(r"@CT\d+$", "", str(action.get("target") or "")) + try: + sys.path.insert(0, "/opt/hub-agents") + import approvals + added = approvals.add([{ + "class": "C", + "action": "restart_container", + "target": target, + "why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200], + }], agent="incident-rca") + return added[0]["id"] if added else None + except Exception: + return None + + +def format_rca(rca_obj, approval_id=None): + if not rca_obj or not rca_obj.get("hypothesis"): + return "" + lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]] + if rca_obj.get("evidence"): + lines.append("Факты: " + "; ".join(rca_obj["evidence"])) + if rca_obj.get("steps"): + lines.append("Шаги: " + " · ".join(rca_obj["steps"])) + if approval_id: + lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»" + % (rca_obj["action"].get("target"), approval_id)) + lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?", + ", риск " + rca_obj["risk"] if rca_obj.get("risk") else "")) + return "\n".join(lines) + + +if __name__ == "__main__": + args = [a for a in sys.argv[1:] if not a.startswith("--")] + title = args[0] if args else "bazarr" + msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически" + t0 = time.time() + r = rca(title, msg) + if not r: + print("RCA: нет ответа модели") + sys.exit(1) + print(json.dumps(r, ensure_ascii=False, indent=2)) + aid = make_approval(r, title) + print("\nзаявка:", aid) + print(format_rca(r, aid)) + print("\nвремя: %.1f с" % (time.time() - t0))