[PHASE2] RCA инцидента и очеловечивание секретарей. RCA: incident_rca.py врезан в _notify_policy — алерт уходит сразу, разбор приходит вторым сообщением (7b → deepseek-chat), с заявкой на перезапуск и «одобри N»; цикл проверен: #30 approve → bazarr перезапущен в CT120. Критично: _matrix_notify слал через публичный домен изнутри хоста (SSL-handshake timeout, /notify возвращал ok:false и сообщения терялись) — теперь локальный Synapse 192.168.1.155:8008 с фолбэком. Секретари: LLM был ВЫКЛЮЧЕН (нет LLM_API_KEY в окружении hub-bots) — включён через /etc/hub-bots/llm.env + drop-in; персона (живо, без канцелярита, по имени), история 10→20, температура 0.55. Проверено вживую: ответ за 3 с, живой текст

This commit is contained in:
root committed 2026-11-16 16:14:54 +03:00
1 parent 612a0ccfe8
commit 73b317c699
2 files changed
+325

No files matched your search

+103
View File
@@ -0,0 +1,103 @@
# Фаза 2: RCA инцидента + очеловечивание секретарей (16.11.2026)
## Часть 1. LLM-RCA инцидента
### Как работает
1. Критический алерт уходит **сразу** (с триажем) — тревога не ждёт.
2. В фоне запускается RCA: `incident_rca.rca()`.
3. Вторым сообщением в ALERT приходит разбор:
```
—
**Разбор:** Контейнер bazarr@CT120 циклически перезапускается, из-за чего
порт 6767 не отвечает, хотя в сводке он числится работающим.
Факты: контейнер перезапускается циклически; порт 6767 не отвечает;
в похожих контейнерах есть bazarr@CT120
Шаги: docker ps -a --filter name=bazarr на CT120 ·
docker logs --tail 100 bazarr ·
curl -sS -m 5 http://192.168.1.120:6767
Предлагаю: перезапустить `bazarr` — напишите «одобри 30»
_(RCA·deepseek-chat, риск medium)_
```
Модель: qwen2.5:7b (90 с) → deepseek-chat (60 с) — фолбэк через
`llm_fallback`.
### Цикл подтверждения (проверен)
```
заявка #30 [incident-rca] restart_container bazarr — pending
↓ «одобри 30» в чате / approvals.py approve 30
✅ #30 restart_container bazarr@CT120: перезапущен в CT120
```
* белый список действий — только `restart_container` (в `approvals.py`);
* target нормализуется (`bazarr@CT120` → `bazarr`), `execute()` теперь
терпит суффикс CT;
* TTL заявки 24 часа, дубли не создаются.
### Ловушка: уведомления молча терялись
`_matrix_notify` отправлял через **публичный** `https://matrix.buryans.ru`
изнутри хоста. Публичный домен изнутри упирается в DPI/hairpin:
```
_ssl.c:1012: The handshake operation timed out
```
Из-за этого `/notify` возвращал `{"ok": false}` и сообщение терялось.
Исправлено: сначала локальный Synapse (`http://192.168.1.155:8008`),
публичный — только как запасной. Добавлен `HS_LOCAL` в `bots.env`.
## Часть 2. Очеловечивание секретарей
### Корень «странной работы»
`hub/llm.py` включается только при наличии `LLM_BASE_URL` и `LLM_API_KEY`
в окружении, а у `hub-bots.service` их **не было**. Поэтому LLM-путь был
выключен, и секретарь отвечал правилами/шаблонами.
Исправлено:
* `/etc/hub-bots/llm.env` (права 600) — `LLM_BASE_URL`, `LLM_API_KEY`,
`LLM_MODEL=deepseek-chat`, `LLM_TIMEOUT=60`;
* drop-in `/etc/systemd/system/hub-bots.service.d/llm.conf`
с `EnvironmentFile=-/etc/hub-bots/llm.env`;
* проверка: `llm.enabled() → True`.
### Персона и стиль
* новый системный промпт: «помощник Романа, по-русски, живо, без
канцелярита и шаблонов, по имени, 1–3 предложения, честно про незнание»;
* история диалога 10 → **20** сообщений;
* температура 0.3 → **0.55**, `max_tokens` 500.
### Проверка вживую
```
13:13:48 @akadmin: Привет! Как сам? Ночь была тяжёлая, что скажешь про день?
13:13:51 @secretary: Привет! Я в порядке — работаю ровно, без сбоев.
Про «тяжёлую ночь» могу судить только по журналу системы:
если хочешь, гляну события и падения за ночь.
Что именно проверить — сервисы, задания или всё сразу?
```
Ответ за 3 секунды, живой, по делу, с предложением действия.
## Что осталось
* Качество RCA: 7b даёт общие шаги; DeepSeek точнее (фолбэк уже есть).
Можно сделать правило: 7b — гипотеза, DeepSeek — шаги.
* Секретарь в ALERT не читает комнату (игнор-лист) — это правильно.
* Триаж/RCA включаются переменными `TRIAGE_ENABLED` / `RCA_ENABLED`.
## Ловушки
| Ловушка | Что было |
|---|---|
| публичный домен изнутри | SSL-handshake timeout → `/notify` терял сообщения |
| target с `@CT120` | `docker restart bazarr@CT120` не находил контейнер — нормализация |
| `approvals.py list` «заявок нет» | запускал через venv без psycopg2; правильный — `/opt/music-tools/venv` |
| секретарь «странный» | LLM был выключен: не хватало `LLM_API_KEY` в окружении |
| `status.json` 000 | хендлер был занят триажем (~20 с); после — 200 за 1 мс |
+222
View File
@@ -0,0 +1,222 @@
#!/usr/bin/env python3
"""Фаза 2: LLM-RCA инцидента.
Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт
уходит сразу (с триажем), а RCA считается в фоне и приходит вторым
сообщением: гипотеза, доказательства, шаги и — если есть безопасное
действие — заявка на подтверждение (`одобри <id>`).
Действия ограничены белым списком `approvals.ALLOWED` (сейчас только
restart_container). Если модель предлагает что-то вне списка или
несуществующий контейнер — заявка не создаётся.
"""
import json
import os
import re
import subprocess
import sys
import time
sys.path.insert(0, "/opt/hub-core")
from llm_fallback import ask, LLMUnavailable # noqa: E402
HUB = "http://127.0.0.1:9120"
CACHE_DIR = "/var/lib/hub-rca"
SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker,
Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент.
Отвечай СТРОГО одним JSON-объектом:
{"hypothesis": "наиболее вероятная причина, одно предложение",
"evidence": ["факт из контекста", "..."],
"steps": ["что проверить/сделать, до трёх шагов"],
"action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null,
"risk": "low|medium|high"}
Правила:
- только факты из контекста; если их мало — hypothesis начинай со «вероятно»;
- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps);
- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container;
- если безопасного действия нет — action: null;
- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»;
- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM."""
def _keywords(text, limit=3):
words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "")
stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка",
"тревога", "ошибка", "контейнер", "перезапускается", "циклически"}
out = []
for w in words:
lw = w.lower()
if lw in stop or lw in [x.lower() for x in out]:
continue
out.append(w)
if len(out) >= limit:
break
return out
def _journal(text, minutes=120, limit=8):
kws = _keywords(text)
try:
r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err",
"--no-pager", "-n", "600"],
capture_output=True, text=True, timeout=25)
lines = (r.stdout or "").splitlines()
except Exception:
return ""
if kws:
pat = re.compile("|".join(re.escape(k) for k in kws), re.I)
lines = [ln for ln in lines if pat.search(ln)]
return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800]
def _containers(text):
"""Список docker-контейнеров, которые могут быть виновником."""
kws = [k.lower() for k in _keywords(text)]
names = []
try:
out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"],
capture_output=True, text=True, timeout=15).stdout
names += out.split()
except Exception:
pass
# контейнеры внутри CT, если в тексте есть имя CT/сервиса
for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118",
"119", "120", "121", "122", "127", "134", "140", "155"):
try:
out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps",
"--format", "{{.Names}}"],
capture_output=True, text=True, timeout=10).stdout
for n in out.split():
names.append("%s@CT%s" % (n, ct))
except Exception:
continue
hits = [n for n in names if any(k in n.lower() for k in kws)]
return hits[:8], names
def _status(text):
try:
import urllib.request as u
with u.urlopen(HUB + "/status.json", timeout=8) as r:
d = json.loads(r.read())
except Exception:
return ""
low = (text or "").lower()
lines = []
for s in d.get("services") or []:
nm = (s.get("name") or "").lower()
if nm and nm in low:
lines.append("%s: %s (%s:%s)" % (s.get("name"),
"работает" if s.get("up") else "ЛЕЖИТ",
s.get("ip"), s.get("port")))
return "; ".join(lines)
def rca(title, message):
"""Возвращает dict разбора или None. Никогда не бросает."""
chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90},
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}]
parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]]
j = _journal("%s %s" % (title, message))
if j:
parts.append("Ошибки журнала за 2 часа:\n" + j)
st = _status("%s %s" % (title, message))
if st:
parts.append("Состояние: " + st)
hits, allnames = _containers("%s %s" % (title, message))
if allnames:
parts.append("Docker-контейнеры: " + ", ".join(allnames[:30]))
if hits:
parts.append("Похожие контейнеры: " + ", ".join(hits))
try:
r = ask("\n\n".join(parts) + "\n\nВерни JSON.",
system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain)
except LLMUnavailable:
return None
except Exception:
return None
raw = (r.get("text") or "").strip()
m = re.search(r"\{.*\}", raw, re.S)
if not m:
return None
try:
d = json.loads(m.group(0))
except Exception:
return None
if not isinstance(d, dict):
return None
action = d.get("action")
if isinstance(action, dict):
kind = str(action.get("kind") or "")
target = str(action.get("target") or "")
allowed_targets = [n.split("@")[0] for n in allnames] + hits
if kind != "restart_container" or not target or target not in allowed_targets:
action = None
else:
action = None
return {
"hypothesis": str(d.get("hypothesis") or "").strip()[:300],
"evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4],
"steps": [str(x)[:160] for x in (d.get("steps") or [])][:3],
"action": action,
"risk": str(d.get("risk") or "").strip().lower()[:10],
"model": r.get("model"),
"ms": r.get("ms"),
}
def make_approval(rca_obj, title):
"""Создаёт заявку класса C. Возвращает id или None."""
action = rca_obj.get("action") or {}
if not action:
return None
# target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера
import re as _re
target = _re.sub(r"@CT\d+$", "", str(action.get("target") or ""))
try:
sys.path.insert(0, "/opt/hub-agents")
import approvals
added = approvals.add([{
"class": "C",
"action": "restart_container",
"target": target,
"why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200],
}], agent="incident-rca")
return added[0]["id"] if added else None
except Exception:
return None
def format_rca(rca_obj, approval_id=None):
if not rca_obj or not rca_obj.get("hypothesis"):
return ""
lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]]
if rca_obj.get("evidence"):
lines.append("Факты: " + "; ".join(rca_obj["evidence"]))
if rca_obj.get("steps"):
lines.append("Шаги: " + " · ".join(rca_obj["steps"]))
if approval_id:
lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»"
% (rca_obj["action"].get("target"), approval_id))
lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?",
", риск " + rca_obj["risk"] if rca_obj.get("risk") else ""))
return "\n".join(lines)
if __name__ == "__main__":
args = [a for a in sys.argv[1:] if not a.startswith("--")]
title = args[0] if args else "bazarr"
msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически"
t0 = time.time()
r = rca(title, msg)
if not r:
print("RCA: нет ответа модели")
sys.exit(1)
print(json.dumps(r, ensure_ascii=False, indent=2))
aid = make_approval(r, title)
print("\nзаявка:", aid)
print(format_rca(r, aid))
print("\nвремя: %.1f с" % (time.time() - t0))