[PHASE2] RCA инцидента и очеловечивание секретарей. RCA: incident_rca.py врезан в _notify_policy — алерт уходит сразу, разбор приходит вторым сообщением (7b → deepseek-chat), с заявкой на перезапуск и «одобри N»; цикл проверен: #30 approve → bazarr перезапущен в CT120. Критично: _matrix_notify слал через публичный домен изнутри хоста (SSL-handshake timeout, /notify возвращал ok:false и сообщения терялись) — теперь локальный Synapse 192.168.1.155:8008 с фолбэком. Секретари: LLM был ВЫКЛЮЧЕН (нет LLM_API_KEY в окружении hub-bots) — включён через /etc/hub-bots/llm.env + drop-in; персона (живо, без канцелярита, по имени), история 10→20, температура 0.55. Проверено вживую: ответ за 3 с, живой текст
This commit is contained in:
1 parent
612a0ccfe8
commit
73b317c699
2 files changed
+325
No files matched your search
@@ -0,0 +1,103 @@
|
||||
# Фаза 2: RCA инцидента + очеловечивание секретарей (16.11.2026)
|
||||
|
||||
## Часть 1. LLM-RCA инцидента
|
||||
|
||||
### Как работает
|
||||
|
||||
1. Критический алерт уходит **сразу** (с триажем) — тревога не ждёт.
|
||||
2. В фоне запускается RCA: `incident_rca.rca()`.
|
||||
3. Вторым сообщением в ALERT приходит разбор:
|
||||
|
||||
```
|
||||
—
|
||||
**Разбор:** Контейнер bazarr@CT120 циклически перезапускается, из-за чего
|
||||
порт 6767 не отвечает, хотя в сводке он числится работающим.
|
||||
Факты: контейнер перезапускается циклически; порт 6767 не отвечает;
|
||||
в похожих контейнерах есть bazarr@CT120
|
||||
Шаги: docker ps -a --filter name=bazarr на CT120 ·
|
||||
docker logs --tail 100 bazarr ·
|
||||
curl -sS -m 5 http://192.168.1.120:6767
|
||||
Предлагаю: перезапустить `bazarr` — напишите «одобри 30»
|
||||
_(RCA·deepseek-chat, риск medium)_
|
||||
```
|
||||
|
||||
Модель: qwen2.5:7b (90 с) → deepseek-chat (60 с) — фолбэк через
|
||||
`llm_fallback`.
|
||||
|
||||
### Цикл подтверждения (проверен)
|
||||
|
||||
```
|
||||
заявка #30 [incident-rca] restart_container bazarr — pending
|
||||
↓ «одобри 30» в чате / approvals.py approve 30
|
||||
✅ #30 restart_container bazarr@CT120: перезапущен в CT120
|
||||
```
|
||||
|
||||
* белый список действий — только `restart_container` (в `approvals.py`);
|
||||
* target нормализуется (`bazarr@CT120` → `bazarr`), `execute()` теперь
|
||||
терпит суффикс CT;
|
||||
* TTL заявки 24 часа, дубли не создаются.
|
||||
|
||||
### Ловушка: уведомления молча терялись
|
||||
|
||||
`_matrix_notify` отправлял через **публичный** `https://matrix.buryans.ru`
|
||||
изнутри хоста. Публичный домен изнутри упирается в DPI/hairpin:
|
||||
|
||||
```
|
||||
_ssl.c:1012: The handshake operation timed out
|
||||
```
|
||||
|
||||
Из-за этого `/notify` возвращал `{"ok": false}` и сообщение терялось.
|
||||
Исправлено: сначала локальный Synapse (`http://192.168.1.155:8008`),
|
||||
публичный — только как запасной. Добавлен `HS_LOCAL` в `bots.env`.
|
||||
|
||||
## Часть 2. Очеловечивание секретарей
|
||||
|
||||
### Корень «странной работы»
|
||||
|
||||
`hub/llm.py` включается только при наличии `LLM_BASE_URL` и `LLM_API_KEY`
|
||||
в окружении, а у `hub-bots.service` их **не было**. Поэтому LLM-путь был
|
||||
выключен, и секретарь отвечал правилами/шаблонами.
|
||||
|
||||
Исправлено:
|
||||
|
||||
* `/etc/hub-bots/llm.env` (права 600) — `LLM_BASE_URL`, `LLM_API_KEY`,
|
||||
`LLM_MODEL=deepseek-chat`, `LLM_TIMEOUT=60`;
|
||||
* drop-in `/etc/systemd/system/hub-bots.service.d/llm.conf`
|
||||
с `EnvironmentFile=-/etc/hub-bots/llm.env`;
|
||||
* проверка: `llm.enabled() → True`.
|
||||
|
||||
### Персона и стиль
|
||||
|
||||
* новый системный промпт: «помощник Романа, по-русски, живо, без
|
||||
канцелярита и шаблонов, по имени, 1–3 предложения, честно про незнание»;
|
||||
* история диалога 10 → **20** сообщений;
|
||||
* температура 0.3 → **0.55**, `max_tokens` 500.
|
||||
|
||||
### Проверка вживую
|
||||
|
||||
```
|
||||
13:13:48 @akadmin: Привет! Как сам? Ночь была тяжёлая, что скажешь про день?
|
||||
13:13:51 @secretary: Привет! Я в порядке — работаю ровно, без сбоев.
|
||||
Про «тяжёлую ночь» могу судить только по журналу системы:
|
||||
если хочешь, гляну события и падения за ночь.
|
||||
Что именно проверить — сервисы, задания или всё сразу?
|
||||
```
|
||||
|
||||
Ответ за 3 секунды, живой, по делу, с предложением действия.
|
||||
|
||||
## Что осталось
|
||||
|
||||
* Качество RCA: 7b даёт общие шаги; DeepSeek точнее (фолбэк уже есть).
|
||||
Можно сделать правило: 7b — гипотеза, DeepSeek — шаги.
|
||||
* Секретарь в ALERT не читает комнату (игнор-лист) — это правильно.
|
||||
* Триаж/RCA включаются переменными `TRIAGE_ENABLED` / `RCA_ENABLED`.
|
||||
|
||||
## Ловушки
|
||||
|
||||
| Ловушка | Что было |
|
||||
|---|---|
|
||||
| публичный домен изнутри | SSL-handshake timeout → `/notify` терял сообщения |
|
||||
| target с `@CT120` | `docker restart bazarr@CT120` не находил контейнер — нормализация |
|
||||
| `approvals.py list` «заявок нет» | запускал через venv без psycopg2; правильный — `/opt/music-tools/venv` |
|
||||
| секретарь «странный» | LLM был выключен: не хватало `LLM_API_KEY` в окружении |
|
||||
| `status.json` 000 | хендлер был занят триажем (~20 с); после — 200 за 1 мс |
|
||||
Executable
+222
@@ -0,0 +1,222 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Фаза 2: LLM-RCA инцидента.
|
||||
|
||||
Когда приходит критический алерт, мы НЕ задерживаем его отправку: алерт
|
||||
уходит сразу (с триажем), а RCA считается в фоне и приходит вторым
|
||||
сообщением: гипотеза, доказательства, шаги и — если есть безопасное
|
||||
действие — заявка на подтверждение (`одобри <id>`).
|
||||
|
||||
Действия ограничены белым списком `approvals.ALLOWED` (сейчас только
|
||||
restart_container). Если модель предлагает что-то вне списка или
|
||||
несуществующий контейнер — заявка не создаётся.
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import re
|
||||
import subprocess
|
||||
import sys
|
||||
import time
|
||||
|
||||
sys.path.insert(0, "/opt/hub-core")
|
||||
from llm_fallback import ask, LLMUnavailable # noqa: E402
|
||||
|
||||
HUB = "http://127.0.0.1:9120"
|
||||
CACHE_DIR = "/var/lib/hub-rca"
|
||||
|
||||
SYSTEM = """Ты — инженер эксплуатации домашней инфраструктуры (Proxmox, LXC/Docker,
|
||||
Matrix, LLM, медиа). Тебе дают алерт и факты. Нужно разобрать инцидент.
|
||||
|
||||
Отвечай СТРОГО одним JSON-объектом:
|
||||
{"hypothesis": "наиболее вероятная причина, одно предложение",
|
||||
"evidence": ["факт из контекста", "..."],
|
||||
"steps": ["что проверить/сделать, до трёх шагов"],
|
||||
"action": {"kind": "restart_container", "target": "имя docker-контейнера"} или null,
|
||||
"risk": "low|medium|high"}
|
||||
|
||||
Правила:
|
||||
- только факты из контекста; если их мало — hypothesis начинай со «вероятно»;
|
||||
- target — ТОЛЬКО имя контейнера, которое реально есть в контексте (список docker ps);
|
||||
- если контейнер явно циклически перезапускается или лежит и его имя есть в списке Docker-контейнеров — предложи action restart_container;
|
||||
- если безопасного действия нет — action: null;
|
||||
- шаги должны быть проверяемыми (команда/что открыть), без «проверить логи»;
|
||||
- не делай вывод об отсутствии сервиса только потому, что его нет в списке docker ps на хосте: он может жить в контейнере/VM."""
|
||||
|
||||
|
||||
def _keywords(text, limit=3):
|
||||
words = re.findall(r"[A-Za-zА-Яа-яЁё][A-Za-zА-Яа-яЁё0-9_-]{3,}", text or "")
|
||||
stop = {"сервер", "служба", "недоступна", "недоступен", "работает", "проверка",
|
||||
"тревога", "ошибка", "контейнер", "перезапускается", "циклически"}
|
||||
out = []
|
||||
for w in words:
|
||||
lw = w.lower()
|
||||
if lw in stop or lw in [x.lower() for x in out]:
|
||||
continue
|
||||
out.append(w)
|
||||
if len(out) >= limit:
|
||||
break
|
||||
return out
|
||||
|
||||
|
||||
def _journal(text, minutes=120, limit=8):
|
||||
kws = _keywords(text)
|
||||
try:
|
||||
r = subprocess.run(["journalctl", "--since", "-%d min" % minutes, "-p", "err",
|
||||
"--no-pager", "-n", "600"],
|
||||
capture_output=True, text=True, timeout=25)
|
||||
lines = (r.stdout or "").splitlines()
|
||||
except Exception:
|
||||
return ""
|
||||
if kws:
|
||||
pat = re.compile("|".join(re.escape(k) for k in kws), re.I)
|
||||
lines = [ln for ln in lines if pat.search(ln)]
|
||||
return "\n".join(ln.strip() for ln in lines[-limit:] if ln.strip())[:800]
|
||||
|
||||
|
||||
def _containers(text):
|
||||
"""Список docker-контейнеров, которые могут быть виновником."""
|
||||
kws = [k.lower() for k in _keywords(text)]
|
||||
names = []
|
||||
try:
|
||||
out = subprocess.run(["docker", "ps", "--format", "{{.Names}}"],
|
||||
capture_output=True, text=True, timeout=15).stdout
|
||||
names += out.split()
|
||||
except Exception:
|
||||
pass
|
||||
# контейнеры внутри CT, если в тексте есть имя CT/сервиса
|
||||
for ct in ("103", "106", "107", "108", "109", "110", "113", "117", "118",
|
||||
"119", "120", "121", "122", "127", "134", "140", "155"):
|
||||
try:
|
||||
out = subprocess.run(["pct", "exec", ct, "--", "docker", "ps",
|
||||
"--format", "{{.Names}}"],
|
||||
capture_output=True, text=True, timeout=10).stdout
|
||||
for n in out.split():
|
||||
names.append("%s@CT%s" % (n, ct))
|
||||
except Exception:
|
||||
continue
|
||||
hits = [n for n in names if any(k in n.lower() for k in kws)]
|
||||
return hits[:8], names
|
||||
|
||||
|
||||
def _status(text):
|
||||
try:
|
||||
import urllib.request as u
|
||||
with u.urlopen(HUB + "/status.json", timeout=8) as r:
|
||||
d = json.loads(r.read())
|
||||
except Exception:
|
||||
return ""
|
||||
low = (text or "").lower()
|
||||
lines = []
|
||||
for s in d.get("services") or []:
|
||||
nm = (s.get("name") or "").lower()
|
||||
if nm and nm in low:
|
||||
lines.append("%s: %s (%s:%s)" % (s.get("name"),
|
||||
"работает" if s.get("up") else "ЛЕЖИТ",
|
||||
s.get("ip"), s.get("port")))
|
||||
return "; ".join(lines)
|
||||
|
||||
|
||||
def rca(title, message):
|
||||
"""Возвращает dict разбора или None. Никогда не бросает."""
|
||||
chain = [{"name": "qwen2.5:7b", "kind": "ollama", "timeout": 90},
|
||||
{"name": "deepseek-chat", "kind": "deepseek", "timeout": 60}]
|
||||
parts = ["Заголовок: %s" % title, "Текст: %s" % (message or "")[:600]]
|
||||
j = _journal("%s %s" % (title, message))
|
||||
if j:
|
||||
parts.append("Ошибки журнала за 2 часа:\n" + j)
|
||||
st = _status("%s %s" % (title, message))
|
||||
if st:
|
||||
parts.append("Состояние: " + st)
|
||||
hits, allnames = _containers("%s %s" % (title, message))
|
||||
if allnames:
|
||||
parts.append("Docker-контейнеры: " + ", ".join(allnames[:30]))
|
||||
if hits:
|
||||
parts.append("Похожие контейнеры: " + ", ".join(hits))
|
||||
try:
|
||||
r = ask("\n\n".join(parts) + "\n\nВерни JSON.",
|
||||
system=SYSTEM, max_tokens=300, temperature=0.2, chain=chain)
|
||||
except LLMUnavailable:
|
||||
return None
|
||||
except Exception:
|
||||
return None
|
||||
raw = (r.get("text") or "").strip()
|
||||
m = re.search(r"\{.*\}", raw, re.S)
|
||||
if not m:
|
||||
return None
|
||||
try:
|
||||
d = json.loads(m.group(0))
|
||||
except Exception:
|
||||
return None
|
||||
if not isinstance(d, dict):
|
||||
return None
|
||||
action = d.get("action")
|
||||
if isinstance(action, dict):
|
||||
kind = str(action.get("kind") or "")
|
||||
target = str(action.get("target") or "")
|
||||
allowed_targets = [n.split("@")[0] for n in allnames] + hits
|
||||
if kind != "restart_container" or not target or target not in allowed_targets:
|
||||
action = None
|
||||
else:
|
||||
action = None
|
||||
return {
|
||||
"hypothesis": str(d.get("hypothesis") or "").strip()[:300],
|
||||
"evidence": [str(x)[:160] for x in (d.get("evidence") or [])][:4],
|
||||
"steps": [str(x)[:160] for x in (d.get("steps") or [])][:3],
|
||||
"action": action,
|
||||
"risk": str(d.get("risk") or "").strip().lower()[:10],
|
||||
"model": r.get("model"),
|
||||
"ms": r.get("ms"),
|
||||
}
|
||||
|
||||
|
||||
def make_approval(rca_obj, title):
|
||||
"""Создаёт заявку класса C. Возвращает id или None."""
|
||||
action = rca_obj.get("action") or {}
|
||||
if not action:
|
||||
return None
|
||||
# target может быть "bazarr@CT120" — заявке нужно чистое имя контейнера
|
||||
import re as _re
|
||||
target = _re.sub(r"@CT\d+$", "", str(action.get("target") or ""))
|
||||
try:
|
||||
sys.path.insert(0, "/opt/hub-agents")
|
||||
import approvals
|
||||
added = approvals.add([{
|
||||
"class": "C",
|
||||
"action": "restart_container",
|
||||
"target": target,
|
||||
"why": "RCA: %s" % (rca_obj.get("hypothesis") or title)[:200],
|
||||
}], agent="incident-rca")
|
||||
return added[0]["id"] if added else None
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
|
||||
def format_rca(rca_obj, approval_id=None):
|
||||
if not rca_obj or not rca_obj.get("hypothesis"):
|
||||
return ""
|
||||
lines = ["", "—", "**Разбор:** " + rca_obj["hypothesis"]]
|
||||
if rca_obj.get("evidence"):
|
||||
lines.append("Факты: " + "; ".join(rca_obj["evidence"]))
|
||||
if rca_obj.get("steps"):
|
||||
lines.append("Шаги: " + " · ".join(rca_obj["steps"]))
|
||||
if approval_id:
|
||||
lines.append("Предлагаю: перезапустить `%s` — напишите «одобри %s»"
|
||||
% (rca_obj["action"].get("target"), approval_id))
|
||||
lines.append("_(RCA·%s%s)_" % (rca_obj.get("model") or "?",
|
||||
", риск " + rca_obj["risk"] if rca_obj.get("risk") else ""))
|
||||
return "\n".join(lines)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
args = [a for a in sys.argv[1:] if not a.startswith("--")]
|
||||
title = args[0] if args else "bazarr"
|
||||
msg = args[1] if len(args) > 1 else "контейнер перезапускается циклически"
|
||||
t0 = time.time()
|
||||
r = rca(title, msg)
|
||||
if not r:
|
||||
print("RCA: нет ответа модели")
|
||||
sys.exit(1)
|
||||
print(json.dumps(r, ensure_ascii=False, indent=2))
|
||||
aid = make_approval(r, title)
|
||||
print("\nзаявка:", aid)
|
||||
print(format_rca(r, aid))
|
||||
print("\nвремя: %.1f с" % (time.time() - t0))
|
||||
Reference in new issue
Block a user