diff --git a/ops/audits/OPENCLAW-GUARD-2026-11-17.md b/ops/audits/OPENCLAW-GUARD-2026-11-17.md new file mode 100644 index 0000000..0b1ff58 --- /dev/null +++ b/ops/audits/OPENCLAW-GUARD-2026-11-17.md @@ -0,0 +1,39 @@ +# OpenClaw guard: самовосстановление после state-lock (17.11.2026) + +## Симптом + +На длинных агентских turn'ах (медиа-запросы 80–108 с) gateway становился +недоступен: CLI получал «Gateway not reachable», контейнер уходил в +doctor/maintenance, дальше — ожидание предыдущего owner и цикл. + +## Что сделано + +`ops/scripts/openclaw_guard.sh` + systemd timer (каждую минуту): + +* проверяет `openclaw health`; +* если gateway не отвечает 3 проверки (или 8 на фазе startup) — + останавливает контейнер, сохраняет `openclaw.sqlite.guard-`, + удаляет `agent_database_leases` и tmp-locks, запускает контейнер; +* уведомление в ALERT (high); +* защита от параллельных запусков через flock. + +Установлено: +``` +openclaw-guard.timer active +openclaw-guard.service oneshot +``` + +## Ограничение + +Это **операционный fix**, а не устранение корневой причины в OpenClaw: +долгий turn всё ещё может оборваться, но система восстанавливается +автоматически за ~3–4 минуты вместо ручного recovery. + +Eval увеличен до ожидания 240 с и повтора запроса. + +## Как проверить + +```bash +systemctl status openclaw-guard.timer +tail -5 /var/log/hub/openclaw-guard.log +``` diff --git a/ops/scripts/openclaw_guard.sh b/ops/scripts/openclaw_guard.sh new file mode 100755 index 0000000..da958b2 --- /dev/null +++ b/ops/scripts/openclaw_guard.sh @@ -0,0 +1,47 @@ +#!/bin/bash +# OpenClaw guard: если gateway не отвечает >3 минут — снять lease/locks и перезапустить. +set -u +LOG=/var/log/hub/openclaw-guard.log +STATE=/var/lib/openclaw-guard.state +mkdir -p /var/log/hub +touch "$LOG" +exec 9>/var/lib/openclaw-guard.lock +flock -n 9 || exit 0 + +H=$(pct exec 115 -- docker exec openclaw node openclaw.mjs health 2>&1 | tr '\n' ' ') +if echo "$H" | grep -q "Agents:"; then + echo 0 > "$STATE"; exit 0 +fi +N=$(( $(cat "$STATE" 2>/dev/null || echo 0) + 1 )) +echo "$N" > "$STATE" +echo "$(date '+%F %T') unhealthy=$N: ${H:0:120}" >> "$LOG" + +# стартовая фаза может длиться долго — даём 8 проверок, иначе 3 +LIMIT=3 +echo "$H" | grep -qi "still starting" && LIMIT=8 +[ "$N" -lt "$LIMIT" ] && exit 0 + +echo "$(date '+%F %T') RECOVER after $N checks" >> "$LOG" +pct exec 115 -- docker update --restart=no openclaw >/dev/null 2>&1 || true +pct exec 115 -- docker stop openclaw >/dev/null 2>&1 || true +for i in $(seq 1 10); do + S=$(pct exec 115 -- docker inspect -f '{{.State.Status}}' openclaw 2>/dev/null || echo none) + [ "$S" = "exited" ] && break + sleep 2 +done +TS=$(date +%s) +pct exec 115 -- cp /opt/openclaw/state/openclaw.sqlite /opt/openclaw/state/openclaw.sqlite.guard-$TS 2>/dev/null || true +pct exec 115 -- python3 - <<'PY' >>"$LOG" 2>&1 +import sqlite3 +try: + c=sqlite3.connect("/opt/openclaw/state/openclaw.sqlite") + c.execute("delete from agent_database_leases"); c.commit() + print("leases cleared") +except Exception as e: print("lease clear:", e) +PY +pct exec 115 -- rm -f /opt/openclaw/tmp/openclaw-1000/*.lock +pct exec 115 -- docker start openclaw >/dev/null 2>&1 || true +pct exec 115 -- docker update --restart=unless-stopped openclaw >/dev/null 2>&1 || true +echo 0 > "$STATE" +/usr/bin/python3 /opt/buryan-hub/scripts/notify.py --priority high \ + --title "OpenClaw guard: перезапуск" "Gateway не отвечал; lease/locks сняты, контейнер перезапущен." >/dev/null 2>&1 || true diff --git a/ops/scripts/secretary_eval.py b/ops/scripts/secretary_eval.py index 5e4e273..1819acb 100755 --- a/ops/scripts/secretary_eval.py +++ b/ops/scripts/secretary_eval.py @@ -126,7 +126,7 @@ def agent(prompt, key): except subprocess.TimeoutExpired: return "", round(time.time() - t0, 1), "timeout" if "Gateway not reachable" in raw or "ECONNREFUSED" in raw: - wait_health(150) + wait_health(240) try: r = subprocess.run(cmd, capture_output=True, text=True, timeout=180) raw = r.stdout or ""