[OPS] OpenClaw guard: systemd timer каждую минуту проверяет health; при зависании >3 мин сохраняет state DB, чистит agent_database_leases/tmp-locks и перезапускает контейнер, уведомляет ALERT. Eval retry wait увеличен до 240с. Это операционный фикс state-lock на длинных turn'ах; корневая причина в OpenClaw остаётся
lint / hygiene (push) Failing after 24s
standard / check (push) Successful in 9s

This commit is contained in:
root committed 2026-11-17 20:39:15 +03:00
1 parent 1534f05bc3
commit 4ba95abe8b
3 files changed
+87 -1

No files matched your search

+39
View File
@@ -0,0 +1,39 @@
# OpenClaw guard: самовосстановление после state-lock (17.11.2026)
## Симптом
На длинных агентских turn'ах (медиа-запросы 80–108 с) gateway становился
недоступен: CLI получал «Gateway not reachable», контейнер уходил в
doctor/maintenance, дальше — ожидание предыдущего owner и цикл.
## Что сделано
`ops/scripts/openclaw_guard.sh` + systemd timer (каждую минуту):
* проверяет `openclaw health`;
* если gateway не отвечает 3 проверки (или 8 на фазе startup) —
останавливает контейнер, сохраняет `openclaw.sqlite.guard-<ts>`,
удаляет `agent_database_leases` и tmp-locks, запускает контейнер;
* уведомление в ALERT (high);
* защита от параллельных запусков через flock.
Установлено:
```
openclaw-guard.timer active
openclaw-guard.service oneshot
```
## Ограничение
Это **операционный fix**, а не устранение корневой причины в OpenClaw:
долгий turn всё ещё может оборваться, но система восстанавливается
автоматически за ~3–4 минуты вместо ручного recovery.
Eval увеличен до ожидания 240 с и повтора запроса.
## Как проверить
```bash
systemctl status openclaw-guard.timer
tail -5 /var/log/hub/openclaw-guard.log
```
+47
View File
@@ -0,0 +1,47 @@
#!/bin/bash
# OpenClaw guard: если gateway не отвечает >3 минут — снять lease/locks и перезапустить.
set -u
LOG=/var/log/hub/openclaw-guard.log
STATE=/var/lib/openclaw-guard.state
mkdir -p /var/log/hub
touch "$LOG"
exec 9>/var/lib/openclaw-guard.lock
flock -n 9 || exit 0
H=$(pct exec 115 -- docker exec openclaw node openclaw.mjs health 2>&1 | tr '\n' ' ')
if echo "$H" | grep -q "Agents:"; then
echo 0 > "$STATE"; exit 0
fi
N=$(( $(cat "$STATE" 2>/dev/null || echo 0) + 1 ))
echo "$N" > "$STATE"
echo "$(date '+%F %T') unhealthy=$N: ${H:0:120}" >> "$LOG"
# стартовая фаза может длиться долго — даём 8 проверок, иначе 3
LIMIT=3
echo "$H" | grep -qi "still starting" && LIMIT=8
[ "$N" -lt "$LIMIT" ] && exit 0
echo "$(date '+%F %T') RECOVER after $N checks" >> "$LOG"
pct exec 115 -- docker update --restart=no openclaw >/dev/null 2>&1 || true
pct exec 115 -- docker stop openclaw >/dev/null 2>&1 || true
for i in $(seq 1 10); do
S=$(pct exec 115 -- docker inspect -f '{{.State.Status}}' openclaw 2>/dev/null || echo none)
[ "$S" = "exited" ] && break
sleep 2
done
TS=$(date +%s)
pct exec 115 -- cp /opt/openclaw/state/openclaw.sqlite /opt/openclaw/state/openclaw.sqlite.guard-$TS 2>/dev/null || true
pct exec 115 -- python3 - <<'PY' >>"$LOG" 2>&1
import sqlite3
try:
c=sqlite3.connect("/opt/openclaw/state/openclaw.sqlite")
c.execute("delete from agent_database_leases"); c.commit()
print("leases cleared")
except Exception as e: print("lease clear:", e)
PY
pct exec 115 -- rm -f /opt/openclaw/tmp/openclaw-1000/*.lock
pct exec 115 -- docker start openclaw >/dev/null 2>&1 || true
pct exec 115 -- docker update --restart=unless-stopped openclaw >/dev/null 2>&1 || true
echo 0 > "$STATE"
/usr/bin/python3 /opt/buryan-hub/scripts/notify.py --priority high \
--title "OpenClaw guard: перезапуск" "Gateway не отвечал; lease/locks сняты, контейнер перезапущен." >/dev/null 2>&1 || true
+1 -1
View File
@@ -126,7 +126,7 @@ def agent(prompt, key):
except subprocess.TimeoutExpired:
return "", round(time.time() - t0, 1), "timeout"
if "Gateway not reachable" in raw or "ECONNREFUSED" in raw:
wait_health(150)
wait_health(240)
try:
r = subprocess.run(cmd, capture_output=True, text=True, timeout=180)
raw = r.stdout or ""