[OPS] OpenClaw guard: systemd timer каждую минуту проверяет health; при зависании >3 мин сохраняет state DB, чистит agent_database_leases/tmp-locks и перезапускает контейнер, уведомляет ALERT. Eval retry wait увеличен до 240с. Это операционный фикс state-lock на длинных turn'ах; корневая причина в OpenClaw остаётся
This commit is contained in:
1 parent
1534f05bc3
commit
4ba95abe8b
3 files changed
+87
-1
No files matched your search
@@ -0,0 +1,39 @@
|
||||
# OpenClaw guard: самовосстановление после state-lock (17.11.2026)
|
||||
|
||||
## Симптом
|
||||
|
||||
На длинных агентских turn'ах (медиа-запросы 80–108 с) gateway становился
|
||||
недоступен: CLI получал «Gateway not reachable», контейнер уходил в
|
||||
doctor/maintenance, дальше — ожидание предыдущего owner и цикл.
|
||||
|
||||
## Что сделано
|
||||
|
||||
`ops/scripts/openclaw_guard.sh` + systemd timer (каждую минуту):
|
||||
|
||||
* проверяет `openclaw health`;
|
||||
* если gateway не отвечает 3 проверки (или 8 на фазе startup) —
|
||||
останавливает контейнер, сохраняет `openclaw.sqlite.guard-<ts>`,
|
||||
удаляет `agent_database_leases` и tmp-locks, запускает контейнер;
|
||||
* уведомление в ALERT (high);
|
||||
* защита от параллельных запусков через flock.
|
||||
|
||||
Установлено:
|
||||
```
|
||||
openclaw-guard.timer active
|
||||
openclaw-guard.service oneshot
|
||||
```
|
||||
|
||||
## Ограничение
|
||||
|
||||
Это **операционный fix**, а не устранение корневой причины в OpenClaw:
|
||||
долгий turn всё ещё может оборваться, но система восстанавливается
|
||||
автоматически за ~3–4 минуты вместо ручного recovery.
|
||||
|
||||
Eval увеличен до ожидания 240 с и повтора запроса.
|
||||
|
||||
## Как проверить
|
||||
|
||||
```bash
|
||||
systemctl status openclaw-guard.timer
|
||||
tail -5 /var/log/hub/openclaw-guard.log
|
||||
```
|
||||
Executable
+47
@@ -0,0 +1,47 @@
|
||||
#!/bin/bash
|
||||
# OpenClaw guard: если gateway не отвечает >3 минут — снять lease/locks и перезапустить.
|
||||
set -u
|
||||
LOG=/var/log/hub/openclaw-guard.log
|
||||
STATE=/var/lib/openclaw-guard.state
|
||||
mkdir -p /var/log/hub
|
||||
touch "$LOG"
|
||||
exec 9>/var/lib/openclaw-guard.lock
|
||||
flock -n 9 || exit 0
|
||||
|
||||
H=$(pct exec 115 -- docker exec openclaw node openclaw.mjs health 2>&1 | tr '\n' ' ')
|
||||
if echo "$H" | grep -q "Agents:"; then
|
||||
echo 0 > "$STATE"; exit 0
|
||||
fi
|
||||
N=$(( $(cat "$STATE" 2>/dev/null || echo 0) + 1 ))
|
||||
echo "$N" > "$STATE"
|
||||
echo "$(date '+%F %T') unhealthy=$N: ${H:0:120}" >> "$LOG"
|
||||
|
||||
# стартовая фаза может длиться долго — даём 8 проверок, иначе 3
|
||||
LIMIT=3
|
||||
echo "$H" | grep -qi "still starting" && LIMIT=8
|
||||
[ "$N" -lt "$LIMIT" ] && exit 0
|
||||
|
||||
echo "$(date '+%F %T') RECOVER after $N checks" >> "$LOG"
|
||||
pct exec 115 -- docker update --restart=no openclaw >/dev/null 2>&1 || true
|
||||
pct exec 115 -- docker stop openclaw >/dev/null 2>&1 || true
|
||||
for i in $(seq 1 10); do
|
||||
S=$(pct exec 115 -- docker inspect -f '{{.State.Status}}' openclaw 2>/dev/null || echo none)
|
||||
[ "$S" = "exited" ] && break
|
||||
sleep 2
|
||||
done
|
||||
TS=$(date +%s)
|
||||
pct exec 115 -- cp /opt/openclaw/state/openclaw.sqlite /opt/openclaw/state/openclaw.sqlite.guard-$TS 2>/dev/null || true
|
||||
pct exec 115 -- python3 - <<'PY' >>"$LOG" 2>&1
|
||||
import sqlite3
|
||||
try:
|
||||
c=sqlite3.connect("/opt/openclaw/state/openclaw.sqlite")
|
||||
c.execute("delete from agent_database_leases"); c.commit()
|
||||
print("leases cleared")
|
||||
except Exception as e: print("lease clear:", e)
|
||||
PY
|
||||
pct exec 115 -- rm -f /opt/openclaw/tmp/openclaw-1000/*.lock
|
||||
pct exec 115 -- docker start openclaw >/dev/null 2>&1 || true
|
||||
pct exec 115 -- docker update --restart=unless-stopped openclaw >/dev/null 2>&1 || true
|
||||
echo 0 > "$STATE"
|
||||
/usr/bin/python3 /opt/buryan-hub/scripts/notify.py --priority high \
|
||||
--title "OpenClaw guard: перезапуск" "Gateway не отвечал; lease/locks сняты, контейнер перезапущен." >/dev/null 2>&1 || true
|
||||
@@ -126,7 +126,7 @@ def agent(prompt, key):
|
||||
except subprocess.TimeoutExpired:
|
||||
return "", round(time.time() - t0, 1), "timeout"
|
||||
if "Gateway not reachable" in raw or "ECONNREFUSED" in raw:
|
||||
wait_health(150)
|
||||
wait_health(240)
|
||||
try:
|
||||
r = subprocess.run(cmd, capture_output=True, text=True, timeout=180)
|
||||
raw = r.stdout or ""
|
||||
|
||||
Reference in new issue
Block a user