Files
buryan-infra/ops/maintenance/openclaw-rescue.sh
T
root 7d7412d80a Раздел 1: двойник compose обезврежен, openclaw разгружен, остатки убраны
Задачи 1.10, 1.11, 1.12.

1.10 ДВОЙНИК COMPOSE У n8n. Рядом с настоящим compose лежал файл
/opt/n8n/docker-compose.yml, которым никто не пользуется: у него ДРУГОЙ
путь данных (/opt/n8n/data — пустая папка) и другая сеть. Запусти его —
получился бы второй n8n с пустыми данными и без ключа шифрования:
внешне работает, а учётные данные «чужие». Файл переименован в
.orphan-20261017. Настоящий compose (/opt/automation-lxc) в порядке.

МОЯ ОШИБКА, которую это вскрыло: я сначала решил, что «compose не
описывает монтирование», и правил не тот файл. Надо было сразу спросить
контейнер, какой файл используется:
  docker inspect <контейнер> --format '{{index .Config.Labels "com.docker.compose.project.config_files"}}'

1.11 OPENCLAW. Падал в петле: база состояния нечитаема, ENOSPC. Причина —
диск в CT 115 был заполнен на 100%. Мусор был НЕ там, где показывал
Docker: /var/lib/docker занимал 1.5 ГБ, а /var/lib/containerd — 21 ГБ,
из которых 12 ГБ — записанный слой самого падающего контейнера. Docker
при этом показывал «возвратно 21.7 ГБ», что вводит в заблуждение: это
его собственный нужный образ.

Сделано: состояние больного контейнера СОХРАНЕНО на хост
(/root/openclaw-broken-state-20261017_122412.tar, 1.67 МБ, база внутри —
проверено), петля остановлена, контейнер удалён. МЕСТО: было 100%, стало
55%, освободилось 11 ГБ. Живой экземпляр openclaw-old не тронут.

Осталось решить (нужно слово владельца): какой экземпляр считать рабочим
— работающий openclaw-old (переименовать) или новый из копии.

1.12 ОСТАТКИ ОТ ОБНОВЛЕНИЙ. Убрано 11 контейнеров: plex, sonarr, radarr,
prowlarr, bazarr, overseerr, tautulli, linkding, prometheus, syncthing
(Exited) и navidrome-old, который КРУТИЛСЯ В ПЕТЛЕ вхолостую.
Оставлено 3 работающих: calibre-web-old, freshrss-old, openclaw-old.
Признак «old» в имени не значит «мусор» — это действующие экземпляры.
Правило записано: удалять только Exited/Created/Restarting.

ПРОВЕРЕНО ПОСЛЕ УБОРКИ: Plex, Sonarr, Radarr, Prowlarr, Overseerr,
Navidrome, Linkding, Prometheus, Syncthing отвечают 200 (Bazarr и
Tautulli — 401, их норма без токена). Наблюдение: 34 проверки, провалов
нет.
2026-10-17 12:24:43 +03:00

87 lines
4.4 KiB
Bash

#!/bin/bash
# ============================================================
# openclaw-rescue.sh — сохраняю состояние и останавливаю петлю
# ============================================================
# ЧТО ЕСТЬ:
# * контейнер openclaw падает в петле (11 перезапусков), код 1;
# * его журнал: база состояния повреждена, «restore from verified
# backup», и места нет (ENOSPC) — диск 100%;
# * его записанный слой занимает 12 ГБ — это и забило диск;
# * рядом работает openclaw-old (40 часов, healthy) — живой экземпляр.
#
# ЧТО ДЕЛАЮ:
# 1. СНИМАЮ КОПИЮ состояния больного контейнера на хост (88 ГБ свободно);
# 2. проверяю, что копия не пустая и содержит базу;
# 3. останавливаю петлю и удаляю больной контейнер — освобождаю 12 ГБ;
# 4. показываю, сколько освободилось.
#
# ЧЕГО НЕ ДЕЛАЮ: не трогаю openclaw-old (он работает) и не пытаюсь
# починить базу вслепую — сначала нужен запас места.
#
# Откат: контейнер создаётся из /opt/openclaw/docker-compose.yml,
# состояние — из копии на хосте.
# ============================================================
set -uo pipefail
CT=115
HOST_BACKUP=/root/openclaw-broken-state-$(date +%Y%m%d_%H%M%S).tar
echo "=== 1. МЕСТО ДО ==="
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
echo
echo "=== 2. ОСТАНАВЛИВАЮ ПЕТЛЮ (без удаления) ==="
pct exec $CT -- bash -c '
docker update --restart=no openclaw >/dev/null 2>&1
docker stop openclaw >/dev/null 2>&1
sleep 2
echo " состояние: $(docker inspect openclaw --format "{{.State.Status}}")"
echo " перезапусков было: $(docker inspect openclaw --format "{{.RestartCount}}")"' 2>/dev/null | sed 's/^/ /'
echo
echo "=== 3. СНИМАЮ КОПИЮ СОСТОЯНИЯ НА ХОСТ ==="
echo " копия: $HOST_BACKUP"
if pct exec $CT -- bash -c 'docker cp openclaw:/home/node/.openclaw -' > "$HOST_BACKUP" 2>/dev/null; then
SIZE=$(stat -c%s "$HOST_BACKUP" 2>/dev/null || echo 0)
echo " размер копии: $SIZE байт"
if [ "$SIZE" -gt 10000 ]; then
echo " --- что внутри (первые строки) ---"
tar -tf "$HOST_BACKUP" 2>/dev/null | head -6 | sed 's/^/ /'
echo " --- есть ли база состояния ---"
if tar -tf "$HOST_BACKUP" 2>/dev/null | grep -q "state/openclaw.sqlite"; then
echo " база состояния В КОПИИ ЕСТЬ"
else
echo " базы состояния в копии нет"
fi
else
echo " ОШИБКА: копия подозрительно мала — НЕ УДАЛЯЮ контейнер"
exit 1
fi
else
echo " ОШИБКА: не смог снять копию — НЕ УДАЛЯЮ контейнер"
exit 1
fi
echo
echo "=== 4. УДАЛЯЮ БОЛЬНОЙ КОНТЕЙНЕР (освобождаю 12 ГБ) ==="
pct exec $CT -- bash -c 'docker rm openclaw >/dev/null 2>&1 && echo " удалён" || echo " не удалось удалить"' | sed 's/^/ /'
echo
echo "=== 5. МЕСТО ПОСЛЕ ==="
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
pct exec $CT -- docker system df 2>/dev/null | head -3 | sed 's/^/ /'
echo
echo "=== 6. ЧТО ОСТАЛОСЬ РАБОТАТЬ ==="
pct exec $CT -- docker ps --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
echo
echo "=== 7. ЖИВ ЛИ СТАРЫЙ ЭКЗЕМПЛЯР ==="
pct exec $CT -- docker ps --filter name=openclaw-old --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
echo
echo "============================================================"
echo " Копия состояния: $HOST_BACKUP"
echo " Вернуть контейнер: cd /opt/openclaw && docker compose up -d"
echo " Восстановить данные: docker cp <контейнер> с распакованным tar"
echo "============================================================"