Files
buryan-infra/ops/maintenance/openclaw-rescue.sh
T
root 739d61869b Пул освобождён на 35 ГБ (TRIM), добавлено зеркало образов, найден CT 111
без интернета

ГЛАВНОЕ ОТКРЫТИЕ: тонкий пул был заполнен на 80,5%, снимки не создавались,
обновления стояли. Оказалось — место не «занято данными», а ЗАВИСЛО:
LVM не знает об удалённых внутри контейнеров файлах, пока ей не передадут
TRIM.
После pct fstrim по всем контейнерам: пул 80,47% -> 70,29%, около 35 ГБ
освободилось. Где висело больше всего: CT 113 — 93,3 ГБ, CT 155 — 43 ГБ,
CT 105 — 13,7 ГБ, CT 115 — 11,7 ГБ (тот самый openclaw).
Поставлен в расписание: еженедельно, /etc/cron.d/buryan-trim. Без этого
пул снова забьётся невидимым мусором.

ЗЕРКАЛО РЕЕСТРА: скачивание образов из дома нестабильно (Docker Hub то
отвечает, то висит по таймауту). Во все 26 контейнеров добавлено зеркало
mirror.gcr.io (официальное зеркало Docker Hub). Docker сначала пробует
основной реестр, зеркало — только при недоступности. CT 108 заработал.

ЦЕНА МОЕЙ ОШИБКИ В ДИАГНОСТИКЕ: я решил, что адреса 100.51.15.102 и
100.60.105.131 — это Tailscale. Проверил через 1.1.1.1 — те же адреса,
это собственный CDN Docker Hub. Догадку отбросил, причину нашёл дальше.

CT 111 БЕЗ ИНТЕРНЕТА. Из контейнера доступны все хосты локальной сети,
кроме шлюза 192.168.1.1. Проверено и исключено: маршруты, ARP, политики
маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox
(отключён), цепочки Tailscale (мостовой трафик минует iptables), второй
адрес на том же интерфейсе (тоже нет связи) — значит дело не в адресе.
Вывод: блокирует роутер, а роутер по решению владельца не трогаем.
Документ с вариантами решения: docs/CT111-NO-INTERNET.md
2026-10-17 16:02:14 +03:00

87 lines
4.4 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# openclaw-rescue.sh — сохраняю состояние и останавливаю петлю
# ============================================================
# ЧТО ЕСТЬ:
# * контейнер openclaw падает в петле (11 перезапусков), код 1;
# * его журнал: база состояния повреждена, «restore from verified
# backup», и места нет (ENOSPC) — диск 100%;
# * его записанный слой занимает 12 ГБ — это и забило диск;
# * рядом работает openclaw-old (40 часов, healthy) — живой экземпляр.
#
# ЧТО ДЕЛАЮ:
# 1. СНИМАЮ КОПИЮ состояния больного контейнера на хост (88 ГБ свободно);
# 2. проверяю, что копия не пустая и содержит базу;
# 3. останавливаю петлю и удаляю больной контейнер — освобождаю 12 ГБ;
# 4. показываю, сколько освободилось.
#
# ЧЕГО НЕ ДЕЛАЮ: не трогаю openclaw-old (он работает) и не пытаюсь
# починить базу вслепую — сначала нужен запас места.
#
# Откат: контейнер создаётся из /opt/openclaw/docker-compose.yml,
# состояние — из копии на хосте.
# ============================================================
set -uo pipefail
CT=115
HOST_BACKUP=/root/openclaw-broken-state-$(date +%Y%m%d_%H%M%S).tar
echo "=== 1. МЕСТО ДО ==="
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
echo
echo "=== 2. ОСТАНАВЛИВАЮ ПЕТЛЮ (без удаления) ==="
pct exec $CT -- bash -c '
docker update --restart=no openclaw >/dev/null 2>&1
docker stop openclaw >/dev/null 2>&1
sleep 2
echo " состояние: $(docker inspect openclaw --format "{{.State.Status}}")"
echo " перезапусков было: $(docker inspect openclaw --format "{{.RestartCount}}")"' 2>/dev/null | sed 's/^/ /'
echo
echo "=== 3. СНИМАЮ КОПИЮ СОСТОЯНИЯ НА ХОСТ ==="
echo " копия: $HOST_BACKUP"
if pct exec $CT -- bash -c 'docker cp openclaw:/home/node/.openclaw -' > "$HOST_BACKUP" 2>/dev/null; then
SIZE=$(stat -c%s "$HOST_BACKUP" 2>/dev/null || echo 0)
echo " размер копии: $SIZE байт"
if [ "$SIZE" -gt 10000 ]; then
echo " --- что внутри (первые строки) ---"
tar -tf "$HOST_BACKUP" 2>/dev/null | head -6 | sed 's/^/ /'
echo " --- есть ли база состояния ---"
if tar -tf "$HOST_BACKUP" 2>/dev/null | grep -q "state/openclaw.sqlite"; then
echo " база состояния В КОПИИ ЕСТЬ"
else
echo " базы состояния в копии нет"
fi
else
echo " ОШИБКА: копия подозрительно мала — НЕ УДАЛЯЮ контейнер"
exit 1
fi
else
echo " ОШИБКА: не смог снять копию — НЕ УДАЛЯЮ контейнер"
exit 1
fi
echo
echo "=== 4. УДАЛЯЮ БОЛЬНОЙ КОНТЕЙНЕР (освобождаю 12 ГБ) ==="
pct exec $CT -- bash -c 'docker rm openclaw >/dev/null 2>&1 && echo " удалён" || echo " не удалось удалить"' | sed 's/^/ /'
echo
echo "=== 5. МЕСТО ПОСЛЕ ==="
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
pct exec $CT -- docker system df 2>/dev/null | head -3 | sed 's/^/ /'
echo
echo "=== 6. ЧТО ОСТАЛОСЬ РАБОТАТЬ ==="
pct exec $CT -- docker ps --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
echo
echo "=== 7. ЖИВ ЛИ СТАРЫЙ ЭКЗЕМПЛЯР ==="
pct exec $CT -- docker ps --filter name=openclaw-old --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
echo
echo "============================================================"
echo " Копия состояния: $HOST_BACKUP"
echo " Вернуть контейнер: cd /opt/openclaw && docker compose up -d"
echo " Восстановить данные: docker cp <контейнер> с распакованным tar"
echo "============================================================"