без интернета ГЛАВНОЕ ОТКРЫТИЕ: тонкий пул был заполнен на 80,5%, снимки не создавались, обновления стояли. Оказалось — место не «занято данными», а ЗАВИСЛО: LVM не знает об удалённых внутри контейнеров файлах, пока ей не передадут TRIM. После pct fstrim по всем контейнерам: пул 80,47% -> 70,29%, около 35 ГБ освободилось. Где висело больше всего: CT 113 — 93,3 ГБ, CT 155 — 43 ГБ, CT 105 — 13,7 ГБ, CT 115 — 11,7 ГБ (тот самый openclaw). Поставлен в расписание: еженедельно, /etc/cron.d/buryan-trim. Без этого пул снова забьётся невидимым мусором. ЗЕРКАЛО РЕЕСТРА: скачивание образов из дома нестабильно (Docker Hub то отвечает, то висит по таймауту). Во все 26 контейнеров добавлено зеркало mirror.gcr.io (официальное зеркало Docker Hub). Docker сначала пробует основной реестр, зеркало — только при недоступности. CT 108 заработал. ЦЕНА МОЕЙ ОШИБКИ В ДИАГНОСТИКЕ: я решил, что адреса 100.51.15.102 и 100.60.105.131 — это Tailscale. Проверил через 1.1.1.1 — те же адреса, это собственный CDN Docker Hub. Догадку отбросил, причину нашёл дальше. CT 111 БЕЗ ИНТЕРНЕТА. Из контейнера доступны все хосты локальной сети, кроме шлюза 192.168.1.1. Проверено и исключено: маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на хосте, firewall Proxmox (отключён), цепочки Tailscale (мостовой трафик минует iptables), второй адрес на том же интерфейсе (тоже нет связи) — значит дело не в адресе. Вывод: блокирует роутер, а роутер по решению владельца не трогаем. Документ с вариантами решения: docs/CT111-NO-INTERNET.md
87 lines
4.4 KiB
Bash
Executable File
87 lines
4.4 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# openclaw-rescue.sh — сохраняю состояние и останавливаю петлю
|
|
# ============================================================
|
|
# ЧТО ЕСТЬ:
|
|
# * контейнер openclaw падает в петле (11 перезапусков), код 1;
|
|
# * его журнал: база состояния повреждена, «restore from verified
|
|
# backup», и места нет (ENOSPC) — диск 100%;
|
|
# * его записанный слой занимает 12 ГБ — это и забило диск;
|
|
# * рядом работает openclaw-old (40 часов, healthy) — живой экземпляр.
|
|
#
|
|
# ЧТО ДЕЛАЮ:
|
|
# 1. СНИМАЮ КОПИЮ состояния больного контейнера на хост (88 ГБ свободно);
|
|
# 2. проверяю, что копия не пустая и содержит базу;
|
|
# 3. останавливаю петлю и удаляю больной контейнер — освобождаю 12 ГБ;
|
|
# 4. показываю, сколько освободилось.
|
|
#
|
|
# ЧЕГО НЕ ДЕЛАЮ: не трогаю openclaw-old (он работает) и не пытаюсь
|
|
# починить базу вслепую — сначала нужен запас места.
|
|
#
|
|
# Откат: контейнер создаётся из /opt/openclaw/docker-compose.yml,
|
|
# состояние — из копии на хосте.
|
|
# ============================================================
|
|
set -uo pipefail
|
|
CT=115
|
|
HOST_BACKUP=/root/openclaw-broken-state-$(date +%Y%m%d_%H%M%S).tar
|
|
|
|
echo "=== 1. МЕСТО ДО ==="
|
|
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "=== 2. ОСТАНАВЛИВАЮ ПЕТЛЮ (без удаления) ==="
|
|
pct exec $CT -- bash -c '
|
|
docker update --restart=no openclaw >/dev/null 2>&1
|
|
docker stop openclaw >/dev/null 2>&1
|
|
sleep 2
|
|
echo " состояние: $(docker inspect openclaw --format "{{.State.Status}}")"
|
|
echo " перезапусков было: $(docker inspect openclaw --format "{{.RestartCount}}")"' 2>/dev/null | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "=== 3. СНИМАЮ КОПИЮ СОСТОЯНИЯ НА ХОСТ ==="
|
|
echo " копия: $HOST_BACKUP"
|
|
if pct exec $CT -- bash -c 'docker cp openclaw:/home/node/.openclaw -' > "$HOST_BACKUP" 2>/dev/null; then
|
|
SIZE=$(stat -c%s "$HOST_BACKUP" 2>/dev/null || echo 0)
|
|
echo " размер копии: $SIZE байт"
|
|
if [ "$SIZE" -gt 10000 ]; then
|
|
echo " --- что внутри (первые строки) ---"
|
|
tar -tf "$HOST_BACKUP" 2>/dev/null | head -6 | sed 's/^/ /'
|
|
echo " --- есть ли база состояния ---"
|
|
if tar -tf "$HOST_BACKUP" 2>/dev/null | grep -q "state/openclaw.sqlite"; then
|
|
echo " база состояния В КОПИИ ЕСТЬ"
|
|
else
|
|
echo " базы состояния в копии нет"
|
|
fi
|
|
else
|
|
echo " ОШИБКА: копия подозрительно мала — НЕ УДАЛЯЮ контейнер"
|
|
exit 1
|
|
fi
|
|
else
|
|
echo " ОШИБКА: не смог снять копию — НЕ УДАЛЯЮ контейнер"
|
|
exit 1
|
|
fi
|
|
|
|
echo
|
|
echo "=== 4. УДАЛЯЮ БОЛЬНОЙ КОНТЕЙНЕР (освобождаю 12 ГБ) ==="
|
|
pct exec $CT -- bash -c 'docker rm openclaw >/dev/null 2>&1 && echo " удалён" || echo " не удалось удалить"' | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "=== 5. МЕСТО ПОСЛЕ ==="
|
|
pct exec $CT -- bash -c 'df -h / | tail -1' | sed 's/^/ /'
|
|
pct exec $CT -- docker system df 2>/dev/null | head -3 | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "=== 6. ЧТО ОСТАЛОСЬ РАБОТАТЬ ==="
|
|
pct exec $CT -- docker ps --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "=== 7. ЖИВ ЛИ СТАРЫЙ ЭКЗЕМПЛЯР ==="
|
|
pct exec $CT -- docker ps --filter name=openclaw-old --format '{{.Names}} | {{.Status}}' 2>/dev/null | sed 's/^/ /'
|
|
|
|
echo
|
|
echo "============================================================"
|
|
echo " Копия состояния: $HOST_BACKUP"
|
|
echo " Вернуть контейнер: cd /opt/openclaw && docker compose up -d"
|
|
echo " Восстановить данные: docker cp <контейнер> с распакованным tar"
|
|
echo "============================================================"
|