ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
freshrss — обновлён (проверка цепочки)
gitea — обновлён
paperless — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
authentik — НЕВОЗМОЖНО: тега :latest нет в реестре
ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).
НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
Image ghcr.io/goauthentik/server:latest Error ... not found
🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.
ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.
ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.
НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.
СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.
МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
* мерил несуществующий домен auth.buryans.ru (правильный
authentik.buryans.ru) — время уходило на таймаут DNS;
* перепутал файл compose у n8n (двойник вместо настоящего);
* проверка дала 6 ложных тревог, считая 401 сбоем.
ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
362 lines
22 KiB
Bash
Executable File
362 lines
22 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# safe-update.sh v3 — обновление сервиса с откатом
|
||
# ============================================================
|
||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||
# и удаление снимка | провал: остановка, откат, запуск).
|
||
#
|
||
# Что исправлено по сравнению с v1.2:
|
||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||
# принимаются только у сервисов, которым это разрешено явно
|
||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||
# 3. После коммита не делался git push — фиксация оставалась только
|
||
# на сервере. Добавлен push.
|
||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||
# откат, контейнер запускается.
|
||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||
# Теперь снимок удаляется и при успехе, и после отката.
|
||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||
# проверка с отказом от обновления при заполнении выше порога.
|
||
#
|
||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
REPO_ROOT="/root/buryan-infra"
|
||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||
# Порог поднят с 75 до 85 17.10.2026. Причина: процент не учитывал
|
||
# абсолютный запас. Пул 348 ГБ, занято 80% — это 68 ГБ свободно, чего
|
||
# с избытком хватает на снимок одного контейнера. Защита от заполнения
|
||
# сохранена: 85% оставляет не меньше 52 ГБ.
|
||
POOL_LIMIT="${POOL_LIMIT:-85}" # процент заполнения пула, выше которого не обновляем
|
||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||
|
||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||
fail() { log "❌ $*"; exit 1; }
|
||
|
||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||
|
||
if [ $# -lt 1 ]; then
|
||
echo "Использование: $0 <сервис>"
|
||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||
exit 1
|
||
fi
|
||
|
||
SERVICE="$1"
|
||
|
||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||
|
||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||
|
||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||
|
||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||
else
|
||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||
fi
|
||
|
||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||
|
||
# ---------- Проверка места в пуле томов -------------------------------------
|
||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||
fi
|
||
log " место в пуле: ${POOL_PCT:-?}%"
|
||
|
||
# ---------- Кто именно является сервисом ------------------------------------
|
||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||
# потом переходим к догадкам.
|
||
resolve_container() {
|
||
local list
|
||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||
[ -n "$list" ] || return 1
|
||
|
||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||
return 0
|
||
fi
|
||
|
||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||
local exact
|
||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||
|
||
# 3. Совпадение по имени образа
|
||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||
}
|
||
|
||
CONTAINER=$(resolve_container)
|
||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||
|
||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||
|| fail "не удалось создать снимок"
|
||
|
||
cleanup_snapshot() {
|
||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||
}
|
||
|
||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||
COMPOSE_DIR=""
|
||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||
COMPOSE_DIR="$COMPOSE_HINT"
|
||
elif [ -n "${CONTAINER:-}" ]; then
|
||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||
fi
|
||
|
||
if [ -n "$COMPOSE_DIR" ]; then
|
||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||
# но версия не меняется.
|
||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||
# то есть обновление одного сервиса уронило бы соседний.
|
||
COMPOSE_SVC=""
|
||
if [ -n "${CONTAINER:-}" ]; then
|
||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||
fi
|
||
|
||
# Если метки compose нет (контейнер создали вручную), искать службу
|
||
# надо в самом compose-файле по container_name. Иначе обновление
|
||
# одной службы пересоздаст весь проект вместе с соседями.
|
||
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
|
||
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
|
||
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
|
||
/container_name:/ && index(\$0, c) { print svc; exit }
|
||
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
|
||
if [ -n "$COMPOSE_SVC" ]; then
|
||
log " служба определена по имени контейнера: $COMPOSE_SVC"
|
||
fi
|
||
fi
|
||
|
||
if [ -n "$COMPOSE_SVC" ]; then
|
||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||
TARGET_ARG="$COMPOSE_SVC"
|
||
else
|
||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||
TARGET_ARG=""
|
||
fi
|
||
|
||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||
|| log " ⚠️ скачивание образов не удалось"
|
||
|
||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||
if [ -n "${CONTAINER:-}" ]; then
|
||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||
log " контейнер не управляется compose — перевожу под управление"
|
||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||
|
||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||
# за отведённое время, остаётся запущенной и продолжает держать
|
||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||
# получает ответ от старого и сообщает об успехе.
|
||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||
--format '{{.State.Status}}' 2>/dev/null)
|
||
if [ "$stopped" = "running" ]; then
|
||
log " контейнер не остановился штатно — завершаю принудительно"
|
||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||
sleep 3
|
||
fi
|
||
|
||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||
&& log " старый контейнер сохранён под другим именем" \
|
||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||
fi
|
||
fi
|
||
|
||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||
elif [ -n "${CONTAINER:-}" ]; then
|
||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||
# об этом, а не изображаем успешное обновление.
|
||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||
log " образ: $IMG"
|
||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||
|| log " ⚠️ образ не обновился"
|
||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||
else
|
||
log "⬆️ Обновляем образы по списку"
|
||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||
|| log " ⚠️ не удалось обновить $IMG"
|
||
done
|
||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||
fi
|
||
else
|
||
log "⬆️ Нативный сервис: apt"
|
||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||
|| log " ⚠️ apt upgrade не удался"
|
||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||
fi
|
||
|
||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||
sleep 5
|
||
IMAGE_APPLIED=true
|
||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||
|
||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||
# вообще не создался, а на порту отвечал старый.
|
||
if [ -z "$STATE_NOW" ]; then
|
||
IMAGE_APPLIED=false
|
||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||
elif [ "$STATE_NOW" != "running" ]; then
|
||
IMAGE_APPLIED=false
|
||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||
IMAGE_APPLIED=false
|
||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||
log " работает: ${RUNNING_ID:0:20}"
|
||
log " скачан: ${STORE_ID:0:20}"
|
||
else
|
||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||
fi
|
||
fi
|
||
|
||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||
# хотя само обновление проходило успешно.
|
||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||
HEALTH_WAIT="$SERVICE_WAIT"
|
||
fi
|
||
HEALTH_OK=false
|
||
if [ -z "$HEALTH_URL" ]; then
|
||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||
HEALTH_OK=true
|
||
else
|
||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||
attempt=0
|
||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||
attempt=$((attempt + 1))
|
||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||
for ok in $ACCEPT_CODES; do
|
||
if [ "$CODE" = "$ok" ]; then
|
||
HEALTH_OK=true
|
||
break 2
|
||
fi
|
||
done
|
||
if [ $((attempt % 3)) -eq 0 ]; then
|
||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||
fi
|
||
sleep 5
|
||
done
|
||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||
fi
|
||
|
||
# ---------- Шаг 5: результат ------------------------------------------------
|
||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||
log "✅ Проверка пройдена"
|
||
|
||
if [ -n "${CONTAINER:-}" ]; then
|
||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||
else
|
||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||
fi
|
||
|
||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||
TMP=$(mktemp)
|
||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||
|
||
cleanup_snapshot
|
||
|
||
cd "$REPO_ROOT"
|
||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||
&& git push origin main >/dev/null 2>&1 \
|
||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||
|| log " ⚠️ коммит или отправка не удались"
|
||
|
||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||
exit 0
|
||
else
|
||
if [ "$IMAGE_APPLIED" != true ]; then
|
||
log "🚨 Новый образ не применён — откат"
|
||
else
|
||
log "🚨 Проверка не пройдена — откат"
|
||
fi
|
||
|
||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||
sleep 3
|
||
|
||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||
log " откат выполнен"
|
||
else
|
||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||
fi
|
||
|
||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||
sleep 10
|
||
cleanup_snapshot
|
||
|
||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||
exit 1
|
||
fi
|