#!/bin/bash # ============================================================ # safe-update.sh v3 — обновление сервиса с откатом # ============================================================ # Порядок: снимок → обновление → проверка здоровья → (успех: фиксация # и удаление снимка | провал: остановка, откат, запуск). # # Что исправлено по сравнению с v1.2: # 1. Версия определялась как «первый контейнер в списке», из-за чего # vaultwarden числился как mariadb, а matrix как coturn. Теперь # контейнер ищется по объявленному образу, затем по имени сервиса. # 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 # принимаются только у сервисов, которым это разрешено явно # (поле healthcheck.auth_required), иначе это признак поломки доступа. # 3. После коммита не делался git push — фиксация оставалась только # на сервере. Добавлен push. # 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox # требует остановленный. Теперь контейнер останавливается, выполняется # откат, контейнер запускается. # 5. Снимок не удалялся после успешного обновления и оставался в пуле # навсегда. Именно так накопились два снимка, удалённых 14.10.2026. # Теперь снимок удаляется и при успехе, и после отката. # 6. Не проверялось свободное место в пуле томов. Если пул заполнен, # создание снимка добивает его и роняет все контейнеры. Добавлена # проверка с отказом от обновления при заполнении выше порога. # # Запуск: safe-update.sh <имя-сервиса-из-реестра> # ============================================================ set -uo pipefail REPO_ROOT="/root/buryan-infra" SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем DEFAULT_ACCEPT_CODES="200 201 204 301 302" log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } fail() { log "❌ $*"; exit 1; } command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" if [ $# -lt 1 ]; then echo "Использование: $0 <сервис>" yq -r '.services | keys[]' "$SERVICES_FILE" exit 1 fi SERVICE="$1" CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") [ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") if [ "$HEALTH_AUTH" = "true" ]; then ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" else ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" fi log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" # ---------- Проверка места в пуле томов ------------------------------------- POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ | tr -d ' ' | head -1 | cut -d. -f1) if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." fi log " место в пуле: ${POOL_PCT:-?}%" # ---------- Кто именно является сервисом ------------------------------------ # Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению # имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся # oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. # Поэтому сначала берём контейнер, явно указанный в реестре, и только # потом переходим к догадкам. resolve_container() { local list list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) [ -n "$list" ] || return 1 # 1. Контейнер, объявленный в реестре — единственный надёжный источник if [ -n "$DECLARED_CONTAINER" ]; then echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' return 0 fi # 2. Точное совпадение имени контейнера с именем сервиса local exact exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') [ -n "$exact" ] && { echo "$exact"; return 0; } # 3. Совпадение по имени образа echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' } CONTAINER=$(resolve_container) [ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" # ---------- Шаг 1: снимок --------------------------------------------------- SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" log "📦 Снимок: $SNAPSHOT_NAME" pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ || fail "не удалось создать снимок" cleanup_snapshot() { pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" } # ---------- Шаг 2: обновление ---------------------------------------------- if [ "$SERVICE_TYPE" = "docker" ]; then # Каталог compose: сначала объявленный в реестре, затем поиск рядом. COMPOSE_DIR="" if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then COMPOSE_DIR="$COMPOSE_HINT" elif [ -n "${CONTAINER:-}" ]; then COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" fi if [ -n "$COMPOSE_DIR" ]; then # Правильный путь. `docker compose up -d` пересоздаёт контейнер из # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` # этого не делает: контейнер поднимается из прежнего образа, а новый # остаётся лежать в хранилище — обновление выглядит выполненным, # но версия не меняется. # ВАЖНО: служба указывается явно. Проект собрания может содержать # несколько сервисов — например, в /opt/network-lxc живут и дашборд, # и DNS-фильтр. Команда без указания службы пересоздала бы их все, # то есть обновление одного сервиса уронило бы соседний. COMPOSE_SVC="" if [ -n "${CONTAINER:-}" ]; then COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" fi if [ -n "$COMPOSE_SVC" ]; then log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" TARGET_ARG="$COMPOSE_SVC" else log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" TARGET_ARG="" fi pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ || log " ⚠️ скачивание образов не удалось" # Контейнер мог быть создан вручную через `docker run` и не принадлежать # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление # не пройдёт. Переименовываем такой контейнер: имя освобождается, # а сам он остаётся точкой быстрого отката и будет убран уборщиком. if [ -n "${CONTAINER:-}" ]; then proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) if [ -z "$proj" ] || [ "$proj" = "" ]; then log " контейнер не управляется compose — перевожу под управление" pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 # Остановку обязательно проверяем. Grafana не успевает завершиться # за отведённое время, остаётся запущенной и продолжает держать # порт: новый контейнер создать не удаётся, а проверка здоровья # получает ответ от старого и сообщает об успехе. stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ --format '{{.State.Status}}' 2>/dev/null) if [ "$stopped" = "running" ]; then log " контейнер не остановился штатно — завершаю принудительно" pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 sleep 3 fi pct exec "$CT_ID" -- docker rename "$CONTAINER" \ "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ && log " старый контейнер сохранён под другим именем" \ || log " ⚠️ переименовать не удалось — возможен конфликт имени" fi fi pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ || log " ⚠️ пересоздание контейнеров не удалось" elif [ -n "${CONTAINER:-}" ]; then # Compose не найден. Скачать образ можем, а пересоздать контейнер # с сохранением всех его параметров — нет. Поэтому честно сообщаем # об этом, а не изображаем успешное обновление. IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) log " образ: $IMG" pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ || log " ⚠️ образ не обновился" log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" log " Образ скачан, но контейнер продолжит работать из прежнего." else log "⬆️ Обновляем образы по списку" for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ || log " ⚠️ не удалось обновить $IMG" done pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ || log " ⚠️ перезапуск контейнеров не удался" fi else log "⬆️ Нативный сервис: apt" pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ || log " ⚠️ apt upgrade не удался" pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true fi # ---------- Шаг 3: применился ли новый образ -------------------------------- # Главная проверка, которой раньше не было. Без неё обновление выглядело # успешным, хотя контейнер продолжал работать из прежнего образа: проверка # здоровья проходила (сервис-то жив), а версия не менялась. sleep 5 IMAGE_APPLIED=true if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) # Отсутствие контейнера — это провал, а не повод пропустить проверку. # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер # вообще не создался, а на порту отвечал старый. if [ -z "$STATE_NOW" ]; then IMAGE_APPLIED=false log "❌ Контейнер $CONTAINER не создан — обновление не применилось" elif [ "$STATE_NOW" != "running" ]; then IMAGE_APPLIED=false log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then IMAGE_APPLIED=false log "❌ Контейнер работает из прежнего образа — обновление не применилось" log " работает: ${RUNNING_ID:0:20}" log " скачан: ${STORE_ID:0:20}" else log "✅ Контейнер $CONTAINER работает из актуального образа" fi fi # ---------- Шаг 4: проверка здоровья --------------------------------------- # Ожидание не фиксированное, а до готовности: одни сервисы поднимаются # за пару секунд, другим (например, Grafana с большой базой) нужно больше # минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. HEALTH_WAIT="${HEALTH_WAIT:-120}" HEALTH_OK=false if [ -z "$HEALTH_URL" ]; then log "🏥 Адрес проверки не задан — проверка пропущена" HEALTH_OK=true else log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" deadline=$(( $(date +%s) + HEALTH_WAIT )) attempt=0 while [ "$(date +%s)" -lt "$deadline" ]; do attempt=$((attempt + 1)) CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) for ok in $ACCEPT_CODES; do if [ "$CODE" = "$ok" ]; then HEALTH_OK=true break 2 fi done if [ $((attempt % 3)) -eq 0 ]; then log " ожидание готовности: попытка $attempt, код $CODE" fi sleep 5 done [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" fi # ---------- Шаг 5: результат ------------------------------------------------ if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then log "✅ Проверка пройдена" if [ -n "${CONTAINER:-}" ]; then NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) else NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) fi [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" TMP=$(mktemp) jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" cleanup_snapshot cd "$REPO_ROOT" git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ && git push origin main >/dev/null 2>&1 \ && log " ✅ зафиксировано в Git и отправлено" \ || log " ⚠️ коммит или отправка не удались" log "🎉 $SERVICE обновлён: $NEW_VERSION" exit 0 else if [ "$IMAGE_APPLIED" != true ]; then log "🚨 Новый образ не применён — откат" else log "🚨 Проверка не пройдена — откат" fi pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true sleep 3 if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then log " откат выполнен" else log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" fi pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" sleep 10 cleanup_snapshot log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" exit 1 fi