Files
buryan-infra/ops/update-manager/safe-update.sh
T

202 lines
11 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
if [ -n "$IMAGE_HINT" ]; then
echo "$list" | awk -v pat="$IMAGE_HINT" 'index($2, pat) {print $1; exit}'
fi
# запасной вариант: контейнер, в имени которого есть имя сервиса
[ -z "$IMAGE_HINT" ] && echo "$list" | awk -v s="$SERVICE" \
'index(tolower($1), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
if [ -n "$CONTAINER" ]; then
log "⬆️ Пересоздаём контейнер $CONTAINER"
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 || log " ⚠️ образ не обновился, продолжаем"
pct exec "$CT_ID" -- docker restart "$CONTAINER" >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнера не удался"
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
log " ожидание 15 секунд"
sleep 15
# ---------- Шаг 3: проверка здоровья ---------------------------------------
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
for i in $(seq 1 "$HEALTH_RETRIES"); do
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
log " попытка $i/$HEALTH_RETRIES: код $CODE"
[ "$i" -lt "$HEALTH_RETRIES" ] && sleep 10
done
fi
# ---------- Шаг 4: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
log "🚨 Проверка не пройдена — откат"
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi