215 lines
12 KiB
Bash
Executable File
215 lines
12 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# safe-update.sh v3 — обновление сервиса с откатом
|
||
# ============================================================
|
||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||
# и удаление снимка | провал: остановка, откат, запуск).
|
||
#
|
||
# Что исправлено по сравнению с v1.2:
|
||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||
# принимаются только у сервисов, которым это разрешено явно
|
||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||
# 3. После коммита не делался git push — фиксация оставалась только
|
||
# на сервере. Добавлен push.
|
||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||
# откат, контейнер запускается.
|
||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||
# Теперь снимок удаляется и при успехе, и после отката.
|
||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||
# проверка с отказом от обновления при заполнении выше порога.
|
||
#
|
||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
REPO_ROOT="/root/buryan-infra"
|
||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
|
||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||
|
||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||
fail() { log "❌ $*"; exit 1; }
|
||
|
||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||
|
||
if [ $# -lt 1 ]; then
|
||
echo "Использование: $0 <сервис>"
|
||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||
exit 1
|
||
fi
|
||
|
||
SERVICE="$1"
|
||
|
||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||
|
||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||
|
||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||
else
|
||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||
fi
|
||
|
||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||
|
||
# ---------- Проверка места в пуле томов -------------------------------------
|
||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||
fi
|
||
log " место в пуле: ${POOL_PCT:-?}%"
|
||
|
||
# ---------- Кто именно является сервисом ------------------------------------
|
||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||
# потом переходим к догадкам.
|
||
resolve_container() {
|
||
local list
|
||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||
[ -n "$list" ] || return 1
|
||
|
||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||
return 0
|
||
fi
|
||
|
||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||
local exact
|
||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||
|
||
# 3. Совпадение по имени образа
|
||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||
}
|
||
|
||
CONTAINER=$(resolve_container)
|
||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||
|
||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||
|| fail "не удалось создать снимок"
|
||
|
||
cleanup_snapshot() {
|
||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||
}
|
||
|
||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||
if [ -n "$CONTAINER" ]; then
|
||
log "⬆️ Пересоздаём контейнер $CONTAINER"
|
||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 || log " ⚠️ образ не обновился, продолжаем"
|
||
pct exec "$CT_ID" -- docker restart "$CONTAINER" >/dev/null 2>&1 \
|
||
|| log " ⚠️ перезапуск контейнера не удался"
|
||
else
|
||
log "⬆️ Обновляем образы по списку"
|
||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||
|| log " ⚠️ не удалось обновить $IMG"
|
||
done
|
||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||
fi
|
||
else
|
||
log "⬆️ Нативный сервис: apt"
|
||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||
|| log " ⚠️ apt upgrade не удался"
|
||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||
fi
|
||
|
||
log " ожидание 15 секунд"
|
||
sleep 15
|
||
|
||
# ---------- Шаг 3: проверка здоровья ---------------------------------------
|
||
HEALTH_OK=false
|
||
if [ -z "$HEALTH_URL" ]; then
|
||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||
HEALTH_OK=true
|
||
else
|
||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||
for i in $(seq 1 "$HEALTH_RETRIES"); do
|
||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||
for ok in $ACCEPT_CODES; do
|
||
if [ "$CODE" = "$ok" ]; then
|
||
HEALTH_OK=true
|
||
break 2
|
||
fi
|
||
done
|
||
log " попытка $i/$HEALTH_RETRIES: код $CODE"
|
||
[ "$i" -lt "$HEALTH_RETRIES" ] && sleep 10
|
||
done
|
||
fi
|
||
|
||
# ---------- Шаг 4: результат ------------------------------------------------
|
||
if [ "$HEALTH_OK" = true ]; then
|
||
log "✅ Проверка пройдена"
|
||
|
||
if [ -n "${CONTAINER:-}" ]; then
|
||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||
else
|
||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||
fi
|
||
|
||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||
TMP=$(mktemp)
|
||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||
|
||
cleanup_snapshot
|
||
|
||
cd "$REPO_ROOT"
|
||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||
&& git push origin main >/dev/null 2>&1 \
|
||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||
|| log " ⚠️ коммит или отправка не удались"
|
||
|
||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||
exit 0
|
||
else
|
||
log "🚨 Проверка не пройдена — откат"
|
||
|
||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||
sleep 3
|
||
|
||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||
log " откат выполнен"
|
||
else
|
||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||
fi
|
||
|
||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||
sleep 10
|
||
cleanup_snapshot
|
||
|
||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||
exit 1
|
||
fi
|