Files
buryan-infra/ops/update-manager/safe-update.sh
T
root 915de56603 Обновления из бота: реестр расширен с 28 до 50 служб
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.

НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
  adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
  mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
  nextcloud, duplicati (копии), firefly, paperless в CT 110,
  nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.

ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
   Правило жёсткое: адрес добавляется только если реально отвечает.
   Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
   и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
   ответили 401, я сначала убрал у них проверку — это было неправильно,
   401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
   метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
   имени службы — то есть пересоздавал весь проект вместе с соседями.
   Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
   бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
   по container_name. Проверено на homeassistant.

ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
  служб в реестре: 50, полностью обновляемы: 49.

ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
  * openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
    решения владельца;
  * duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
    скрипт скачает образ, но пересоздать контейнер не сможет и скажет
    об этом прямо, а не изобразит успех;
  * mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
  * 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.

МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.

РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
2026-10-17 12:36:43 +03:00

358 lines
22 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
# Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
/container_name:/ && index(\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi