Files
buryan-infra/ops/update-manager/safe-update.sh
T
root bdf9ff55a1 CT 111: адрес сменён на 192.168.1.240, интернет заработал
По решению владельца: политики на роутере нет, меняем адрес.

БЫЛО: из CT 111 не было выхода в интернет — шлюз не отвечал, при этом
все остальные хосты локальной сети были доступны. Перед этим исключил
маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на
хосте, firewall Proxmox (отключён), цепочки Tailscale и второй адрес на
том же интерфейсе.

СТАЛО: 192.168.1.111 -> 192.168.1.240 (в стороне от DHCP-диапазона:
.112, .124, .128 оказались заняты устройствами). Шлюз доступен,
example.com отвечает 200, службы поднялись.

ВМЕСТЕ С АДРЕСОМ поправлены ссылки: настройки контейнера, внешний nginx
на VPS (3), домашний nginx (3), наблюдение (3), реестр обновлений (3),
карта доменов (3).

ОТКРЫТИЕ: домашние домены проксирует nginx НА ХОСТЕ PVE
(/etc/nginx/conf.d/buryans-all.conf, 41 домен), а не NPM в CT 101.
Значит при любой смене адреса искать ссылки надо в двух местах — на VPS
и на хосте. Записано в документ.

Проверено: книги/новости/rss работают дома и снаружи (302),
наблюдение 60 проверок без провалов.
2026-10-17 16:14:02 +03:00

401 lines
25 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
PULL_FAILED=false
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
# Порог поднят с 75 до 85 17.10.2026. Причина: процент не учитывал
# абсолютный запас. Пул 348 ГБ, занято 80% — это 68 ГБ свободно, чего
# с избытком хватает на снимок одного контейнера. Защита от заполнения
# сохранена: 85% оставляет не меньше 52 ГБ.
POOL_LIMIT="${POOL_LIMIT:-85}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
# Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
/container_name:/ && index(\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
# ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
# Идентификатор образа ДО скачивания — чтобы отличить «обновлено»
# от «уже было актуально». Без этого любое успешное прохождение
# называется обновлением, хотя версия могла не измениться.
if [ -n "${CONTAINER:-}" ]; then
IMG_REF=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
IMG_ID_BEFORE=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_REF" 2>/dev/null | head -1)
fi
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
PULL_RC=$?
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
if [ "$PULL_RC" -ne 0 ]; then
PULL_FAILED=true
log " ⚠️ образ НЕ скачался — обновление не применится"
fi
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
# Образ не скачался (например, тега нет в реестре). Служба работает из
# прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя.
# Откат не нужен: ничего не менялось.
if [ "${PULL_FAILED:-false}" = true ]; then
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
log " Проверьте тег образа в реестре служб — возможно, он не существует."
cleanup_snapshot
exit 3
fi
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
# Если образ не изменился, значит обновлять было нечего.
IMG_ID_AFTER=""
if [ -n "${CONTAINER:-}" ]; then
IMG_REF2=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
IMG_ID_AFTER=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_REF2" 2>/dev/null | head -1)
fi
if [ -n "${IMG_ID_BEFORE:-}" ] && [ -n "$IMG_ID_AFTER" ] && [ "$IMG_ID_BEFORE" = "$IMG_ID_AFTER" ]; then
log "✅ Уже актуально: $SERVICE уже на последней версии"
log " образ не изменился (${IMG_ID_AFTER:0:20})"
exit 0
fi
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi