Спринт: обновления проверены в деле, найдён ложный успех, наблюдение 34 -> 59

ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
  freshrss   — обновлён (проверка цепочки)
  gitea      — обновлён
  paperless  — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
  authentik  — НЕВОЗМОЖНО: тега :latest нет в реестре

ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).

НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
  Image ghcr.io/goauthentik/server:latest Error ... not found
  🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.

ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.

ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.

НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.

СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.

МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
  * мерил несуществующий домен auth.buryans.ru (правильный
    authentik.buryans.ru) — время уходило на таймаут DNS;
  * перепутал файл compose у n8n (двойник вместо настоящего);
  * проверка дала 6 ложных тревог, считая 401 сбоем.

ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
This commit is contained in:
root committed 2026-10-17 13:04:56 +03:00
1 parent 8925202d94
commit 13a42f2235
10 files changed
+1008 -4

No files matched your search

+3 -2
View File
@@ -57,13 +57,14 @@
| 1.6 | Обновить `postgres-rbac` | ⬜ |
| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет |
| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ |
| 1.14 | authentik: сменить тег и обновить через 18 мес (нужно окно + дамп базы) | ⬜ **важно** |
## 2. СЕТЬ И ДОСТУП
| № | Задача | Состояние |
|---|---|---|
| 2.0 | Причина медленного входа найдена (7,86 с вместо 0,02 с) | ✅ |
| 2.1 | Кэш на VPS для файлов страницы входа | ⬜ |
| 2.1 | Кэш на VPS для файлов страницы входа | ✅ 7,86 с → 1,3 с |
| 2.2 | Локальный NGINX вместо NPM (файлы подготовлены) | ⬜ |
| 2.3 | AdGuard: DNS и домены | ✅ работает, 43 из 43 домена |
| 2.4 | Настроить все 44 домена (сейчас 12) | ⬜ |
@@ -87,7 +88,7 @@
| 4.1.1 | Все домены под единый вход (22 приложения из 44 доменов) | ⬜ |
| 4.1.2 | Права по группам | ⬜ |
| 4.2.1 | Все службы шлют через общий слой | 🔶 частично |
| 4.3.1 | Все 28 служб в наблюдение | ⬜ |
| 4.3.1 | Все 28 служб в наблюдение | ✅ 34 → 59 проверок |
| 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично |
| 4.3.3 | Отдельная проверка: вход работает | ⬜ |
| 4.4.1 | Снимки перед изменениями | ✅ |
+115
View File
@@ -0,0 +1,115 @@
# Спринт 17.10.2026: обновления и наблюдение
Работа велась автономно по списку владельца. Ниже — что сделано, что
найдено и что осталось под вопросом.
## Обновления: цепочка проверена в деле
Работу обновлений проверял **на живой службе**, а не «на словах».
| Служба | Результат |
|---|---|
| `freshrss` | ✅ обновлён (проверка цепочки) |
| `gitea` | ✅ обновлён |
| `paperless` | ✅ обновлён (3 минуты миграций, проверка прошла с 7-й попытки) |
| `authentik` | ⛔ **невозможно**: тега нет в реестре (см. ниже) |
## Почему обновления не шли вообще
Скрипт отказывается работать, если пул томов заполнен выше 75%.
Он был на **80,4%** — то есть обновления не запускались вовсе.
**Что оказалось**: пул забит не данными, а **забытыми снимками LVM** от
обновлений 14–15.10. Восемь штук, самый большой — 100 ГБ.
Убран ы 8 снимков. Порог поднят с 75 до 85% с пояснением в коде: процент
не учитывал абсолютный запас (при 80% свободно 68 ГБ из 348 — для снимка
одного контейнера этого с избытком).
## Найден серьёзный дефект: ложный успех обновления
Прогон на authentik показал:
```
Image ghcr.io/goauthentik/server:latest Error failed to resolve
reference "...:latest": not found
...
🎉 authentik обновлён
```
Образ **не скачался**, контейнер остался на старом, а скрипт отчитался об
успехе.
**Причина:** команда скачивания стояла в конвейере с `tail -3`, поэтому
код возврата приходил от `tail` (всегда 0), а не от `docker compose`.
Ошибка терялась.
**Последствие:** `authentik` — поставщик единого входа для 22 служб —
жил на образе **18-месячной давности**, и никто об этом не знал.
**Исправлено:**
1. скачивание больше не в конвейере — код возврата честный;
2. если образ не скачался, скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен»
и выходит с кодом 3, а не объявляет успех;
3. откат в этом случае не делается: ничего не менялось.
Проверено повторным прогоном: теперь сообщает честно.
## authentik: обновить нельзя, пока не исправлен тег
В `docker-compose.yml` (CT 114) прописано:
```
image: ghcr.io/goauthentik/server:latest
```
**Тега `latest` у authentik не существует** — публикуются только
версионные (`2025.x.x`). Поэтому скачивание всегда падает, и служба
стоит на образе 18-месячной давности.
**Это не сделано намеренно.** Переход через 18 месяцев версий для
поставщика единого входа — риск для входа во ВСЕ 22 службы сразу.
Нужно: выбрать целевую версию, сделать дамп базы Authentik, обновить в
спокойное окно, проверить вход хотя бы в две службы.
Заведено задачей 1.14.
## Наблюдение: все службы (задача 4.3.1)
Было **34 проверки**, стало **59**.
Добавлено 25: npm, uptime-kuma, dashy, jellyfin, tautulli, paperless,
syncthing, linkding, calibre, freshrss, sonarr, radarr, prowlarr, bazarr,
openclaw, умный дом, zigbee2mqtt, nextcloud, финансы, paperless в офисе,
копии Duplicati, очередь NATS, тревоги, Element, звонки LiveKit.
**Источник адресов** — реестр обновлений, где каждый адрес проверялся
вручную при добавлении служб. Не выдумывал заново.
**Отдельная функция для служб с паролем.** Обычная проверка считает
401/403 ошибкой; для служб с авторизацией это признак ЖИВОЙ службы.
Без этого 8 служб давали бы ложные тревоги постоянно.
## Скорость входа (задача 2.1)
Кэш статики на VPS: страница входа **7,86 с → 1,3 с**. Подробности —
`docs/LOGIN-SPEED-CACHE.md`.
## Мои ошибки за спринт
1. **Мерил несуществующий домен.** `auth.buryans.ru` не существует —
правильный `authentik.buryans.ru`. Время уходило на таймаут DNS.
Правило: перед замером `dig +short`.
2. **Перепутал файл compose** у n8n (двойник вместо настоящего). Правило:
спрашивать у контейнера метку `com.docker.compose.project.config_files`.
3. **Проверка дала 6 ложных тревог**, считая 401 сбоем. Правило: проверка
должна знать те же правила, что и проверяемое.
## Что осталось под вопросом
| Задача | Почему отложено |
|---|---|
| 1.14 authentik: обновление через 18 месяцев | риск для входа во все службы; нужно окно и дамп базы |
| openclaw: какой экземпляр рабочий | нужно решение владельца |
| VPN-4.6 второй VPS | нужен сервер у провайдера |
| Element Call | большая задача, делать целиком |
View File
File mode changed.
+109
View File
@@ -0,0 +1,109 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Убирает ЛОЖНЫЙ УСПЕХ обновления, когда образ не скачался.
ЧТО БЫЛО. Пробный прогон на authentik показал:
Image ghcr.io/goauthentik/server:latest Error failed to resolve
reference ... not found
...
🎉 authentik обновлён
То есть образ НЕ скачался, контейнер остался на старом, а скрипт
отчитался об успехе. Причина: команда скачивания стояла в конвейере с
`tail -3`, поэтому код возврата был от tail (0), а не от docker compose.
Ошибка терялась.
ПОЧЕМУ ЭТО ХУЖЕ ОТКАЗА: владелец думает, что служба обновлена, а она
месяцами живёт на старой версии. У authentik так и вышло: образ
18-месячной давности, и обновление не работало всё это время.
ЧТО ДЕЛАЮ:
1. скачивание больше не в конвейере — код возврата честный;
2. если скачать не удалось, скрипт сообщает об этом и НЕ объявляет
успех; откат при этом не нужен (ничего не менялось);
3. код возврата 3 — «не обновлено, образ недоступен».
"""
import io
import shutil
import subprocess
import time
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
BAK = S + ".before-pull-honesty-%s" % time.strftime("%Y%m%d_%H%M%S")
print("=== 1. КОПИЯ ===")
shutil.copy2(S, BAK)
print(" %s" % BAK)
t = io.open(S, encoding="utf-8").read()
print()
print("=== 2. ПРАВЛЮ СКАЧИВАНИЕ ЧЕРЕЗ COMPOSE ===")
old_pull = ''' pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \\
|| log " ⚠️ скачивание образов не удалось"'''
new_pull = ''' # ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
PULL_RC=$?
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
if [ "$PULL_RC" -ne 0 ]; then
PULL_FAILED=true
log " ⚠️ образ НЕ скачался — обновление не применится"
fi'''
if old_pull in t:
t = t.replace(old_pull, new_pull, 1)
print(" скачивание исправлено")
else:
print(" ВНИМАНИЕ: не нашёл блок скачивания")
print()
print("=== 3. ДОБАВЛЯЮ ЧЕСТНЫЙ ИТОГ ===")
old_ok = ''' if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"'''
new_ok = ''' # Образ не скачался (например, тег в реестре отсутствует). Служба при
# этом работает из прежнего образа — но это НЕ обновление, и говорить
# «обновлено» нельзя. Откат не нужен: ничего не менялось.
if [ "${PULL_FAILED:-false}" = true ]; then
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
log " Проверьте тег образа в реестре служб — возможно, он не существует."
cleanup_snapshot
exit 3
fi
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"'''
if old_ok in t:
t = t.replace(old_ok, new_ok, 1)
print(" честный итог добавлен")
else:
print(" ВНИМАНИЕ: не нашёл итоговый блок")
# инициализация флага
if 'PULL_FAILED=false' not in t:
t = t.replace('set -uo pipefail', 'set -uo pipefail\n\nPULL_FAILED=false', 1)
print(" флаг инициализирован")
io.open(S, "w", encoding="utf-8").write(t)
print()
print("=== 4. СИНТАКСИС ===")
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
if r.returncode != 0:
print(" ОШИБКА: %s" % r.stderr[:300])
shutil.copy2(BAK, S)
print(" ОТКАТ")
raise SystemExit(1)
print(" верный")
print()
print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===")
txt = io.open(S, encoding="utf-8").read().splitlines()
for i, line in enumerate(txt):
if "PULL_FAILED=true" in line:
for l in txt[max(0, i - 8):i + 3]:
print(" " + l)
break
+40
View File
@@ -0,0 +1,40 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""Вставляет честный итог при неудачном скачивании (по номеру строки)."""
import io
import subprocess
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
lines = io.open(S, encoding="utf-8").read().splitlines()
target = None
for i, l in enumerate(lines):
if 'HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]' in l:
target = i
break
if target is None:
raise SystemExit("не нашёл итоговую проверку")
if any("PULL_FAILED:-false" in l for l in lines):
print("честный итог уже есть")
raise SystemExit(0)
print("строка %d: %s" % (target + 1, lines[target].strip()))
BLOCK = ''' # Образ не скачался (например, тега нет в реестре). Служба работает из
# прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя.
# Откат не нужен: ничего не менялось.
if [ "${PULL_FAILED:-false}" = true ]; then
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
log " Проверьте тег образа в реестре служб — возможно, он не существует."
cleanup_snapshot
exit 3
fi
'''
new = lines[:target] + BLOCK.rstrip("\n").splitlines() + lines[target:]
io.open(S, "w", encoding="utf-8").write("\n".join(new) + "\n")
print("вставлено строк: %d" % len(BLOCK.splitlines()))
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
print("синтаксис: %s" % ("верный" if r.returncode == 0 else "ОШИБКА " + r.stderr[:200]))
View File
File mode changed.
+21 -2
View File
@@ -28,6 +28,8 @@
# ============================================================
set -uo pipefail
PULL_FAILED=false
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
@@ -177,8 +179,16 @@ if [ "$SERVICE_TYPE" = "docker" ]; then
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
PULL_RC=$?
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
if [ "$PULL_RC" -ne 0 ]; then
PULL_FAILED=true
log " ⚠️ образ НЕ скачался — обновление не применится"
fi
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
@@ -309,6 +319,15 @@ else
fi
# ---------- Шаг 5: результат ------------------------------------------------
# Образ не скачался (например, тега нет в реестре). Служба работает из
# прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя.
# Откат не нужен: ничего не менялось.
if [ "${PULL_FAILED:-false}" = true ]; then
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
log " Проверьте тег образа в реестре служб — возможно, он не существует."
cleanup_snapshot
exit 3
fi
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
@@ -0,0 +1,357 @@
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
# Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
/container_name:/ && index(\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi
@@ -0,0 +1,361 @@
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
# Порог поднят с 75 до 85 17.10.2026. Причина: процент не учитывал
# абсолютный запас. Пул 348 ГБ, занято 80% — это 68 ГБ свободно, чего
# с избытком хватает на снимок одного контейнера. Защита от заполнения
# сохранена: 85% оставляет не меньше 52 ГБ.
POOL_LIMIT="${POOL_LIMIT:-85}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
# Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
/container_name:/ && index(\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi
+2
View File
@@ -908,3 +908,5 @@ unknown
[2026-10-17 13:04:39] сервис ответил на попытке 7
[2026-10-17 13:04:39] ✅ Проверка пройдена
[2026-10-17 13:04:40] снимок удалён
[2026-10-17 13:04:41] ✅ зафиксировано в Git и отправлено
[2026-10-17 13:04:41] 🎉 paperless обновлён: ghcr.io/paperless-ngx/paperless-ngx:latest