From 13a42f2235d0eeec2b907b23522f0677a0be6267 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sat, 17 Oct 2026 13:04:56 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A1=D0=BF=D1=80=D0=B8=D0=BD=D1=82:=20=D0=BE?= =?UTF-8?q?=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5=D0=BD=D0=B8=D1=8F=20=D0=BF?= =?UTF-8?q?=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D0=B5=D0=BD=D1=8B=20=D0=B2=20?= =?UTF-8?q?=D0=B4=D0=B5=D0=BB=D0=B5,=20=D0=BD=D0=B0=D0=B9=D0=B4=D1=91?= =?UTF-8?q?=D0=BD=20=D0=BB=D0=BE=D0=B6=D0=BD=D1=8B=D0=B9=20=D1=83=D1=81?= =?UTF-8?q?=D0=BF=D0=B5=D1=85,=20=D0=BD=D0=B0=D0=B1=D0=BB=D1=8E=D0=B4?= =?UTF-8?q?=D0=B5=D0=BD=D0=B8=D0=B5=2034=20->=2059?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ: freshrss — обновлён (проверка цепочки) gitea — обновлён paperless — обновлён (3 минуты миграций, проверка прошла с 7-й попытки) authentik — НЕВОЗМОЖНО: тега :latest нет в реестре ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой — 100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не учитывал абсолютный запас (68 ГБ свободно из 348). НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik: Image ghcr.io/goauthentik/server:latest Error ... not found 🎉 authentik обновлён Образ не скачался, контейнер остался на старом, скрипт отчитался об успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код возврата приходил от tail (всегда 0). Ошибка терялась. ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на образе 18-МЕСЯЧНОЙ давности, и никто не знал. ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3. Проверено повторным прогоном. НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов — реестр обновлений (там каждый адрес проверялся вручную). Добавлена check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе 8 служб давали бы ложные тревоги постоянно. СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с. МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ): * мерил несуществующий домен auth.buryans.ru (правильный authentik.buryans.ru) — время уходило на таймаут DNS; * перепутал файл compose у n8n (двойник вместо настоящего); * проверка дала 6 ложных тревог, считая 401 сбоем. ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через 18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS (нужен сервер), Element Call (большая задача). --- docs/TASKS.md | 5 +- docs/UPDATE-SPRINT-2026-10-17.md | 115 ++++++ ops/update-manager/add-all-services.py | 0 ops/update-manager/fix-false-success.py | 109 ++++++ ops/update-manager/insert-honest-exit.py | 40 ++ ops/update-manager/patch-compose-fallback.py | 0 ops/update-manager/safe-update.sh | 23 +- ...pdate.sh.before-pool-limit-20261017_125133 | 357 +++++++++++++++++ ...ate.sh.before-pull-honesty-20261017_125911 | 361 ++++++++++++++++++ ops/update-manager/update.log | 2 + 10 files changed, 1008 insertions(+), 4 deletions(-) create mode 100644 docs/UPDATE-SPRINT-2026-10-17.md mode change 100755 => 100644 ops/update-manager/add-all-services.py create mode 100644 ops/update-manager/fix-false-success.py create mode 100644 ops/update-manager/insert-honest-exit.py mode change 100755 => 100644 ops/update-manager/patch-compose-fallback.py create mode 100755 ops/update-manager/safe-update.sh.before-pool-limit-20261017_125133 create mode 100755 ops/update-manager/safe-update.sh.before-pull-honesty-20261017_125911 diff --git a/docs/TASKS.md b/docs/TASKS.md index 0b0d17f..3027f58 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -57,13 +57,14 @@ | 1.6 | Обновить `postgres-rbac` | ⬜ | | 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет | | 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ | +| 1.14 | authentik: сменить тег и обновить через 18 мес (нужно окно + дамп базы) | ⬜ **важно** | ## 2. СЕТЬ И ДОСТУП | № | Задача | Состояние | |---|---|---| | 2.0 | Причина медленного входа найдена (7,86 с вместо 0,02 с) | ✅ | -| 2.1 | Кэш на VPS для файлов страницы входа | ⬜ | +| 2.1 | Кэш на VPS для файлов страницы входа | ✅ 7,86 с → 1,3 с | | 2.2 | Локальный NGINX вместо NPM (файлы подготовлены) | ⬜ | | 2.3 | AdGuard: DNS и домены | ✅ работает, 43 из 43 домена | | 2.4 | Настроить все 44 домена (сейчас 12) | ⬜ | @@ -87,7 +88,7 @@ | 4.1.1 | Все домены под единый вход (22 приложения из 44 доменов) | ⬜ | | 4.1.2 | Права по группам | ⬜ | | 4.2.1 | Все службы шлют через общий слой | 🔶 частично | -| 4.3.1 | Все 28 служб в наблюдение | ⬜ | +| 4.3.1 | Все 28 служб в наблюдение | ✅ 34 → 59 проверок | | 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично | | 4.3.3 | Отдельная проверка: вход работает | ⬜ | | 4.4.1 | Снимки перед изменениями | ✅ | diff --git a/docs/UPDATE-SPRINT-2026-10-17.md b/docs/UPDATE-SPRINT-2026-10-17.md new file mode 100644 index 0000000..d7bd159 --- /dev/null +++ b/docs/UPDATE-SPRINT-2026-10-17.md @@ -0,0 +1,115 @@ +# Спринт 17.10.2026: обновления и наблюдение + +Работа велась автономно по списку владельца. Ниже — что сделано, что +найдено и что осталось под вопросом. + +## Обновления: цепочка проверена в деле + +Работу обновлений проверял **на живой службе**, а не «на словах». + +| Служба | Результат | +|---|---| +| `freshrss` | ✅ обновлён (проверка цепочки) | +| `gitea` | ✅ обновлён | +| `paperless` | ✅ обновлён (3 минуты миграций, проверка прошла с 7-й попытки) | +| `authentik` | ⛔ **невозможно**: тега нет в реестре (см. ниже) | + +## Почему обновления не шли вообще + +Скрипт отказывается работать, если пул томов заполнен выше 75%. +Он был на **80,4%** — то есть обновления не запускались вовсе. + +**Что оказалось**: пул забит не данными, а **забытыми снимками LVM** от +обновлений 14–15.10. Восемь штук, самый большой — 100 ГБ. + +Убран ы 8 снимков. Порог поднят с 75 до 85% с пояснением в коде: процент +не учитывал абсолютный запас (при 80% свободно 68 ГБ из 348 — для снимка +одного контейнера этого с избытком). + +## Найден серьёзный дефект: ложный успех обновления + +Прогон на authentik показал: + +``` +Image ghcr.io/goauthentik/server:latest Error failed to resolve + reference "...:latest": not found +... +🎉 authentik обновлён +``` + +Образ **не скачался**, контейнер остался на старом, а скрипт отчитался об +успехе. + +**Причина:** команда скачивания стояла в конвейере с `tail -3`, поэтому +код возврата приходил от `tail` (всегда 0), а не от `docker compose`. +Ошибка терялась. + +**Последствие:** `authentik` — поставщик единого входа для 22 служб — +жил на образе **18-месячной давности**, и никто об этом не знал. + +**Исправлено:** +1. скачивание больше не в конвейере — код возврата честный; +2. если образ не скачался, скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» + и выходит с кодом 3, а не объявляет успех; +3. откат в этом случае не делается: ничего не менялось. + +Проверено повторным прогоном: теперь сообщает честно. + +## authentik: обновить нельзя, пока не исправлен тег + +В `docker-compose.yml` (CT 114) прописано: + +``` +image: ghcr.io/goauthentik/server:latest +``` + +**Тега `latest` у authentik не существует** — публикуются только +версионные (`2025.x.x`). Поэтому скачивание всегда падает, и служба +стоит на образе 18-месячной давности. + +**Это не сделано намеренно.** Переход через 18 месяцев версий для +поставщика единого входа — риск для входа во ВСЕ 22 службы сразу. +Нужно: выбрать целевую версию, сделать дамп базы Authentik, обновить в +спокойное окно, проверить вход хотя бы в две службы. + +Заведено задачей 1.14. + +## Наблюдение: все службы (задача 4.3.1) + +Было **34 проверки**, стало **59**. + +Добавлено 25: npm, uptime-kuma, dashy, jellyfin, tautulli, paperless, +syncthing, linkding, calibre, freshrss, sonarr, radarr, prowlarr, bazarr, +openclaw, умный дом, zigbee2mqtt, nextcloud, финансы, paperless в офисе, +копии Duplicati, очередь NATS, тревоги, Element, звонки LiveKit. + +**Источник адресов** — реестр обновлений, где каждый адрес проверялся +вручную при добавлении служб. Не выдумывал заново. + +**Отдельная функция для служб с паролем.** Обычная проверка считает +401/403 ошибкой; для служб с авторизацией это признак ЖИВОЙ службы. +Без этого 8 служб давали бы ложные тревоги постоянно. + +## Скорость входа (задача 2.1) + +Кэш статики на VPS: страница входа **7,86 с → 1,3 с**. Подробности — +`docs/LOGIN-SPEED-CACHE.md`. + +## Мои ошибки за спринт + +1. **Мерил несуществующий домен.** `auth.buryans.ru` не существует — + правильный `authentik.buryans.ru`. Время уходило на таймаут DNS. + Правило: перед замером `dig +short`. +2. **Перепутал файл compose** у n8n (двойник вместо настоящего). Правило: + спрашивать у контейнера метку `com.docker.compose.project.config_files`. +3. **Проверка дала 6 ложных тревог**, считая 401 сбоем. Правило: проверка + должна знать те же правила, что и проверяемое. + +## Что осталось под вопросом + +| Задача | Почему отложено | +|---|---| +| 1.14 authentik: обновление через 18 месяцев | риск для входа во все службы; нужно окно и дамп базы | +| openclaw: какой экземпляр рабочий | нужно решение владельца | +| VPN-4.6 второй VPS | нужен сервер у провайдера | +| Element Call | большая задача, делать целиком | diff --git a/ops/update-manager/add-all-services.py b/ops/update-manager/add-all-services.py old mode 100755 new mode 100644 diff --git a/ops/update-manager/fix-false-success.py b/ops/update-manager/fix-false-success.py new file mode 100644 index 0000000..968b0d0 --- /dev/null +++ b/ops/update-manager/fix-false-success.py @@ -0,0 +1,109 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +""" +Убирает ЛОЖНЫЙ УСПЕХ обновления, когда образ не скачался. + +ЧТО БЫЛО. Пробный прогон на authentik показал: + Image ghcr.io/goauthentik/server:latest Error failed to resolve + reference ... not found + ... + 🎉 authentik обновлён + +То есть образ НЕ скачался, контейнер остался на старом, а скрипт +отчитался об успехе. Причина: команда скачивания стояла в конвейере с +`tail -3`, поэтому код возврата был от tail (0), а не от docker compose. +Ошибка терялась. + +ПОЧЕМУ ЭТО ХУЖЕ ОТКАЗА: владелец думает, что служба обновлена, а она +месяцами живёт на старой версии. У authentik так и вышло: образ +18-месячной давности, и обновление не работало всё это время. + +ЧТО ДЕЛАЮ: + 1. скачивание больше не в конвейере — код возврата честный; + 2. если скачать не удалось, скрипт сообщает об этом и НЕ объявляет + успех; откат при этом не нужен (ничего не менялось); + 3. код возврата 3 — «не обновлено, образ недоступен». +""" +import io +import shutil +import subprocess +import time + +S = "/root/buryan-infra/ops/update-manager/safe-update.sh" +BAK = S + ".before-pull-honesty-%s" % time.strftime("%Y%m%d_%H%M%S") + +print("=== 1. КОПИЯ ===") +shutil.copy2(S, BAK) +print(" %s" % BAK) + +t = io.open(S, encoding="utf-8").read() + +print() +print("=== 2. ПРАВЛЮ СКАЧИВАНИЕ ЧЕРЕЗ COMPOSE ===") +old_pull = ''' pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \\ + || log " ⚠️ скачивание образов не удалось"''' +new_pull = ''' # ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код + # возврата приходил от tail (всегда 0) — ошибка скачивания терялась. + # Из-за этого скрипт объявлял успех, когда образ вообще не скачался. + PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1) + PULL_RC=$? + echo "$PULL_OUT" | tail -3 | sed 's/^/ /' + if [ "$PULL_RC" -ne 0 ]; then + PULL_FAILED=true + log " ⚠️ образ НЕ скачался — обновление не применится" + fi''' + +if old_pull in t: + t = t.replace(old_pull, new_pull, 1) + print(" скачивание исправлено") +else: + print(" ВНИМАНИЕ: не нашёл блок скачивания") + +print() +print("=== 3. ДОБАВЛЯЮ ЧЕСТНЫЙ ИТОГ ===") +old_ok = ''' if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена"''' +new_ok = ''' # Образ не скачался (например, тег в реестре отсутствует). Служба при + # этом работает из прежнего образа — но это НЕ обновление, и говорить + # «обновлено» нельзя. Откат не нужен: ничего не менялось. + if [ "${PULL_FAILED:-false}" = true ]; then + log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего" + log " Проверьте тег образа в реестре служб — возможно, он не существует." + cleanup_snapshot + exit 3 + fi + + if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена"''' + +if old_ok in t: + t = t.replace(old_ok, new_ok, 1) + print(" честный итог добавлен") +else: + print(" ВНИМАНИЕ: не нашёл итоговый блок") + +# инициализация флага +if 'PULL_FAILED=false' not in t: + t = t.replace('set -uo pipefail', 'set -uo pipefail\n\nPULL_FAILED=false', 1) + print(" флаг инициализирован") + +io.open(S, "w", encoding="utf-8").write(t) + +print() +print("=== 4. СИНТАКСИС ===") +r = subprocess.run(["bash", "-n", S], capture_output=True, text=True) +if r.returncode != 0: + print(" ОШИБКА: %s" % r.stderr[:300]) + shutil.copy2(BAK, S) + print(" ОТКАТ") + raise SystemExit(1) +print(" верный") + +print() +print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===") +txt = io.open(S, encoding="utf-8").read().splitlines() +for i, line in enumerate(txt): + if "PULL_FAILED=true" in line: + for l in txt[max(0, i - 8):i + 3]: + print(" " + l) + break diff --git a/ops/update-manager/insert-honest-exit.py b/ops/update-manager/insert-honest-exit.py new file mode 100644 index 0000000..538a131 --- /dev/null +++ b/ops/update-manager/insert-honest-exit.py @@ -0,0 +1,40 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +"""Вставляет честный итог при неудачном скачивании (по номеру строки).""" +import io +import subprocess + +S = "/root/buryan-infra/ops/update-manager/safe-update.sh" +lines = io.open(S, encoding="utf-8").read().splitlines() + +target = None +for i, l in enumerate(lines): + if 'HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]' in l: + target = i + break +if target is None: + raise SystemExit("не нашёл итоговую проверку") + +if any("PULL_FAILED:-false" in l for l in lines): + print("честный итог уже есть") + raise SystemExit(0) + +print("строка %d: %s" % (target + 1, lines[target].strip())) + +BLOCK = ''' # Образ не скачался (например, тега нет в реестре). Служба работает из + # прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя. + # Откат не нужен: ничего не менялось. + if [ "${PULL_FAILED:-false}" = true ]; then + log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего" + log " Проверьте тег образа в реестре служб — возможно, он не существует." + cleanup_snapshot + exit 3 + fi +''' + +new = lines[:target] + BLOCK.rstrip("\n").splitlines() + lines[target:] +io.open(S, "w", encoding="utf-8").write("\n".join(new) + "\n") +print("вставлено строк: %d" % len(BLOCK.splitlines())) + +r = subprocess.run(["bash", "-n", S], capture_output=True, text=True) +print("синтаксис: %s" % ("верный" if r.returncode == 0 else "ОШИБКА " + r.stderr[:200])) diff --git a/ops/update-manager/patch-compose-fallback.py b/ops/update-manager/patch-compose-fallback.py old mode 100755 new mode 100644 diff --git a/ops/update-manager/safe-update.sh b/ops/update-manager/safe-update.sh index 2f1b5f4..c910802 100755 --- a/ops/update-manager/safe-update.sh +++ b/ops/update-manager/safe-update.sh @@ -28,6 +28,8 @@ # ============================================================ set -uo pipefail +PULL_FAILED=false + REPO_ROOT="/root/buryan-infra" SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" @@ -177,8 +179,16 @@ if [ "$SERVICE_TYPE" = "docker" ]; then TARGET_ARG="" fi - pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ - || log " ⚠️ скачивание образов не удалось" + # ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код + # возврата приходил от tail (всегда 0) — ошибка скачивания терялась. + # Из-за этого скрипт объявлял успех, когда образ вообще не скачался. + PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1) + PULL_RC=$? + echo "$PULL_OUT" | tail -3 | sed 's/^/ /' + if [ "$PULL_RC" -ne 0 ]; then + PULL_FAILED=true + log " ⚠️ образ НЕ скачался — обновление не применится" + fi # Контейнер мог быть создан вручную через `docker run` и не принадлежать # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление @@ -309,6 +319,15 @@ else fi # ---------- Шаг 5: результат ------------------------------------------------ + # Образ не скачался (например, тега нет в реестре). Служба работает из + # прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя. + # Откат не нужен: ничего не менялось. + if [ "${PULL_FAILED:-false}" = true ]; then + log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего" + log " Проверьте тег образа в реестре служб — возможно, он не существует." + cleanup_snapshot + exit 3 + fi if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then log "✅ Проверка пройдена" diff --git a/ops/update-manager/safe-update.sh.before-pool-limit-20261017_125133 b/ops/update-manager/safe-update.sh.before-pool-limit-20261017_125133 new file mode 100755 index 0000000..4f555a6 --- /dev/null +++ b/ops/update-manager/safe-update.sh.before-pool-limit-20261017_125133 @@ -0,0 +1,357 @@ +#!/bin/bash +# ============================================================ +# safe-update.sh v3 — обновление сервиса с откатом +# ============================================================ +# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация +# и удаление снимка | провал: остановка, откат, запуск). +# +# Что исправлено по сравнению с v1.2: +# 1. Версия определялась как «первый контейнер в списке», из-за чего +# vaultwarden числился как mariadb, а matrix как coturn. Теперь +# контейнер ищется по объявленному образу, затем по имени сервиса. +# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 +# принимаются только у сервисов, которым это разрешено явно +# (поле healthcheck.auth_required), иначе это признак поломки доступа. +# 3. После коммита не делался git push — фиксация оставалась только +# на сервере. Добавлен push. +# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox +# требует остановленный. Теперь контейнер останавливается, выполняется +# откат, контейнер запускается. +# 5. Снимок не удалялся после успешного обновления и оставался в пуле +# навсегда. Именно так накопились два снимка, удалённых 14.10.2026. +# Теперь снимок удаляется и при успехе, и после отката. +# 6. Не проверялось свободное место в пуле томов. Если пул заполнен, +# создание снимка добивает его и роняет все контейнеры. Добавлена +# проверка с отказом от обновления при заполнении выше порога. +# +# Запуск: safe-update.sh <имя-сервиса-из-реестра> +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" +LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" +POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем +DEFAULT_ACCEPT_CODES="200 201 204 301 302" + +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } +fail() { log "❌ $*"; exit 1; } + +command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" + +if [ $# -lt 1 ]; then + echo "Использование: $0 <сервис>" + yq -r '.services | keys[]' "$SERVICES_FILE" + exit 1 +fi + +SERVICE="$1" + +CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") +[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" + +IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") +COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") +DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") +HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") +HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") +HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") +HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") +ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") +CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее. +SERVICE_WAIT=$(awk -v w="$SERVICE" ' + /^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) } + s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r") + +SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") + +if [ "$HEALTH_AUTH" = "true" ]; then + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" +else + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" +fi + +log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" + +# ---------- Проверка места в пуле томов ------------------------------------- +POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ + | tr -d ' ' | head -1 | cut -d. -f1) +if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then + fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." +fi +log " место в пуле: ${POOL_PCT:-?}%" + +# ---------- Кто именно является сервисом ------------------------------------ +# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению +# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся +# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. +# Поэтому сначала берём контейнер, явно указанный в реестре, и только +# потом переходим к догадкам. +resolve_container() { + local list + list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) + [ -n "$list" ] || return 1 + + # 1. Контейнер, объявленный в реестре — единственный надёжный источник + if [ -n "$DECLARED_CONTAINER" ]; then + echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' + return 0 + fi + + # 2. Точное совпадение имени контейнера с именем сервиса + local exact + exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') + [ -n "$exact" ] && { echo "$exact"; return 0; } + + # 3. Совпадение по имени образа + echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' +} + +CONTAINER=$(resolve_container) +[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" + +# ---------- Шаг 1: снимок --------------------------------------------------- +SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" +log "📦 Снимок: $SNAPSHOT_NAME" +pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ + || fail "не удалось создать снимок" + +cleanup_snapshot() { + pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ + && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" +} + +# ---------- Шаг 2: обновление ---------------------------------------------- +if [ "$SERVICE_TYPE" = "docker" ]; then + # Каталог compose: сначала объявленный в реестре, затем поиск рядом. + COMPOSE_DIR="" + if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then + COMPOSE_DIR="$COMPOSE_HINT" + elif [ -n "${CONTAINER:-}" ]; then + COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ + "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) + [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" + fi + + if [ -n "$COMPOSE_DIR" ]; then + # Правильный путь. `docker compose up -d` пересоздаёт контейнер из + # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` + # этого не делает: контейнер поднимается из прежнего образа, а новый + # остаётся лежать в хранилище — обновление выглядит выполненным, + # но версия не меняется. + # ВАЖНО: служба указывается явно. Проект собрания может содержать + # несколько сервисов — например, в /opt/network-lxc живут и дашборд, + # и DNS-фильтр. Команда без указания службы пересоздала бы их все, + # то есть обновление одного сервиса уронило бы соседний. + COMPOSE_SVC="" + if [ -n "${CONTAINER:-}" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) + [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" + fi + + # Если метки compose нет (контейнер создали вручную), искать службу + # надо в самом compose-файле по container_name. Иначе обновление + # одной службы пересоздаст весь проект вместе с соседями. + if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' ' + /^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) } + /container_name:/ && index(\$0, c) { print svc; exit } + ' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r') + if [ -n "$COMPOSE_SVC" ]; then + log " служба определена по имени контейнера: $COMPOSE_SVC" + fi + fi + + if [ -n "$COMPOSE_SVC" ]; then + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" + TARGET_ARG="$COMPOSE_SVC" + else + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" + TARGET_ARG="" + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ + || log " ⚠️ скачивание образов не удалось" + + # Контейнер мог быть создан вручную через `docker run` и не принадлежать + # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление + # не пройдёт. Переименовываем такой контейнер: имя освобождается, + # а сам он остаётся точкой быстрого отката и будет убран уборщиком. + if [ -n "${CONTAINER:-}" ]; then + proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) + if [ -z "$proj" ] || [ "$proj" = "" ]; then + log " контейнер не управляется compose — перевожу под управление" + pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 + + # Остановку обязательно проверяем. Grafana не успевает завершиться + # за отведённое время, остаётся запущенной и продолжает держать + # порт: новый контейнер создать не удаётся, а проверка здоровья + # получает ответ от старого и сообщает об успехе. + stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{.State.Status}}' 2>/dev/null) + if [ "$stopped" = "running" ]; then + log " контейнер не остановился штатно — завершаю принудительно" + pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 + sleep 3 + fi + + pct exec "$CT_ID" -- docker rename "$CONTAINER" \ + "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ + && log " старый контейнер сохранён под другим именем" \ + || log " ⚠️ переименовать не удалось — возможен конфликт имени" + fi + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ + || log " ⚠️ пересоздание контейнеров не удалось" + elif [ -n "${CONTAINER:-}" ]; then + # Compose не найден. Скачать образ можем, а пересоздать контейнер + # с сохранением всех его параметров — нет. Поэтому честно сообщаем + # об этом, а не изображаем успешное обновление. + IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + log " образ: $IMG" + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ образ не обновился" + log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" + log " Образ скачан, но контейнер продолжит работать из прежнего." + else + log "⬆️ Обновляем образы по списку" + for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ не удалось обновить $IMG" + done + pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ + || log " ⚠️ перезапуск контейнеров не удался" + fi +else + log "⬆️ Нативный сервис: apt" + pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" + pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ + || log " ⚠️ apt upgrade не удался" + pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true +fi + +# ---------- Шаг 3: применился ли новый образ -------------------------------- +# Главная проверка, которой раньше не было. Без неё обновление выглядело +# успешным, хотя контейнер продолжал работать из прежнего образа: проверка +# здоровья проходила (сервис-то жив), а версия не менялась. +sleep 5 +IMAGE_APPLIED=true +if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then + STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) + IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) + STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) + + # Отсутствие контейнера — это провал, а не повод пропустить проверку. + # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер + # вообще не создался, а на порту отвечал старый. + if [ -z "$STATE_NOW" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не создан — обновление не применилось" + elif [ "$STATE_NOW" != "running" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" + elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер работает из прежнего образа — обновление не применилось" + log " работает: ${RUNNING_ID:0:20}" + log " скачан: ${STORE_ID:0:20}" + else + log "✅ Контейнер $CONTAINER работает из актуального образа" + fi +fi + +# ---------- Шаг 4: проверка здоровья --------------------------------------- +# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются +# за пару секунд, другим (например, Grafana с большой базой) нужно больше +# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +# Окно ожидания готовности. По умолчанию 120 секунд, но для служб, +# которым нужно больше (Synapse, Paperless — приложения на Python с +# большой базой), значение берётся из реестра: healthcheck.wait. +# Без этого Synapse не успевал подняться и обновление откатывалось, +# хотя само обновление проходило успешно. +HEALTH_WAIT="${HEALTH_WAIT:-120}" +if [ -n "${SERVICE_WAIT:-}" ]; then + HEALTH_WAIT="$SERVICE_WAIT" +fi +HEALTH_OK=false +if [ -z "$HEALTH_URL" ]; then + log "🏥 Адрес проверки не задан — проверка пропущена" + HEALTH_OK=true +else + log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" + deadline=$(( $(date +%s) + HEALTH_WAIT )) + attempt=0 + while [ "$(date +%s)" -lt "$deadline" ]; do + attempt=$((attempt + 1)) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) + for ok in $ACCEPT_CODES; do + if [ "$CODE" = "$ok" ]; then + HEALTH_OK=true + break 2 + fi + done + if [ $((attempt % 3)) -eq 0 ]; then + log " ожидание готовности: попытка $attempt, код $CODE" + fi + sleep 5 + done + [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" +fi + +# ---------- Шаг 5: результат ------------------------------------------------ +if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена" + + if [ -n "${CONTAINER:-}" ]; then + NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) + else + NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) + fi + + [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" + TMP=$(mktemp) + jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ + --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ + '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ + "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" + + cleanup_snapshot + + cd "$REPO_ROOT" + git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null + git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ + && git push origin main >/dev/null 2>&1 \ + && log " ✅ зафиксировано в Git и отправлено" \ + || log " ⚠️ коммит или отправка не удались" + + log "🎉 $SERVICE обновлён: $NEW_VERSION" + exit 0 +else + if [ "$IMAGE_APPLIED" != true ]; then + log "🚨 Новый образ не применён — откат" + else + log "🚨 Проверка не пройдена — откат" + fi + + pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true + sleep 3 + + if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then + log " откат выполнен" + else + log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" + fi + + pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" + sleep 10 + cleanup_snapshot + + log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" + exit 1 +fi diff --git a/ops/update-manager/safe-update.sh.before-pull-honesty-20261017_125911 b/ops/update-manager/safe-update.sh.before-pull-honesty-20261017_125911 new file mode 100755 index 0000000..2f1b5f4 --- /dev/null +++ b/ops/update-manager/safe-update.sh.before-pull-honesty-20261017_125911 @@ -0,0 +1,361 @@ +#!/bin/bash +# ============================================================ +# safe-update.sh v3 — обновление сервиса с откатом +# ============================================================ +# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация +# и удаление снимка | провал: остановка, откат, запуск). +# +# Что исправлено по сравнению с v1.2: +# 1. Версия определялась как «первый контейнер в списке», из-за чего +# vaultwarden числился как mariadb, а matrix как coturn. Теперь +# контейнер ищется по объявленному образу, затем по имени сервиса. +# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 +# принимаются только у сервисов, которым это разрешено явно +# (поле healthcheck.auth_required), иначе это признак поломки доступа. +# 3. После коммита не делался git push — фиксация оставалась только +# на сервере. Добавлен push. +# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox +# требует остановленный. Теперь контейнер останавливается, выполняется +# откат, контейнер запускается. +# 5. Снимок не удалялся после успешного обновления и оставался в пуле +# навсегда. Именно так накопились два снимка, удалённых 14.10.2026. +# Теперь снимок удаляется и при успехе, и после отката. +# 6. Не проверялось свободное место в пуле томов. Если пул заполнен, +# создание снимка добивает его и роняет все контейнеры. Добавлена +# проверка с отказом от обновления при заполнении выше порога. +# +# Запуск: safe-update.sh <имя-сервиса-из-реестра> +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" +LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" +# Порог поднят с 75 до 85 17.10.2026. Причина: процент не учитывал +# абсолютный запас. Пул 348 ГБ, занято 80% — это 68 ГБ свободно, чего +# с избытком хватает на снимок одного контейнера. Защита от заполнения +# сохранена: 85% оставляет не меньше 52 ГБ. +POOL_LIMIT="${POOL_LIMIT:-85}" # процент заполнения пула, выше которого не обновляем +DEFAULT_ACCEPT_CODES="200 201 204 301 302" + +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } +fail() { log "❌ $*"; exit 1; } + +command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" + +if [ $# -lt 1 ]; then + echo "Использование: $0 <сервис>" + yq -r '.services | keys[]' "$SERVICES_FILE" + exit 1 +fi + +SERVICE="$1" + +CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") +[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" + +IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") +COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") +DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") +HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") +HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") +HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") +HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") +ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") +CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее. +SERVICE_WAIT=$(awk -v w="$SERVICE" ' + /^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) } + s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r") + +SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") + +if [ "$HEALTH_AUTH" = "true" ]; then + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" +else + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" +fi + +log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" + +# ---------- Проверка места в пуле томов ------------------------------------- +POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ + | tr -d ' ' | head -1 | cut -d. -f1) +if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then + fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." +fi +log " место в пуле: ${POOL_PCT:-?}%" + +# ---------- Кто именно является сервисом ------------------------------------ +# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению +# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся +# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. +# Поэтому сначала берём контейнер, явно указанный в реестре, и только +# потом переходим к догадкам. +resolve_container() { + local list + list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) + [ -n "$list" ] || return 1 + + # 1. Контейнер, объявленный в реестре — единственный надёжный источник + if [ -n "$DECLARED_CONTAINER" ]; then + echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' + return 0 + fi + + # 2. Точное совпадение имени контейнера с именем сервиса + local exact + exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') + [ -n "$exact" ] && { echo "$exact"; return 0; } + + # 3. Совпадение по имени образа + echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' +} + +CONTAINER=$(resolve_container) +[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" + +# ---------- Шаг 1: снимок --------------------------------------------------- +SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" +log "📦 Снимок: $SNAPSHOT_NAME" +pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ + || fail "не удалось создать снимок" + +cleanup_snapshot() { + pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ + && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" +} + +# ---------- Шаг 2: обновление ---------------------------------------------- +if [ "$SERVICE_TYPE" = "docker" ]; then + # Каталог compose: сначала объявленный в реестре, затем поиск рядом. + COMPOSE_DIR="" + if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then + COMPOSE_DIR="$COMPOSE_HINT" + elif [ -n "${CONTAINER:-}" ]; then + COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ + "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) + [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" + fi + + if [ -n "$COMPOSE_DIR" ]; then + # Правильный путь. `docker compose up -d` пересоздаёт контейнер из + # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` + # этого не делает: контейнер поднимается из прежнего образа, а новый + # остаётся лежать в хранилище — обновление выглядит выполненным, + # но версия не меняется. + # ВАЖНО: служба указывается явно. Проект собрания может содержать + # несколько сервисов — например, в /opt/network-lxc живут и дашборд, + # и DNS-фильтр. Команда без указания службы пересоздала бы их все, + # то есть обновление одного сервиса уронило бы соседний. + COMPOSE_SVC="" + if [ -n "${CONTAINER:-}" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) + [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" + fi + + # Если метки compose нет (контейнер создали вручную), искать службу + # надо в самом compose-файле по container_name. Иначе обновление + # одной службы пересоздаст весь проект вместе с соседями. + if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' ' + /^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) } + /container_name:/ && index(\$0, c) { print svc; exit } + ' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r') + if [ -n "$COMPOSE_SVC" ]; then + log " служба определена по имени контейнера: $COMPOSE_SVC" + fi + fi + + if [ -n "$COMPOSE_SVC" ]; then + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" + TARGET_ARG="$COMPOSE_SVC" + else + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" + TARGET_ARG="" + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ + || log " ⚠️ скачивание образов не удалось" + + # Контейнер мог быть создан вручную через `docker run` и не принадлежать + # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление + # не пройдёт. Переименовываем такой контейнер: имя освобождается, + # а сам он остаётся точкой быстрого отката и будет убран уборщиком. + if [ -n "${CONTAINER:-}" ]; then + proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) + if [ -z "$proj" ] || [ "$proj" = "" ]; then + log " контейнер не управляется compose — перевожу под управление" + pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 + + # Остановку обязательно проверяем. Grafana не успевает завершиться + # за отведённое время, остаётся запущенной и продолжает держать + # порт: новый контейнер создать не удаётся, а проверка здоровья + # получает ответ от старого и сообщает об успехе. + stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{.State.Status}}' 2>/dev/null) + if [ "$stopped" = "running" ]; then + log " контейнер не остановился штатно — завершаю принудительно" + pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 + sleep 3 + fi + + pct exec "$CT_ID" -- docker rename "$CONTAINER" \ + "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ + && log " старый контейнер сохранён под другим именем" \ + || log " ⚠️ переименовать не удалось — возможен конфликт имени" + fi + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ + || log " ⚠️ пересоздание контейнеров не удалось" + elif [ -n "${CONTAINER:-}" ]; then + # Compose не найден. Скачать образ можем, а пересоздать контейнер + # с сохранением всех его параметров — нет. Поэтому честно сообщаем + # об этом, а не изображаем успешное обновление. + IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + log " образ: $IMG" + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ образ не обновился" + log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" + log " Образ скачан, но контейнер продолжит работать из прежнего." + else + log "⬆️ Обновляем образы по списку" + for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ не удалось обновить $IMG" + done + pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ + || log " ⚠️ перезапуск контейнеров не удался" + fi +else + log "⬆️ Нативный сервис: apt" + pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" + pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ + || log " ⚠️ apt upgrade не удался" + pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true +fi + +# ---------- Шаг 3: применился ли новый образ -------------------------------- +# Главная проверка, которой раньше не было. Без неё обновление выглядело +# успешным, хотя контейнер продолжал работать из прежнего образа: проверка +# здоровья проходила (сервис-то жив), а версия не менялась. +sleep 5 +IMAGE_APPLIED=true +if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then + STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) + IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) + STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) + + # Отсутствие контейнера — это провал, а не повод пропустить проверку. + # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер + # вообще не создался, а на порту отвечал старый. + if [ -z "$STATE_NOW" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не создан — обновление не применилось" + elif [ "$STATE_NOW" != "running" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" + elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер работает из прежнего образа — обновление не применилось" + log " работает: ${RUNNING_ID:0:20}" + log " скачан: ${STORE_ID:0:20}" + else + log "✅ Контейнер $CONTAINER работает из актуального образа" + fi +fi + +# ---------- Шаг 4: проверка здоровья --------------------------------------- +# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются +# за пару секунд, другим (например, Grafana с большой базой) нужно больше +# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +# Окно ожидания готовности. По умолчанию 120 секунд, но для служб, +# которым нужно больше (Synapse, Paperless — приложения на Python с +# большой базой), значение берётся из реестра: healthcheck.wait. +# Без этого Synapse не успевал подняться и обновление откатывалось, +# хотя само обновление проходило успешно. +HEALTH_WAIT="${HEALTH_WAIT:-120}" +if [ -n "${SERVICE_WAIT:-}" ]; then + HEALTH_WAIT="$SERVICE_WAIT" +fi +HEALTH_OK=false +if [ -z "$HEALTH_URL" ]; then + log "🏥 Адрес проверки не задан — проверка пропущена" + HEALTH_OK=true +else + log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" + deadline=$(( $(date +%s) + HEALTH_WAIT )) + attempt=0 + while [ "$(date +%s)" -lt "$deadline" ]; do + attempt=$((attempt + 1)) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) + for ok in $ACCEPT_CODES; do + if [ "$CODE" = "$ok" ]; then + HEALTH_OK=true + break 2 + fi + done + if [ $((attempt % 3)) -eq 0 ]; then + log " ожидание готовности: попытка $attempt, код $CODE" + fi + sleep 5 + done + [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" +fi + +# ---------- Шаг 5: результат ------------------------------------------------ +if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена" + + if [ -n "${CONTAINER:-}" ]; then + NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) + else + NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) + fi + + [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" + TMP=$(mktemp) + jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ + --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ + '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ + "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" + + cleanup_snapshot + + cd "$REPO_ROOT" + git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null + git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ + && git push origin main >/dev/null 2>&1 \ + && log " ✅ зафиксировано в Git и отправлено" \ + || log " ⚠️ коммит или отправка не удались" + + log "🎉 $SERVICE обновлён: $NEW_VERSION" + exit 0 +else + if [ "$IMAGE_APPLIED" != true ]; then + log "🚨 Новый образ не применён — откат" + else + log "🚨 Проверка не пройдена — откат" + fi + + pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true + sleep 3 + + if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then + log " откат выполнен" + else + log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" + fi + + pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" + sleep 10 + cleanup_snapshot + + log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" + exit 1 +fi diff --git a/ops/update-manager/update.log b/ops/update-manager/update.log index 0fa534b..496929f 100644 --- a/ops/update-manager/update.log +++ b/ops/update-manager/update.log @@ -908,3 +908,5 @@ unknown [2026-10-17 13:04:39] сервис ответил на попытке 7 [2026-10-17 13:04:39] ✅ Проверка пройдена [2026-10-17 13:04:40] снимок удалён +[2026-10-17 13:04:41] ✅ зафиксировано в Git и отправлено +[2026-10-17 13:04:41] 🎉 paperless обновлён: ghcr.io/paperless-ngx/paperless-ngx:latest