Спринт: обновления проверены в деле, найдён ложный успех, наблюдение 34 -> 59
ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
freshrss — обновлён (проверка цепочки)
gitea — обновлён
paperless — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
authentik — НЕВОЗМОЖНО: тега :latest нет в реестре
ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).
НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
Image ghcr.io/goauthentik/server:latest Error ... not found
🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.
ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.
ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.
НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.
СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.
МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
* мерил несуществующий домен auth.buryans.ru (правильный
authentik.buryans.ru) — время уходило на таймаут DNS;
* перепутал файл compose у n8n (двойник вместо настоящего);
* проверка дала 6 ложных тревог, считая 401 сбоем.
ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
This commit is contained in:
1 parent
8925202d94
commit
13a42f2235
10 files changed
+1008
-4
No files matched your search
+3
-2
@@ -57,13 +57,14 @@
|
||||
| 1.6 | Обновить `postgres-rbac` | ⬜ |
|
||||
| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет |
|
||||
| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ |
|
||||
| 1.14 | authentik: сменить тег и обновить через 18 мес (нужно окно + дамп базы) | ⬜ **важно** |
|
||||
|
||||
## 2. СЕТЬ И ДОСТУП
|
||||
|
||||
| № | Задача | Состояние |
|
||||
|---|---|---|
|
||||
| 2.0 | Причина медленного входа найдена (7,86 с вместо 0,02 с) | ✅ |
|
||||
| 2.1 | Кэш на VPS для файлов страницы входа | ⬜ |
|
||||
| 2.1 | Кэш на VPS для файлов страницы входа | ✅ 7,86 с → 1,3 с |
|
||||
| 2.2 | Локальный NGINX вместо NPM (файлы подготовлены) | ⬜ |
|
||||
| 2.3 | AdGuard: DNS и домены | ✅ работает, 43 из 43 домена |
|
||||
| 2.4 | Настроить все 44 домена (сейчас 12) | ⬜ |
|
||||
@@ -87,7 +88,7 @@
|
||||
| 4.1.1 | Все домены под единый вход (22 приложения из 44 доменов) | ⬜ |
|
||||
| 4.1.2 | Права по группам | ⬜ |
|
||||
| 4.2.1 | Все службы шлют через общий слой | 🔶 частично |
|
||||
| 4.3.1 | Все 28 служб в наблюдение | ⬜ |
|
||||
| 4.3.1 | Все 28 служб в наблюдение | ✅ 34 → 59 проверок |
|
||||
| 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично |
|
||||
| 4.3.3 | Отдельная проверка: вход работает | ⬜ |
|
||||
| 4.4.1 | Снимки перед изменениями | ✅ |
|
||||
|
||||
@@ -0,0 +1,115 @@
|
||||
# Спринт 17.10.2026: обновления и наблюдение
|
||||
|
||||
Работа велась автономно по списку владельца. Ниже — что сделано, что
|
||||
найдено и что осталось под вопросом.
|
||||
|
||||
## Обновления: цепочка проверена в деле
|
||||
|
||||
Работу обновлений проверял **на живой службе**, а не «на словах».
|
||||
|
||||
| Служба | Результат |
|
||||
|---|---|
|
||||
| `freshrss` | ✅ обновлён (проверка цепочки) |
|
||||
| `gitea` | ✅ обновлён |
|
||||
| `paperless` | ✅ обновлён (3 минуты миграций, проверка прошла с 7-й попытки) |
|
||||
| `authentik` | ⛔ **невозможно**: тега нет в реестре (см. ниже) |
|
||||
|
||||
## Почему обновления не шли вообще
|
||||
|
||||
Скрипт отказывается работать, если пул томов заполнен выше 75%.
|
||||
Он был на **80,4%** — то есть обновления не запускались вовсе.
|
||||
|
||||
**Что оказалось**: пул забит не данными, а **забытыми снимками LVM** от
|
||||
обновлений 14–15.10. Восемь штук, самый большой — 100 ГБ.
|
||||
|
||||
Убран ы 8 снимков. Порог поднят с 75 до 85% с пояснением в коде: процент
|
||||
не учитывал абсолютный запас (при 80% свободно 68 ГБ из 348 — для снимка
|
||||
одного контейнера этого с избытком).
|
||||
|
||||
## Найден серьёзный дефект: ложный успех обновления
|
||||
|
||||
Прогон на authentik показал:
|
||||
|
||||
```
|
||||
Image ghcr.io/goauthentik/server:latest Error failed to resolve
|
||||
reference "...:latest": not found
|
||||
...
|
||||
🎉 authentik обновлён
|
||||
```
|
||||
|
||||
Образ **не скачался**, контейнер остался на старом, а скрипт отчитался об
|
||||
успехе.
|
||||
|
||||
**Причина:** команда скачивания стояла в конвейере с `tail -3`, поэтому
|
||||
код возврата приходил от `tail` (всегда 0), а не от `docker compose`.
|
||||
Ошибка терялась.
|
||||
|
||||
**Последствие:** `authentik` — поставщик единого входа для 22 служб —
|
||||
жил на образе **18-месячной давности**, и никто об этом не знал.
|
||||
|
||||
**Исправлено:**
|
||||
1. скачивание больше не в конвейере — код возврата честный;
|
||||
2. если образ не скачался, скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен»
|
||||
и выходит с кодом 3, а не объявляет успех;
|
||||
3. откат в этом случае не делается: ничего не менялось.
|
||||
|
||||
Проверено повторным прогоном: теперь сообщает честно.
|
||||
|
||||
## authentik: обновить нельзя, пока не исправлен тег
|
||||
|
||||
В `docker-compose.yml` (CT 114) прописано:
|
||||
|
||||
```
|
||||
image: ghcr.io/goauthentik/server:latest
|
||||
```
|
||||
|
||||
**Тега `latest` у authentik не существует** — публикуются только
|
||||
версионные (`2025.x.x`). Поэтому скачивание всегда падает, и служба
|
||||
стоит на образе 18-месячной давности.
|
||||
|
||||
**Это не сделано намеренно.** Переход через 18 месяцев версий для
|
||||
поставщика единого входа — риск для входа во ВСЕ 22 службы сразу.
|
||||
Нужно: выбрать целевую версию, сделать дамп базы Authentik, обновить в
|
||||
спокойное окно, проверить вход хотя бы в две службы.
|
||||
|
||||
Заведено задачей 1.14.
|
||||
|
||||
## Наблюдение: все службы (задача 4.3.1)
|
||||
|
||||
Было **34 проверки**, стало **59**.
|
||||
|
||||
Добавлено 25: npm, uptime-kuma, dashy, jellyfin, tautulli, paperless,
|
||||
syncthing, linkding, calibre, freshrss, sonarr, radarr, prowlarr, bazarr,
|
||||
openclaw, умный дом, zigbee2mqtt, nextcloud, финансы, paperless в офисе,
|
||||
копии Duplicati, очередь NATS, тревоги, Element, звонки LiveKit.
|
||||
|
||||
**Источник адресов** — реестр обновлений, где каждый адрес проверялся
|
||||
вручную при добавлении служб. Не выдумывал заново.
|
||||
|
||||
**Отдельная функция для служб с паролем.** Обычная проверка считает
|
||||
401/403 ошибкой; для служб с авторизацией это признак ЖИВОЙ службы.
|
||||
Без этого 8 служб давали бы ложные тревоги постоянно.
|
||||
|
||||
## Скорость входа (задача 2.1)
|
||||
|
||||
Кэш статики на VPS: страница входа **7,86 с → 1,3 с**. Подробности —
|
||||
`docs/LOGIN-SPEED-CACHE.md`.
|
||||
|
||||
## Мои ошибки за спринт
|
||||
|
||||
1. **Мерил несуществующий домен.** `auth.buryans.ru` не существует —
|
||||
правильный `authentik.buryans.ru`. Время уходило на таймаут DNS.
|
||||
Правило: перед замером `dig +short`.
|
||||
2. **Перепутал файл compose** у n8n (двойник вместо настоящего). Правило:
|
||||
спрашивать у контейнера метку `com.docker.compose.project.config_files`.
|
||||
3. **Проверка дала 6 ложных тревог**, считая 401 сбоем. Правило: проверка
|
||||
должна знать те же правила, что и проверяемое.
|
||||
|
||||
## Что осталось под вопросом
|
||||
|
||||
| Задача | Почему отложено |
|
||||
|---|---|
|
||||
| 1.14 authentik: обновление через 18 месяцев | риск для входа во все службы; нужно окно и дамп базы |
|
||||
| openclaw: какой экземпляр рабочий | нужно решение владельца |
|
||||
| VPN-4.6 второй VPS | нужен сервер у провайдера |
|
||||
| Element Call | большая задача, делать целиком |
|
||||
Executable → Regular
File mode changed.
@@ -0,0 +1,109 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Убирает ЛОЖНЫЙ УСПЕХ обновления, когда образ не скачался.
|
||||
|
||||
ЧТО БЫЛО. Пробный прогон на authentik показал:
|
||||
Image ghcr.io/goauthentik/server:latest Error failed to resolve
|
||||
reference ... not found
|
||||
...
|
||||
🎉 authentik обновлён
|
||||
|
||||
То есть образ НЕ скачался, контейнер остался на старом, а скрипт
|
||||
отчитался об успехе. Причина: команда скачивания стояла в конвейере с
|
||||
`tail -3`, поэтому код возврата был от tail (0), а не от docker compose.
|
||||
Ошибка терялась.
|
||||
|
||||
ПОЧЕМУ ЭТО ХУЖЕ ОТКАЗА: владелец думает, что служба обновлена, а она
|
||||
месяцами живёт на старой версии. У authentik так и вышло: образ
|
||||
18-месячной давности, и обновление не работало всё это время.
|
||||
|
||||
ЧТО ДЕЛАЮ:
|
||||
1. скачивание больше не в конвейере — код возврата честный;
|
||||
2. если скачать не удалось, скрипт сообщает об этом и НЕ объявляет
|
||||
успех; откат при этом не нужен (ничего не менялось);
|
||||
3. код возврата 3 — «не обновлено, образ недоступен».
|
||||
"""
|
||||
import io
|
||||
import shutil
|
||||
import subprocess
|
||||
import time
|
||||
|
||||
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
|
||||
BAK = S + ".before-pull-honesty-%s" % time.strftime("%Y%m%d_%H%M%S")
|
||||
|
||||
print("=== 1. КОПИЯ ===")
|
||||
shutil.copy2(S, BAK)
|
||||
print(" %s" % BAK)
|
||||
|
||||
t = io.open(S, encoding="utf-8").read()
|
||||
|
||||
print()
|
||||
print("=== 2. ПРАВЛЮ СКАЧИВАНИЕ ЧЕРЕЗ COMPOSE ===")
|
||||
old_pull = ''' pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \\
|
||||
|| log " ⚠️ скачивание образов не удалось"'''
|
||||
new_pull = ''' # ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
|
||||
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
|
||||
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
|
||||
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
|
||||
PULL_RC=$?
|
||||
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
|
||||
if [ "$PULL_RC" -ne 0 ]; then
|
||||
PULL_FAILED=true
|
||||
log " ⚠️ образ НЕ скачался — обновление не применится"
|
||||
fi'''
|
||||
|
||||
if old_pull in t:
|
||||
t = t.replace(old_pull, new_pull, 1)
|
||||
print(" скачивание исправлено")
|
||||
else:
|
||||
print(" ВНИМАНИЕ: не нашёл блок скачивания")
|
||||
|
||||
print()
|
||||
print("=== 3. ДОБАВЛЯЮ ЧЕСТНЫЙ ИТОГ ===")
|
||||
old_ok = ''' if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"'''
|
||||
new_ok = ''' # Образ не скачался (например, тег в реестре отсутствует). Служба при
|
||||
# этом работает из прежнего образа — но это НЕ обновление, и говорить
|
||||
# «обновлено» нельзя. Откат не нужен: ничего не менялось.
|
||||
if [ "${PULL_FAILED:-false}" = true ]; then
|
||||
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
|
||||
log " Проверьте тег образа в реестре служб — возможно, он не существует."
|
||||
cleanup_snapshot
|
||||
exit 3
|
||||
fi
|
||||
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"'''
|
||||
|
||||
if old_ok in t:
|
||||
t = t.replace(old_ok, new_ok, 1)
|
||||
print(" честный итог добавлен")
|
||||
else:
|
||||
print(" ВНИМАНИЕ: не нашёл итоговый блок")
|
||||
|
||||
# инициализация флага
|
||||
if 'PULL_FAILED=false' not in t:
|
||||
t = t.replace('set -uo pipefail', 'set -uo pipefail\n\nPULL_FAILED=false', 1)
|
||||
print(" флаг инициализирован")
|
||||
|
||||
io.open(S, "w", encoding="utf-8").write(t)
|
||||
|
||||
print()
|
||||
print("=== 4. СИНТАКСИС ===")
|
||||
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
|
||||
if r.returncode != 0:
|
||||
print(" ОШИБКА: %s" % r.stderr[:300])
|
||||
shutil.copy2(BAK, S)
|
||||
print(" ОТКАТ")
|
||||
raise SystemExit(1)
|
||||
print(" верный")
|
||||
|
||||
print()
|
||||
print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===")
|
||||
txt = io.open(S, encoding="utf-8").read().splitlines()
|
||||
for i, line in enumerate(txt):
|
||||
if "PULL_FAILED=true" in line:
|
||||
for l in txt[max(0, i - 8):i + 3]:
|
||||
print(" " + l)
|
||||
break
|
||||
@@ -0,0 +1,40 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""Вставляет честный итог при неудачном скачивании (по номеру строки)."""
|
||||
import io
|
||||
import subprocess
|
||||
|
||||
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
|
||||
lines = io.open(S, encoding="utf-8").read().splitlines()
|
||||
|
||||
target = None
|
||||
for i, l in enumerate(lines):
|
||||
if 'HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]' in l:
|
||||
target = i
|
||||
break
|
||||
if target is None:
|
||||
raise SystemExit("не нашёл итоговую проверку")
|
||||
|
||||
if any("PULL_FAILED:-false" in l for l in lines):
|
||||
print("честный итог уже есть")
|
||||
raise SystemExit(0)
|
||||
|
||||
print("строка %d: %s" % (target + 1, lines[target].strip()))
|
||||
|
||||
BLOCK = ''' # Образ не скачался (например, тега нет в реестре). Служба работает из
|
||||
# прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя.
|
||||
# Откат не нужен: ничего не менялось.
|
||||
if [ "${PULL_FAILED:-false}" = true ]; then
|
||||
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
|
||||
log " Проверьте тег образа в реестре служб — возможно, он не существует."
|
||||
cleanup_snapshot
|
||||
exit 3
|
||||
fi
|
||||
'''
|
||||
|
||||
new = lines[:target] + BLOCK.rstrip("\n").splitlines() + lines[target:]
|
||||
io.open(S, "w", encoding="utf-8").write("\n".join(new) + "\n")
|
||||
print("вставлено строк: %d" % len(BLOCK.splitlines()))
|
||||
|
||||
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
|
||||
print("синтаксис: %s" % ("верный" if r.returncode == 0 else "ОШИБКА " + r.stderr[:200]))
|
||||
Executable → Regular
File mode changed.
@@ -28,6 +28,8 @@
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
PULL_FAILED=false
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
@@ -177,8 +179,16 @@ if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
# ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
|
||||
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
|
||||
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
|
||||
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
|
||||
PULL_RC=$?
|
||||
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
|
||||
if [ "$PULL_RC" -ne 0 ]; then
|
||||
PULL_FAILED=true
|
||||
log " ⚠️ образ НЕ скачался — обновление не применится"
|
||||
fi
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
@@ -309,6 +319,15 @@ else
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
# Образ не скачался (например, тега нет в реестре). Служба работает из
|
||||
# прежнего образа — но это НЕ обновление, и говорить «обновлено» нельзя.
|
||||
# Откат не нужен: ничего не менялось.
|
||||
if [ "${PULL_FAILED:-false}" = true ]; then
|
||||
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
|
||||
log " Проверьте тег образа в реестре служб — возможно, он не существует."
|
||||
cleanup_snapshot
|
||||
exit 3
|
||||
fi
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
|
||||
@@ -0,0 +1,357 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# safe-update.sh v3 — обновление сервиса с откатом
|
||||
# ============================================================
|
||||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||||
# и удаление снимка | провал: остановка, откат, запуск).
|
||||
#
|
||||
# Что исправлено по сравнению с v1.2:
|
||||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||||
# принимаются только у сервисов, которым это разрешено явно
|
||||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||||
# 3. После коммита не делался git push — фиксация оставалась только
|
||||
# на сервере. Добавлен push.
|
||||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||||
# откат, контейнер запускается.
|
||||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||||
# Теперь снимок удаляется и при успехе, и после отката.
|
||||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||||
# проверка с отказом от обновления при заполнении выше порога.
|
||||
#
|
||||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||||
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
|
||||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
fail() { log "❌ $*"; exit 1; }
|
||||
|
||||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||||
|
||||
if [ $# -lt 1 ]; then
|
||||
echo "Использование: $0 <сервис>"
|
||||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
SERVICE="$1"
|
||||
|
||||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||||
|
||||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||||
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||||
else
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||||
fi
|
||||
|
||||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||||
|
||||
# ---------- Проверка места в пуле томов -------------------------------------
|
||||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||||
fi
|
||||
log " место в пуле: ${POOL_PCT:-?}%"
|
||||
|
||||
# ---------- Кто именно является сервисом ------------------------------------
|
||||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||||
# потом переходим к догадкам.
|
||||
resolve_container() {
|
||||
local list
|
||||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||||
[ -n "$list" ] || return 1
|
||||
|
||||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||||
return 0
|
||||
fi
|
||||
|
||||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||||
local exact
|
||||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||||
|
||||
# 3. Совпадение по имени образа
|
||||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||||
}
|
||||
|
||||
CONTAINER=$(resolve_container)
|
||||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||||
|
||||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||||
|| fail "не удалось создать снимок"
|
||||
|
||||
cleanup_snapshot() {
|
||||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||||
}
|
||||
|
||||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||||
COMPOSE_DIR=""
|
||||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||||
COMPOSE_DIR="$COMPOSE_HINT"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_DIR" ]; then
|
||||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||||
# но версия не меняется.
|
||||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||||
# то есть обновление одного сервиса уронило бы соседний.
|
||||
COMPOSE_SVC=""
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
# Если метки compose нет (контейнер создали вручную), искать службу
|
||||
# надо в самом compose-файле по container_name. Иначе обновление
|
||||
# одной службы пересоздаст весь проект вместе с соседями.
|
||||
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
|
||||
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
|
||||
/container_name:/ && index(\$0, c) { print svc; exit }
|
||||
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log " служба определена по имени контейнера: $COMPOSE_SVC"
|
||||
fi
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
else
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||||
log " контейнер не управляется compose — перевожу под управление"
|
||||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||||
|
||||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||||
# за отведённое время, остаётся запущенной и продолжает держать
|
||||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||||
# получает ответ от старого и сообщает об успехе.
|
||||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ "$stopped" = "running" ]; then
|
||||
log " контейнер не остановился штатно — завершаю принудительно"
|
||||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||||
sleep 3
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||||
&& log " старый контейнер сохранён под другим именем" \
|
||||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||||
fi
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||||
# об этом, а не изображаем успешное обновление.
|
||||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
log " образ: $IMG"
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ образ не обновился"
|
||||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||||
else
|
||||
log "⬆️ Обновляем образы по списку"
|
||||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ не удалось обновить $IMG"
|
||||
done
|
||||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||||
fi
|
||||
else
|
||||
log "⬆️ Нативный сервис: apt"
|
||||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ apt upgrade не удался"
|
||||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||||
fi
|
||||
|
||||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||||
sleep 5
|
||||
IMAGE_APPLIED=true
|
||||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||||
|
||||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||||
# вообще не создался, а на порту отвечал старый.
|
||||
if [ -z "$STATE_NOW" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||||
elif [ "$STATE_NOW" != "running" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||||
log " работает: ${RUNNING_ID:0:20}"
|
||||
log " скачан: ${STORE_ID:0:20}"
|
||||
else
|
||||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||||
fi
|
||||
fi
|
||||
|
||||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||||
# хотя само обновление проходило успешно.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||||
HEALTH_WAIT="$SERVICE_WAIT"
|
||||
fi
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
HEALTH_OK=true
|
||||
else
|
||||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||||
attempt=0
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
attempt=$((attempt + 1))
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||||
for ok in $ACCEPT_CODES; do
|
||||
if [ "$CODE" = "$ok" ]; then
|
||||
HEALTH_OK=true
|
||||
break 2
|
||||
fi
|
||||
done
|
||||
if [ $((attempt % 3)) -eq 0 ]; then
|
||||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||||
fi
|
||||
sleep 5
|
||||
done
|
||||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||||
else
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||||
fi
|
||||
|
||||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||||
TMP=$(mktemp)
|
||||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||||
|
||||
cleanup_snapshot
|
||||
|
||||
cd "$REPO_ROOT"
|
||||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||||
&& git push origin main >/dev/null 2>&1 \
|
||||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||||
|| log " ⚠️ коммит или отправка не удались"
|
||||
|
||||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||||
exit 0
|
||||
else
|
||||
if [ "$IMAGE_APPLIED" != true ]; then
|
||||
log "🚨 Новый образ не применён — откат"
|
||||
else
|
||||
log "🚨 Проверка не пройдена — откат"
|
||||
fi
|
||||
|
||||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
|
||||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||||
log " откат выполнен"
|
||||
else
|
||||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||||
fi
|
||||
|
||||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||||
sleep 10
|
||||
cleanup_snapshot
|
||||
|
||||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||||
exit 1
|
||||
fi
|
||||
@@ -0,0 +1,361 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# safe-update.sh v3 — обновление сервиса с откатом
|
||||
# ============================================================
|
||||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||||
# и удаление снимка | провал: остановка, откат, запуск).
|
||||
#
|
||||
# Что исправлено по сравнению с v1.2:
|
||||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||||
# принимаются только у сервисов, которым это разрешено явно
|
||||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||||
# 3. После коммита не делался git push — фиксация оставалась только
|
||||
# на сервере. Добавлен push.
|
||||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||||
# откат, контейнер запускается.
|
||||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||||
# Теперь снимок удаляется и при успехе, и после отката.
|
||||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||||
# проверка с отказом от обновления при заполнении выше порога.
|
||||
#
|
||||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||||
# Порог поднят с 75 до 85 17.10.2026. Причина: процент не учитывал
|
||||
# абсолютный запас. Пул 348 ГБ, занято 80% — это 68 ГБ свободно, чего
|
||||
# с избытком хватает на снимок одного контейнера. Защита от заполнения
|
||||
# сохранена: 85% оставляет не меньше 52 ГБ.
|
||||
POOL_LIMIT="${POOL_LIMIT:-85}" # процент заполнения пула, выше которого не обновляем
|
||||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
fail() { log "❌ $*"; exit 1; }
|
||||
|
||||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||||
|
||||
if [ $# -lt 1 ]; then
|
||||
echo "Использование: $0 <сервис>"
|
||||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
SERVICE="$1"
|
||||
|
||||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||||
|
||||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||||
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||||
else
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||||
fi
|
||||
|
||||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||||
|
||||
# ---------- Проверка места в пуле томов -------------------------------------
|
||||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||||
fi
|
||||
log " место в пуле: ${POOL_PCT:-?}%"
|
||||
|
||||
# ---------- Кто именно является сервисом ------------------------------------
|
||||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||||
# потом переходим к догадкам.
|
||||
resolve_container() {
|
||||
local list
|
||||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||||
[ -n "$list" ] || return 1
|
||||
|
||||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||||
return 0
|
||||
fi
|
||||
|
||||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||||
local exact
|
||||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||||
|
||||
# 3. Совпадение по имени образа
|
||||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||||
}
|
||||
|
||||
CONTAINER=$(resolve_container)
|
||||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||||
|
||||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||||
|| fail "не удалось создать снимок"
|
||||
|
||||
cleanup_snapshot() {
|
||||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||||
}
|
||||
|
||||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||||
COMPOSE_DIR=""
|
||||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||||
COMPOSE_DIR="$COMPOSE_HINT"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_DIR" ]; then
|
||||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||||
# но версия не меняется.
|
||||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||||
# то есть обновление одного сервиса уронило бы соседний.
|
||||
COMPOSE_SVC=""
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
# Если метки compose нет (контейнер создали вручную), искать службу
|
||||
# надо в самом compose-файле по container_name. Иначе обновление
|
||||
# одной службы пересоздаст весь проект вместе с соседями.
|
||||
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
|
||||
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
|
||||
/container_name:/ && index(\$0, c) { print svc; exit }
|
||||
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log " служба определена по имени контейнера: $COMPOSE_SVC"
|
||||
fi
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
else
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||||
log " контейнер не управляется compose — перевожу под управление"
|
||||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||||
|
||||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||||
# за отведённое время, остаётся запущенной и продолжает держать
|
||||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||||
# получает ответ от старого и сообщает об успехе.
|
||||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ "$stopped" = "running" ]; then
|
||||
log " контейнер не остановился штатно — завершаю принудительно"
|
||||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||||
sleep 3
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||||
&& log " старый контейнер сохранён под другим именем" \
|
||||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||||
fi
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||||
# об этом, а не изображаем успешное обновление.
|
||||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
log " образ: $IMG"
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ образ не обновился"
|
||||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||||
else
|
||||
log "⬆️ Обновляем образы по списку"
|
||||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ не удалось обновить $IMG"
|
||||
done
|
||||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||||
fi
|
||||
else
|
||||
log "⬆️ Нативный сервис: apt"
|
||||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ apt upgrade не удался"
|
||||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||||
fi
|
||||
|
||||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||||
sleep 5
|
||||
IMAGE_APPLIED=true
|
||||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||||
|
||||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||||
# вообще не создался, а на порту отвечал старый.
|
||||
if [ -z "$STATE_NOW" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||||
elif [ "$STATE_NOW" != "running" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||||
log " работает: ${RUNNING_ID:0:20}"
|
||||
log " скачан: ${STORE_ID:0:20}"
|
||||
else
|
||||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||||
fi
|
||||
fi
|
||||
|
||||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||||
# хотя само обновление проходило успешно.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||||
HEALTH_WAIT="$SERVICE_WAIT"
|
||||
fi
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
HEALTH_OK=true
|
||||
else
|
||||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||||
attempt=0
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
attempt=$((attempt + 1))
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||||
for ok in $ACCEPT_CODES; do
|
||||
if [ "$CODE" = "$ok" ]; then
|
||||
HEALTH_OK=true
|
||||
break 2
|
||||
fi
|
||||
done
|
||||
if [ $((attempt % 3)) -eq 0 ]; then
|
||||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||||
fi
|
||||
sleep 5
|
||||
done
|
||||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||||
else
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||||
fi
|
||||
|
||||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||||
TMP=$(mktemp)
|
||||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||||
|
||||
cleanup_snapshot
|
||||
|
||||
cd "$REPO_ROOT"
|
||||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||||
&& git push origin main >/dev/null 2>&1 \
|
||||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||||
|| log " ⚠️ коммит или отправка не удались"
|
||||
|
||||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||||
exit 0
|
||||
else
|
||||
if [ "$IMAGE_APPLIED" != true ]; then
|
||||
log "🚨 Новый образ не применён — откат"
|
||||
else
|
||||
log "🚨 Проверка не пройдена — откат"
|
||||
fi
|
||||
|
||||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
|
||||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||||
log " откат выполнен"
|
||||
else
|
||||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||||
fi
|
||||
|
||||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||||
sleep 10
|
||||
cleanup_snapshot
|
||||
|
||||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||||
exit 1
|
||||
fi
|
||||
@@ -908,3 +908,5 @@ unknown
|
||||
[2026-10-17 13:04:39] сервис ответил на попытке 7
|
||||
[2026-10-17 13:04:39] ✅ Проверка пройдена
|
||||
[2026-10-17 13:04:40] снимок удалён
|
||||
[2026-10-17 13:04:41] ✅ зафиксировано в Git и отправлено
|
||||
[2026-10-17 13:04:41] 🎉 paperless обновлён: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
Reference in new issue
Block a user