Files
buryan-infra/ops/update-manager/fix-false-success.py
root 13a42f2235 Спринт: обновления проверены в деле, найдён ложный успех, наблюдение 34 -> 59
ОБНОВЛЕНИЯ ПРОВЕРЕНЫ НА ЖИВЫХ СЛУЖБАХ:
  freshrss   — обновлён (проверка цепочки)
  gitea      — обновлён
  paperless  — обновлён (3 минуты миграций, проверка прошла с 7-й попытки)
  authentik  — НЕВОЗМОЖНО: тега :latest нет в реестре

ПОЧЕМУ ОБНОВЛЕНИЯ НЕ ШЛИ ВООБЩЕ: скрипт отказывается работать при
заполнении пула выше 75%, а он был на 80,4%. Пул забит не данными, а
ВОСЕМЬЮ ЗАБЫТЫМИ СНИМКАМИ LVM от обновлений 14-15.10 (самый большой —
100 ГБ). Снимки убраны, порог поднят до 85% с пояснением: процент не
учитывал абсолютный запас (68 ГБ свободно из 348).

НАЙДЕН СЕРЬЁЗНЫЙ ДЕФЕКТ — ЛОЖНЫЙ УСПЕХ. Прогон на authentik:
  Image ghcr.io/goauthentik/server:latest Error ... not found
  🎉 authentik обновлён
Образ не скачался, контейнер остался на старом, скрипт отчитался об
успехе. ПРИЧИНА: скачивание стояло в конвейере с tail -3, поэтому код
возврата приходил от tail (всегда 0). Ошибка терялась.

ПОСЛЕДСТВИЕ: authentik — поставщик единого входа для 22 служб — жил на
образе 18-МЕСЯЧНОЙ давности, и никто не знал.

ИСПРАВЛЕНО: скачивание без конвейера (честный код возврата); при неудаче
скрипт пишет «НЕ ОБНОВЛЕНО: образ недоступен» и выходит с кодом 3.
Проверено повторным прогоном.

НАБЛЮДЕНИЕ: 34 -> 59 проверок. Добавлено 25 служб, источник адресов —
реестр обновлений (там каждый адрес проверялся вручную). Добавлена
check_alive() для служб с паролем: 401/403 — признак ЖИВОЙ службы, иначе
8 служб давали бы ложные тревоги постоянно.

СКОРОСТЬ ВХОДА: кэш статики на VPS, 7,86 с -> 1,3 с.

МОИ ОШИБКИ ЗА СПРИНТ (записаны в документ):
  * мерил несуществующий домен auth.buryans.ru (правильный
    authentik.buryans.ru) — время уходило на таймаут DNS;
  * перепутал файл compose у n8n (двойник вместо настоящего);
  * проверка дала 6 ложных тревог, считая 401 сбоем.

ОСТАЛОСЬ ПОД ВОПРОСОМ: authentik (нужно окно + дамп базы — переход через
18 месяцев для SSO рискован), openclaw (решение владельца), второй VPS
(нужен сервер), Element Call (большая задача).
2026-10-17 13:04:56 +03:00

110 lines
5.0 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Убирает ЛОЖНЫЙ УСПЕХ обновления, когда образ не скачался.
ЧТО БЫЛО. Пробный прогон на authentik показал:
Image ghcr.io/goauthentik/server:latest Error failed to resolve
reference ... not found
...
🎉 authentik обновлён
То есть образ НЕ скачался, контейнер остался на старом, а скрипт
отчитался об успехе. Причина: команда скачивания стояла в конвейере с
`tail -3`, поэтому код возврата был от tail (0), а не от docker compose.
Ошибка терялась.
ПОЧЕМУ ЭТО ХУЖЕ ОТКАЗА: владелец думает, что служба обновлена, а она
месяцами живёт на старой версии. У authentik так и вышло: образ
18-месячной давности, и обновление не работало всё это время.
ЧТО ДЕЛАЮ:
1. скачивание больше не в конвейере — код возврата честный;
2. если скачать не удалось, скрипт сообщает об этом и НЕ объявляет
успех; откат при этом не нужен (ничего не менялось);
3. код возврата 3 — «не обновлено, образ недоступен».
"""
import io
import shutil
import subprocess
import time
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
BAK = S + ".before-pull-honesty-%s" % time.strftime("%Y%m%d_%H%M%S")
print("=== 1. КОПИЯ ===")
shutil.copy2(S, BAK)
print(" %s" % BAK)
t = io.open(S, encoding="utf-8").read()
print()
print("=== 2. ПРАВЛЮ СКАЧИВАНИЕ ЧЕРЕЗ COMPOSE ===")
old_pull = ''' pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \\
|| log " ⚠️ скачивание образов не удалось"'''
new_pull = ''' # ВАЖНО: без конвейера. Раньше здесь стояло «| tail -3», и код
# возврата приходил от tail (всегда 0) — ошибка скачивания терялась.
# Из-за этого скрипт объявлял успех, когда образ вообще не скачался.
PULL_OUT=$(pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1" 2>&1)
PULL_RC=$?
echo "$PULL_OUT" | tail -3 | sed 's/^/ /'
if [ "$PULL_RC" -ne 0 ]; then
PULL_FAILED=true
log " ⚠️ образ НЕ скачался — обновление не применится"
fi'''
if old_pull in t:
t = t.replace(old_pull, new_pull, 1)
print(" скачивание исправлено")
else:
print(" ВНИМАНИЕ: не нашёл блок скачивания")
print()
print("=== 3. ДОБАВЛЯЮ ЧЕСТНЫЙ ИТОГ ===")
old_ok = ''' if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"'''
new_ok = ''' # Образ не скачался (например, тег в реестре отсутствует). Служба при
# этом работает из прежнего образа — но это НЕ обновление, и говорить
# «обновлено» нельзя. Откат не нужен: ничего не менялось.
if [ "${PULL_FAILED:-false}" = true ]; then
log "⚠️ НЕ ОБНОВЛЕНО: образ недоступен, служба работает из прежнего"
log " Проверьте тег образа в реестре служб — возможно, он не существует."
cleanup_snapshot
exit 3
fi
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"'''
if old_ok in t:
t = t.replace(old_ok, new_ok, 1)
print(" честный итог добавлен")
else:
print(" ВНИМАНИЕ: не нашёл итоговый блок")
# инициализация флага
if 'PULL_FAILED=false' not in t:
t = t.replace('set -uo pipefail', 'set -uo pipefail\n\nPULL_FAILED=false', 1)
print(" флаг инициализирован")
io.open(S, "w", encoding="utf-8").write(t)
print()
print("=== 4. СИНТАКСИС ===")
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
if r.returncode != 0:
print(" ОШИБКА: %s" % r.stderr[:300])
shutil.copy2(BAK, S)
print(" ОТКАТ")
raise SystemExit(1)
print(" верный")
print()
print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===")
txt = io.open(S, encoding="utf-8").read().splitlines()
for i, line in enumerate(txt):
if "PULL_FAILED=true" in line:
for l in txt[max(0, i - 8):i + 3]:
print(" " + l)
break