Files
buryan-infra/ops/update-manager/rollback-drill.sh
T

99 lines
4.3 KiB
Bash
Executable File

#!/bin/bash
# ============================================================
# rollback-drill.sh — проверка автоматического отката (F6-5)
# ============================================================
# Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис
# восстановлен, приходят алерт и задача в Gitea с меткой sev:1.
#
# Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc,
# тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим
# адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её
# и обязано откатиться.
#
# Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката
# работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет
# живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде.
#
# Запуск: bash rollback-drill.sh
# ============================================================
set -uo pipefail
REPO="/root/buryan-infra"
SERVICES="$REPO/ops/update-manager/services.yaml"
TEST_SERVICE="тест-откат"
TEST_CT=160
BAD_URL="http://192.168.1.160:9/"
LIMIT_SEC=600
export PGPASSWORD=""
. /root/.buryan-monitor.env
export PGPASSWORD
q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; }
echo "=== ПОДГОТОВКА ==="
cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true
yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES"
echo "запись в реестре:"
yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES"
echo
echo "=== СТАВЛЮ ЗАДАЧУ ==="
q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version)
VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \
| tail -1
start=$(date +%s)
echo "начало: $(date '+%T')"
echo
echo "=== ЖДУ ЗАВЕРШЕНИЯ ==="
status=""
for i in $(seq 1 $((LIMIT_SEC / 10))); do
sleep 10
status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1")
printf ' %s — %s\n' "$(date '+%T')" "$status"
case "$status" in
done|failed|cancelled) break ;;
esac
done
finish=$(date +%s)
dur=$((finish - start))
echo
echo "=== РЕЗУЛЬТАТ ==="
echo "статус: $status"
echo "затрачено времени: ${dur} секунд (порог приёмки: 300)"
if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi
echo
echo "запись в очереди:"
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \
"SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null
echo "снимки CT ${TEST_CT} (должно быть пусто):"
pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0
echo "состояние контейнера после отката:"
pct status "$TEST_CT"
echo
echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ==="
grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20
echo
echo "=== УБОРКА ==="
cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана"
pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true
sleep 3
echo -n "тестовый контейнер: "; pct status "$TEST_CT"