99 lines
4.3 KiB
Bash
Executable File
99 lines
4.3 KiB
Bash
Executable File
#!/bin/bash
|
|
# ============================================================
|
|
# rollback-drill.sh — проверка автоматического отката (F6-5)
|
|
# ============================================================
|
|
# Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис
|
|
# восстановлен, приходят алерт и задача в Gitea с меткой sev:1.
|
|
#
|
|
# Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc,
|
|
# тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим
|
|
# адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её
|
|
# и обязано откатиться.
|
|
#
|
|
# Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката
|
|
# работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет
|
|
# живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде.
|
|
#
|
|
# Запуск: bash rollback-drill.sh
|
|
# ============================================================
|
|
set -uo pipefail
|
|
|
|
REPO="/root/buryan-infra"
|
|
SERVICES="$REPO/ops/update-manager/services.yaml"
|
|
TEST_SERVICE="тест-откат"
|
|
TEST_CT=160
|
|
BAD_URL="http://192.168.1.160:9/"
|
|
LIMIT_SEC=600
|
|
|
|
export PGPASSWORD=""
|
|
. /root/.buryan-monitor.env
|
|
export PGPASSWORD
|
|
|
|
q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; }
|
|
|
|
echo "=== ПОДГОТОВКА ==="
|
|
cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true
|
|
|
|
yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES"
|
|
yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES"
|
|
|
|
echo "запись в реестре:"
|
|
yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES"
|
|
|
|
echo
|
|
echo "=== СТАВЛЮ ЗАДАЧУ ==="
|
|
q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version)
|
|
VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \
|
|
| tail -1
|
|
|
|
start=$(date +%s)
|
|
echo "начало: $(date '+%T')"
|
|
|
|
echo
|
|
echo "=== ЖДУ ЗАВЕРШЕНИЯ ==="
|
|
status=""
|
|
for i in $(seq 1 $((LIMIT_SEC / 10))); do
|
|
sleep 10
|
|
status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1")
|
|
printf ' %s — %s\n' "$(date '+%T')" "$status"
|
|
case "$status" in
|
|
done|failed|cancelled) break ;;
|
|
esac
|
|
done
|
|
|
|
finish=$(date +%s)
|
|
dur=$((finish - start))
|
|
|
|
echo
|
|
echo "=== РЕЗУЛЬТАТ ==="
|
|
echo "статус: $status"
|
|
echo "затрачено времени: ${dur} секунд (порог приёмки: 300)"
|
|
if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi
|
|
|
|
echo
|
|
echo "запись в очереди:"
|
|
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \
|
|
"SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null
|
|
|
|
echo "снимки CT ${TEST_CT} (должно быть пусто):"
|
|
pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0
|
|
|
|
echo "состояние контейнера после отката:"
|
|
pct status "$TEST_CT"
|
|
|
|
echo
|
|
echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ==="
|
|
grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20
|
|
|
|
echo
|
|
echo "=== УБОРКА ==="
|
|
cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана"
|
|
pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true
|
|
sleep 3
|
|
echo -n "тестовый контейнер: "; pct status "$TEST_CT"
|