#!/bin/bash # ============================================================ # rollback-drill.sh — проверка автоматического отката (F6-5) # ============================================================ # Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис # восстановлен, приходят алерт и задача в Gitea с меткой sev:1. # # Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc, # тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим # адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её # и обязано откатиться. # # Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката # работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет # живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде. # # Запуск: bash rollback-drill.sh # ============================================================ set -uo pipefail REPO="/root/buryan-infra" SERVICES="$REPO/ops/update-manager/services.yaml" TEST_SERVICE="тест-откат" TEST_CT=160 BAD_URL="http://192.168.1.160:9/" LIMIT_SEC=600 export PGPASSWORD="" . /root/.buryan-monitor.env export PGPASSWORD q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; } echo "=== ПОДГОТОВКА ===" cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES" yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES" echo "запись в реестре:" yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES" echo echo "=== СТАВЛЮ ЗАДАЧУ ===" q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version) VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \ | tail -1 start=$(date +%s) echo "начало: $(date '+%T')" echo echo "=== ЖДУ ЗАВЕРШЕНИЯ ===" status="" for i in $(seq 1 $((LIMIT_SEC / 10))); do sleep 10 status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1") printf ' %s — %s\n' "$(date '+%T')" "$status" case "$status" in done|failed|cancelled) break ;; esac done finish=$(date +%s) dur=$((finish - start)) echo echo "=== РЕЗУЛЬТАТ ===" echo "статус: $status" echo "затрачено времени: ${dur} секунд (порог приёмки: 300)" if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi echo echo "запись в очереди:" psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \ "SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null echo "снимки CT ${TEST_CT} (должно быть пусто):" pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0 echo "состояние контейнера после отката:" pct status "$TEST_CT" echo echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ===" grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20 echo echo "=== УБОРКА ===" cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана" pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true sleep 3 echo -n "тестовый контейнер: "; pct status "$TEST_CT"