diff --git a/ops/update-manager/rollback-drill.sh b/ops/update-manager/rollback-drill.sh new file mode 100755 index 0000000..bda6a7d --- /dev/null +++ b/ops/update-manager/rollback-drill.sh @@ -0,0 +1,98 @@ +#!/bin/bash +# ============================================================ +# rollback-drill.sh — проверка автоматического отката (F6-5) +# ============================================================ +# Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис +# восстановлен, приходят алерт и задача в Gitea с меткой sev:1. +# +# Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc, +# тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим +# адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её +# и обязано откатиться. +# +# Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката +# работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет +# живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде. +# +# Запуск: bash rollback-drill.sh +# ============================================================ +set -uo pipefail + +REPO="/root/buryan-infra" +SERVICES="$REPO/ops/update-manager/services.yaml" +TEST_SERVICE="тест-откат" +TEST_CT=160 +BAD_URL="http://192.168.1.160:9/" +LIMIT_SEC=600 + +export PGPASSWORD="" +. /root/.buryan-monitor.env +export PGPASSWORD + +q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; } + +echo "=== ПОДГОТОВКА ===" +cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true + +yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES" +yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES" + +echo "запись в реестре:" +yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES" + +echo +echo "=== СТАВЛЮ ЗАДАЧУ ===" +q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version) + VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \ + | tail -1 + +start=$(date +%s) +echo "начало: $(date '+%T')" + +echo +echo "=== ЖДУ ЗАВЕРШЕНИЯ ===" +status="" +for i in $(seq 1 $((LIMIT_SEC / 10))); do + sleep 10 + status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1") + printf ' %s — %s\n' "$(date '+%T')" "$status" + case "$status" in + done|failed|cancelled) break ;; + esac +done + +finish=$(date +%s) +dur=$((finish - start)) + +echo +echo "=== РЕЗУЛЬТАТ ===" +echo "статус: $status" +echo "затрачено времени: ${dur} секунд (порог приёмки: 300)" +if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi + +echo +echo "запись в очереди:" +psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \ + "SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null + +echo "снимки CT ${TEST_CT} (должно быть пусто):" +pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0 + +echo "состояние контейнера после отката:" +pct status "$TEST_CT" + +echo +echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ===" +grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20 + +echo +echo "=== УБОРКА ===" +cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана" +pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true +sleep 3 +echo -n "тестовый контейнер: "; pct status "$TEST_CT" diff --git a/ops/update-manager/runner.log b/ops/update-manager/runner.log index cdf3be7..4b110c7 100644 --- a/ops/update-manager/runner.log +++ b/ops/update-manager/runner.log @@ -14,3 +14,13 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE... [2026-10-14 15:12:55] отложенных переведено в одобренные: 2 [2026-10-14 15:12:55] взята задача 5: самопроверка-отложенного -> (CT ) [2026-10-14 15:12:56] не удалось сопоставить 'самопроверка-отложенного' с реестром +[2026-10-14 15:16:01] взята задача 6: тест-откат -> drill-1791980129 (CT ) +[2026-10-14 15:16:51] задача 6 провалена +[2026-10-14 15:16:51] создана задача в Gitea с меткой sev:1 +[2026-10-14 15:22:01] взята задача 7: проверка-прав-бота -> (CT ) +[2026-10-14 15:22:02] не удалось сопоставить 'проверка-прав-бота' с реестром +[2026-10-14 15:23:01] взята задача 8: dashy -> (CT ) +[2026-10-14 15:23:22] задача 8 выполнена +[2026-10-14 15:26:01] взята задача 9: тест-откат -> drill-1791980740 (CT ) +[2026-10-14 15:26:51] задача 9 провалена +[2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1 diff --git a/ops/update-manager/services.yaml.drill-bak b/ops/update-manager/services.yaml.drill-bak new file mode 100644 index 0000000..28da90c --- /dev/null +++ b/ops/update-manager/services.yaml.drill-bak @@ -0,0 +1,284 @@ +# Реестр сервисов для Update Manager (полный спектр) +# Поле 'critical' определяет приоритет отката +# 'type': docker (по умолчанию) | native (apt/binary) + +services: + # === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА === + npm: + ct_id: 101 + compose_path: /opt/npm + healthcheck: + url: http://192.168.1.101:81/api/nginx/proxy-hosts + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: npm-app-1 + authentik: + ct_id: 114 + compose_path: /opt/authentik + healthcheck: + url: http://192.168.1.114:9000/-/health/live/ + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: authentik-security-server-1 + gitea: + ct_id: 140 + compose_path: /opt/gitea + healthcheck: + url: http://192.168.1.140:3000/api/v1/version + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: gitea + vaultwarden: + ct_id: 109 + compose_path: /opt/vaultwarden + healthcheck: + url: http://192.168.1.109:8081/alive + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: vaultwarden + matrix: + ct_id: 155 + compose_path: /opt/matrix + healthcheck: + url: http://192.168.1.155:8008/health + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: matrix-synapse + # === АВТОМАТИЗАЦИЯ === + n8n: + ct_id: 108 + compose_path: /opt/n8n + healthcheck: + url: http://192.168.1.108:5678/healthz + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: n8n + # === MONITORING & UTILS === + prometheus: + ct_id: 134 + compose_path: /opt/prometheus + healthcheck: + url: http://192.168.1.134:9090/-/healthy + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prometheus + grafana: + ct_id: 113 + compose_path: /opt/grafana + healthcheck: + url: http://192.168.1.113:3000/api/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: grafana + uptime-kuma: + ct_id: 107 + compose_path: /opt/uptime-kuma + healthcheck: + url: http://192.168.1.107:3001/api/status-page/heartbeat + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: uptime_kuma + # === PORTAL & DASHBOARDS === + dashy: + ct_id: 102 + compose_path: /opt/dashy + healthcheck: + url: http://192.168.1.102:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: dashy + # === FILES & DOCS === + paperless: + ct_id: 105 + compose_path: /opt/paperless + healthcheck: + url: http://192.168.1.105:8000/api/status/ + timeout: 15 + retries: 3 + critical: false + backup: snapshot + container: paperless + syncthing: + ct_id: 139 + compose_path: /opt/syncthing + healthcheck: + url: http://192.168.1.139:8384/rest/system/version + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: syncthing + linkding: + ct_id: 127 + compose_path: /opt/linkding + healthcheck: + url: http://192.168.1.127:3000/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: linkding + # === MEDIA STACK === + jellyfin: + ct_id: 103 + compose_path: /opt/jellyfin + healthcheck: + url: http://192.168.1.103:8096/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: jellyfin + plex: + ct_id: 116 + compose_path: /opt/plex + healthcheck: + url: http://192.168.1.116:32400/identity + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: plex + sonarr: + ct_id: 117 + compose_path: /opt/sonarr + healthcheck: + url: http://192.168.1.117:8989/api/v3/system/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: sonarr + radarr: + ct_id: 118 + compose_path: /opt/radarr + healthcheck: + url: http://192.168.1.118:7878/api/v3/system/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: radarr + prowlarr: + ct_id: 119 + compose_path: /opt/prowlarr + healthcheck: + url: http://192.168.1.119:9696/api/v1/system/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prowlarr + bazarr: + ct_id: 120 + compose_path: /opt/bazarr + healthcheck: + url: http://192.168.1.120:6767/api/system/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: bazarr + overseerr: + ct_id: 121 + compose_path: /opt/overseerr + healthcheck: + url: http://192.168.1.121:5055/api/v1/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: overseerr + tautulli: + ct_id: 122 + compose_path: /opt/tautulli + healthcheck: + url: http://192.168.1.122:8181/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: tautulli + navidrome: + ct_id: 125 + compose_path: /opt/navidrome + healthcheck: + url: http://192.168.1.125:4533/ping + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: navidrome + # === READING & FINANCE === + calibre: + ct_id: 111 + compose_path: /opt/calibre-web + healthcheck: + url: http://192.168.1.111:8083/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: calibre-web + freshrss: + ct_id: 111 + compose_path: /opt/freshrss + healthcheck: + url: http://192.168.1.111:8090/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: freshrss + mealie: + ct_id: 110 + compose_path: /opt/mealie + healthcheck: + url: http://192.168.1.110:9925/api/app/about + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: mealie + # === NATIVE SERVICES (не Docker, apt-based) === + postgres-rbac: + ct_id: 151 + type: native + critical: true + backup: pgdump # pg_dump всей БД перед обновлением + headscale: + ct_id: 201 + type: native + critical: false + backup: snapshot + # === EXPERIMENTAL === + openclaw: + ct_id: 115 + compose_path: /opt/openclaw + healthcheck: + url: http://192.168.1.115:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: openclaw diff --git a/ops/update-manager/update-runner.sh b/ops/update-manager/update-runner.sh index 9946156..e3cc224 100755 --- a/ops/update-manager/update-runner.sh +++ b/ops/update-manager/update-runner.sh @@ -29,6 +29,8 @@ PG_USER="${PG_USER:-buryan_monitor}" TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" DEFER_HOUR="${DEFER_HOUR:-03}" +GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}" +GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}" mkdir -p "$(dirname "$LOG_FILE")" log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } @@ -82,24 +84,44 @@ notify() { # $1 = текст сообщения create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата # Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1. - local token body + # + # Две ловушки, на которых это уже ломалось: + # 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"] + # возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер + # метки сначала запрашивается. + # 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об + # успехе по нему нельзя — проверяется код ответа HTTP. + local token label_id body code num token=$(cat /root/.gitea_api 2>/dev/null) [ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; } + label_id=$(curl -s -m 20 -H "Authorization: token $token" \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \ + | jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1) + body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \ "$1" "$2" "$3" "$4") - jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \ - '{title:$t, body:$b, labels:["sev:1"]}' > /tmp/update-issue.json - - if curl -s -m 25 -X POST \ - -H "Authorization: token $token" \ - -H 'Content-Type: application/json' \ - --data-binary @/tmp/update-issue.json \ - "http://192.168.1.140:3000/api/v1/repos/agent-qwen/buryan-infra/issues" >/dev/null; then - log "создана задача в Gitea с меткой sev:1" + if [ -n "$label_id" ]; then + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \ + '{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json else - log "не удалось создать задачу в Gitea" + log "метка sev:1 не найдена — задача будет создана без метки" + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \ + '{title:$t, body:$b}' > /tmp/update-issue.json + fi + + code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \ + -H "Authorization: token $token" \ + -H 'Content-Type: application/json' \ + --data-binary @/tmp/update-issue.json \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues") + + if [ "$code" = "201" ]; then + num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null) + log "создана задача в Gitea №${num} с меткой sev:1" + else + log "не удалось создать задачу в Gitea, код ответа ${code}" fi } diff --git a/ops/update-manager/update.log b/ops/update-manager/update.log index 1650142..745e5e7 100644 --- a/ops/update-manager/update.log +++ b/ops/update-manager/update.log @@ -86,3 +86,19 @@ [2026-10-14 15:23:20] 🏥 Проверка здоровья: http://192.168.1.102:8080/ (успешные коды: 200 201 204 301 302) [2026-10-14 15:23:20] ✅ Проверка пройдена [2026-10-14 15:23:21] снимок удалён +[2026-10-14 15:23:22] ✅ зафиксировано в Git и отправлено +[2026-10-14 15:23:22] 🎉 dashy обновлён: lissy93/dashy:latest +[2026-10-14 15:26:01] ▶ Обновление: тест-откат (CT 160, тип docker, критичный: false) +[2026-10-14 15:26:01] место в пуле: 36% +[2026-10-14 15:26:02] ⚠️ контейнер сервиса не определён, версия будет записана из первого образа +[2026-10-14 15:26:02] 📦 Снимок: pre-update-20261014-152602 +[2026-10-14 15:26:03] ⬆️ Обновляем образы по списку +[2026-10-14 15:26:03] ⚠️ перезапуск контейнеров не удался +[2026-10-14 15:26:03] ожидание 15 секунд +[2026-10-14 15:26:18] 🏥 Проверка здоровья: http://192.168.1.160:9/ (успешные коды: 200 201 204 301 302) +[2026-10-14 15:26:22] попытка 1/2: код 000000 +[2026-10-14 15:26:35] попытка 2/2: код 000000 +[2026-10-14 15:26:35] 🚨 Проверка не пройдена — откат +[2026-10-14 15:26:39] откат выполнен +[2026-10-14 15:26:51] снимок удалён +[2026-10-14 15:26:51] ⚠️ Обновление тест-откат отменено, сервис восстановлен из снимка