fix(F6-5): задача в Gitea создаётся с меткой по номеру, код ответа проверяется
This commit is contained in:
1 parent
3c3d1c0c93
commit
6a10953fd0
5 files changed
+441
-11
No files matched your search
Executable
+98
@@ -0,0 +1,98 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# rollback-drill.sh — проверка автоматического отката (F6-5)
|
||||
# ============================================================
|
||||
# Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис
|
||||
# восстановлен, приходят алерт и задача в Gitea с меткой sev:1.
|
||||
#
|
||||
# Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc,
|
||||
# тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим
|
||||
# адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её
|
||||
# и обязано откатиться.
|
||||
#
|
||||
# Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката
|
||||
# работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет
|
||||
# живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде.
|
||||
#
|
||||
# Запуск: bash rollback-drill.sh
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO="/root/buryan-infra"
|
||||
SERVICES="$REPO/ops/update-manager/services.yaml"
|
||||
TEST_SERVICE="тест-откат"
|
||||
TEST_CT=160
|
||||
BAD_URL="http://192.168.1.160:9/"
|
||||
LIMIT_SEC=600
|
||||
|
||||
export PGPASSWORD=""
|
||||
. /root/.buryan-monitor.env
|
||||
export PGPASSWORD
|
||||
|
||||
q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; }
|
||||
|
||||
echo "=== ПОДГОТОВКА ==="
|
||||
cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true
|
||||
|
||||
yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES"
|
||||
yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES"
|
||||
|
||||
echo "запись в реестре:"
|
||||
yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES"
|
||||
|
||||
echo
|
||||
echo "=== СТАВЛЮ ЗАДАЧУ ==="
|
||||
q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version)
|
||||
VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \
|
||||
| tail -1
|
||||
|
||||
start=$(date +%s)
|
||||
echo "начало: $(date '+%T')"
|
||||
|
||||
echo
|
||||
echo "=== ЖДУ ЗАВЕРШЕНИЯ ==="
|
||||
status=""
|
||||
for i in $(seq 1 $((LIMIT_SEC / 10))); do
|
||||
sleep 10
|
||||
status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1")
|
||||
printf ' %s — %s\n' "$(date '+%T')" "$status"
|
||||
case "$status" in
|
||||
done|failed|cancelled) break ;;
|
||||
esac
|
||||
done
|
||||
|
||||
finish=$(date +%s)
|
||||
dur=$((finish - start))
|
||||
|
||||
echo
|
||||
echo "=== РЕЗУЛЬТАТ ==="
|
||||
echo "статус: $status"
|
||||
echo "затрачено времени: ${dur} секунд (порог приёмки: 300)"
|
||||
if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi
|
||||
|
||||
echo
|
||||
echo "запись в очереди:"
|
||||
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \
|
||||
"SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null
|
||||
|
||||
echo "снимки CT ${TEST_CT} (должно быть пусто):"
|
||||
pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0
|
||||
|
||||
echo "состояние контейнера после отката:"
|
||||
pct status "$TEST_CT"
|
||||
|
||||
echo
|
||||
echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ==="
|
||||
grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20
|
||||
|
||||
echo
|
||||
echo "=== УБОРКА ==="
|
||||
cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана"
|
||||
pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
echo -n "тестовый контейнер: "; pct status "$TEST_CT"
|
||||
@@ -14,3 +14,13 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE...
|
||||
[2026-10-14 15:12:55] отложенных переведено в одобренные: 2
|
||||
[2026-10-14 15:12:55] взята задача 5: самопроверка-отложенного -> (CT )
|
||||
[2026-10-14 15:12:56] не удалось сопоставить 'самопроверка-отложенного' с реестром
|
||||
[2026-10-14 15:16:01] взята задача 6: тест-откат -> drill-1791980129 (CT )
|
||||
[2026-10-14 15:16:51] задача 6 провалена
|
||||
[2026-10-14 15:16:51] создана задача в Gitea с меткой sev:1
|
||||
[2026-10-14 15:22:01] взята задача 7: проверка-прав-бота -> (CT )
|
||||
[2026-10-14 15:22:02] не удалось сопоставить 'проверка-прав-бота' с реестром
|
||||
[2026-10-14 15:23:01] взята задача 8: dashy -> (CT )
|
||||
[2026-10-14 15:23:22] задача 8 выполнена
|
||||
[2026-10-14 15:26:01] взята задача 9: тест-откат -> drill-1791980740 (CT )
|
||||
[2026-10-14 15:26:51] задача 9 провалена
|
||||
[2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1
|
||||
@@ -0,0 +1,284 @@
|
||||
# Реестр сервисов для Update Manager (полный спектр)
|
||||
# Поле 'critical' определяет приоритет отката
|
||||
# 'type': docker (по умолчанию) | native (apt/binary)
|
||||
|
||||
services:
|
||||
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
|
||||
npm:
|
||||
ct_id: 101
|
||||
compose_path: /opt/npm
|
||||
healthcheck:
|
||||
url: http://192.168.1.101:81/api/nginx/proxy-hosts
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
compose_path: /opt/authentik
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: gitea
|
||||
vaultwarden:
|
||||
ct_id: 109
|
||||
compose_path: /opt/vaultwarden
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8081/alive
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/health
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-synapse
|
||||
# === АВТОМАТИЗАЦИЯ ===
|
||||
n8n:
|
||||
ct_id: 108
|
||||
compose_path: /opt/n8n
|
||||
healthcheck:
|
||||
url: http://192.168.1.108:5678/healthz
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: n8n
|
||||
# === MONITORING & UTILS ===
|
||||
prometheus:
|
||||
ct_id: 134
|
||||
compose_path: /opt/prometheus
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9090/-/healthy
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prometheus
|
||||
grafana:
|
||||
ct_id: 113
|
||||
compose_path: /opt/grafana
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3000/api/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: grafana
|
||||
uptime-kuma:
|
||||
ct_id: 107
|
||||
compose_path: /opt/uptime-kuma
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3001/api/status-page/heartbeat
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: uptime_kuma
|
||||
# === PORTAL & DASHBOARDS ===
|
||||
dashy:
|
||||
ct_id: 102
|
||||
compose_path: /opt/dashy
|
||||
healthcheck:
|
||||
url: http://192.168.1.102:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: dashy
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
compose_path: /opt/paperless
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless
|
||||
syncthing:
|
||||
ct_id: 139
|
||||
compose_path: /opt/syncthing
|
||||
healthcheck:
|
||||
url: http://192.168.1.139:8384/rest/system/version
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: syncthing
|
||||
linkding:
|
||||
ct_id: 127
|
||||
compose_path: /opt/linkding
|
||||
healthcheck:
|
||||
url: http://192.168.1.127:3000/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: linkding
|
||||
# === MEDIA STACK ===
|
||||
jellyfin:
|
||||
ct_id: 103
|
||||
compose_path: /opt/jellyfin
|
||||
healthcheck:
|
||||
url: http://192.168.1.103:8096/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
url: http://192.168.1.116:32400/identity
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: plex
|
||||
sonarr:
|
||||
ct_id: 117
|
||||
compose_path: /opt/sonarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.117:8989/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: sonarr
|
||||
radarr:
|
||||
ct_id: 118
|
||||
compose_path: /opt/radarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.118:7878/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: radarr
|
||||
prowlarr:
|
||||
ct_id: 119
|
||||
compose_path: /opt/prowlarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.119:9696/api/v1/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prowlarr
|
||||
bazarr:
|
||||
ct_id: 120
|
||||
compose_path: /opt/bazarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.120:6767/api/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: bazarr
|
||||
overseerr:
|
||||
ct_id: 121
|
||||
compose_path: /opt/overseerr
|
||||
healthcheck:
|
||||
url: http://192.168.1.121:5055/api/v1/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: overseerr
|
||||
tautulli:
|
||||
ct_id: 122
|
||||
compose_path: /opt/tautulli
|
||||
healthcheck:
|
||||
url: http://192.168.1.122:8181/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tautulli
|
||||
navidrome:
|
||||
ct_id: 125
|
||||
compose_path: /opt/navidrome
|
||||
healthcheck:
|
||||
url: http://192.168.1.125:4533/ping
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: navidrome
|
||||
# === READING & FINANCE ===
|
||||
calibre:
|
||||
ct_id: 111
|
||||
compose_path: /opt/calibre-web
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8083/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: calibre-web
|
||||
freshrss:
|
||||
ct_id: 111
|
||||
compose_path: /opt/freshrss
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8090/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: freshrss
|
||||
mealie:
|
||||
ct_id: 110
|
||||
compose_path: /opt/mealie
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:9925/api/app/about
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mealie
|
||||
# === NATIVE SERVICES (не Docker, apt-based) ===
|
||||
postgres-rbac:
|
||||
ct_id: 151
|
||||
type: native
|
||||
critical: true
|
||||
backup: pgdump # pg_dump всей БД перед обновлением
|
||||
headscale:
|
||||
ct_id: 201
|
||||
type: native
|
||||
critical: false
|
||||
backup: snapshot
|
||||
# === EXPERIMENTAL ===
|
||||
openclaw:
|
||||
ct_id: 115
|
||||
compose_path: /opt/openclaw
|
||||
healthcheck:
|
||||
url: http://192.168.1.115:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
@@ -29,6 +29,8 @@ PG_USER="${PG_USER:-buryan_monitor}"
|
||||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||||
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
|
||||
|
||||
mkdir -p "$(dirname "$LOG_FILE")"
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
@@ -82,24 +84,44 @@ notify() { # $1 = текст сообщения
|
||||
|
||||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||||
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
|
||||
local token body
|
||||
#
|
||||
# Две ловушки, на которых это уже ломалось:
|
||||
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
|
||||
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
|
||||
# метки сначала запрашивается.
|
||||
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
|
||||
# успехе по нему нельзя — проверяется код ответа HTTP.
|
||||
local token label_id body code num
|
||||
token=$(cat /root/.gitea_api 2>/dev/null)
|
||||
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
|
||||
|
||||
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
|
||||
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
|
||||
|
||||
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
|
||||
"$1" "$2" "$3" "$4")
|
||||
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||||
'{title:$t, body:$b, labels:["sev:1"]}' > /tmp/update-issue.json
|
||||
|
||||
if curl -s -m 25 -X POST \
|
||||
-H "Authorization: token $token" \
|
||||
-H 'Content-Type: application/json' \
|
||||
--data-binary @/tmp/update-issue.json \
|
||||
"http://192.168.1.140:3000/api/v1/repos/agent-qwen/buryan-infra/issues" >/dev/null; then
|
||||
log "создана задача в Gitea с меткой sev:1"
|
||||
if [ -n "$label_id" ]; then
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
|
||||
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
|
||||
else
|
||||
log "не удалось создать задачу в Gitea"
|
||||
log "метка sev:1 не найдена — задача будет создана без метки"
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||||
'{title:$t, body:$b}' > /tmp/update-issue.json
|
||||
fi
|
||||
|
||||
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
|
||||
-H "Authorization: token $token" \
|
||||
-H 'Content-Type: application/json' \
|
||||
--data-binary @/tmp/update-issue.json \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
|
||||
|
||||
if [ "$code" = "201" ]; then
|
||||
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
|
||||
log "создана задача в Gitea №${num} с меткой sev:1"
|
||||
else
|
||||
log "не удалось создать задачу в Gitea, код ответа ${code}"
|
||||
fi
|
||||
}
|
||||
|
||||
|
||||
@@ -86,3 +86,19 @@
|
||||
[2026-10-14 15:23:20] 🏥 Проверка здоровья: http://192.168.1.102:8080/ (успешные коды: 200 201 204 301 302)
|
||||
[2026-10-14 15:23:20] ✅ Проверка пройдена
|
||||
[2026-10-14 15:23:21] снимок удалён
|
||||
[2026-10-14 15:23:22] ✅ зафиксировано в Git и отправлено
|
||||
[2026-10-14 15:23:22] 🎉 dashy обновлён: lissy93/dashy:latest
|
||||
[2026-10-14 15:26:01] ▶ Обновление: тест-откат (CT 160, тип docker, критичный: false)
|
||||
[2026-10-14 15:26:01] место в пуле: 36%
|
||||
[2026-10-14 15:26:02] ⚠️ контейнер сервиса не определён, версия будет записана из первого образа
|
||||
[2026-10-14 15:26:02] 📦 Снимок: pre-update-20261014-152602
|
||||
[2026-10-14 15:26:03] ⬆️ Обновляем образы по списку
|
||||
[2026-10-14 15:26:03] ⚠️ перезапуск контейнеров не удался
|
||||
[2026-10-14 15:26:03] ожидание 15 секунд
|
||||
[2026-10-14 15:26:18] 🏥 Проверка здоровья: http://192.168.1.160:9/ (успешные коды: 200 201 204 301 302)
|
||||
[2026-10-14 15:26:22] попытка 1/2: код 000000
|
||||
[2026-10-14 15:26:35] попытка 2/2: код 000000
|
||||
[2026-10-14 15:26:35] 🚨 Проверка не пройдена — откат
|
||||
[2026-10-14 15:26:39] откат выполнен
|
||||
[2026-10-14 15:26:51] снимок удалён
|
||||
[2026-10-14 15:26:51] ⚠️ Обновление тест-откат отменено, сервис восстановлен из снимка
|
||||
Reference in new issue
Block a user