fix(F6-5): задача в Gitea создаётся с меткой по номеру, код ответа проверяется

This commit is contained in:
root committed 2026-10-14 15:27:23 +03:00
1 parent 3c3d1c0c93
commit 6a10953fd0
5 files changed
+441 -11

No files matched your search

+98
View File
@@ -0,0 +1,98 @@
#!/bin/bash
# ============================================================
# rollback-drill.sh — проверка автоматического отката (F6-5)
# ============================================================
# Критерий приёмки по плану: авто-откат укладывается в 5 минут, сервис
# восстановлен, приходят алерт и задача в Gitea с меткой sev:1.
#
# Как проверяем: берём контейнер, который никому не нужен (CT 160 llm-lxc,
# тестовый стенд), добавляем его в реестр как сервис с заведомо нерабочим
# адресом проверки здоровья. Обновление дойдёт до проверки, не пройдёт её
# и обязано откатиться.
#
# Почему так, а не на живом сервисе: сначала убеждаемся, что механика отката
# работает вообще. Проверка 14.10.2026 показала, что чтение кода не заменяет
# живой прогон — на обновлении dashy нашлась ошибка, незаметная в коде.
#
# Запуск: bash rollback-drill.sh
# ============================================================
set -uo pipefail
REPO="/root/buryan-infra"
SERVICES="$REPO/ops/update-manager/services.yaml"
TEST_SERVICE="тест-откат"
TEST_CT=160
BAD_URL="http://192.168.1.160:9/"
LIMIT_SEC=600
export PGPASSWORD=""
. /root/.buryan-monitor.env
export PGPASSWORD
q() { psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -tAc "$1" 2>/dev/null; }
echo "=== ПОДГОТОВКА ==="
cp -n "$SERVICES" "$SERVICES.drill-bak" 2>/dev/null || true
yq -i ".services.\"${TEST_SERVICE}\".ct_id = ${TEST_CT}" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.url = \"${BAD_URL}\"" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.timeout = 5" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".healthcheck.retries = 2" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".critical = false" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".type = \"docker\"" "$SERVICES"
yq -i ".services.\"${TEST_SERVICE}\".backup = \"snapshot\"" "$SERVICES"
echo "запись в реестре:"
yq -r ".services.\"${TEST_SERVICE}\"" "$SERVICES"
echo
echo "=== СТАВЛЮ ЗАДАЧУ ==="
q "INSERT INTO update_queue (service, action, status, requested_by, decided_at, new_version)
VALUES ('${TEST_SERVICE}', 'now', 'approved', 'проверка отката', now(), 'drill-$(date +%s)') RETURNING id" \
| tail -1
start=$(date +%s)
echo "начало: $(date '+%T')"
echo
echo "=== ЖДУ ЗАВЕРШЕНИЯ ==="
status=""
for i in $(seq 1 $((LIMIT_SEC / 10))); do
sleep 10
status=$(q "SELECT status FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1")
printf ' %s — %s\n' "$(date '+%T')" "$status"
case "$status" in
done|failed|cancelled) break ;;
esac
done
finish=$(date +%s)
dur=$((finish - start))
echo
echo "=== РЕЗУЛЬТАТ ==="
echo "статус: $status"
echo "затрачено времени: ${dur} секунд (порог приёмки: 300)"
if [ "$dur" -lt 300 ]; then echo "уложились в порог: ДА"; else echo "уложились в порог: НЕТ"; fi
echo
echo "запись в очереди:"
psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -c \
"SELECT id, service, status, left(result,120) AS result FROM update_queue WHERE service='${TEST_SERVICE}' ORDER BY id DESC LIMIT 1" 2>/dev/null
echo "снимки CT ${TEST_CT} (должно быть пусто):"
pct listsnapshot "$TEST_CT" | grep -c 'pre-update' || echo 0
echo "состояние контейнера после отката:"
pct status "$TEST_CT"
echo
echo "=== ЖУРНАЛ ИСПОЛНИТЕЛЯ ==="
grep -A 20 "Обновление: ${TEST_SERVICE}" "$REPO/ops/update-manager/update.log" | tail -20
echo
echo "=== УБОРКА ==="
cp "$SERVICES.drill-bak" "$SERVICES" && echo "запись теста из реестра убрана"
pct shutdown "$TEST_CT" --timeout 20 >/dev/null 2>&1 || pct stop "$TEST_CT" >/dev/null 2>&1 || true
sleep 3
echo -n "тестовый контейнер: "; pct status "$TEST_CT"
+10
View File
@@ -14,3 +14,13 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE...
[2026-10-14 15:12:55] отложенных переведено в одобренные: 2
[2026-10-14 15:12:55] взята задача 5: самопроверка-отложенного -> (CT )
[2026-10-14 15:12:56] не удалось сопоставить 'самопроверка-отложенного' с реестром
[2026-10-14 15:16:01] взята задача 6: тест-откат -> drill-1791980129 (CT )
[2026-10-14 15:16:51] задача 6 провалена
[2026-10-14 15:16:51] создана задача в Gitea с меткой sev:1
[2026-10-14 15:22:01] взята задача 7: проверка-прав-бота -> (CT )
[2026-10-14 15:22:02] не удалось сопоставить 'проверка-прав-бота' с реестром
[2026-10-14 15:23:01] взята задача 8: dashy -> (CT )
[2026-10-14 15:23:22] задача 8 выполнена
[2026-10-14 15:26:01] взята задача 9: тест-откат -> drill-1791980740 (CT )
[2026-10-14 15:26:51] задача 9 провалена
[2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1
+284
View File
@@ -0,0 +1,284 @@
# Реестр сервисов для Update Manager (полный спектр)
# Поле 'critical' определяет приоритет отката
# 'type': docker (по умолчанию) | native (apt/binary)
services:
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
npm:
ct_id: 101
compose_path: /opt/npm
healthcheck:
url: http://192.168.1.101:81/api/nginx/proxy-hosts
timeout: 10
retries: 3
critical: true
backup: snapshot
container: npm-app-1
authentik:
ct_id: 114
compose_path: /opt/authentik
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
timeout: 15
retries: 3
critical: true
backup: snapshot
container: authentik-security-server-1
gitea:
ct_id: 140
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
timeout: 15
retries: 3
critical: true
backup: snapshot
container: gitea
vaultwarden:
ct_id: 109
compose_path: /opt/vaultwarden
healthcheck:
url: http://192.168.1.109:8081/alive
timeout: 10
retries: 3
critical: true
backup: snapshot
container: vaultwarden
matrix:
ct_id: 155
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/health
timeout: 15
retries: 3
critical: true
backup: snapshot
container: matrix-synapse
# === АВТОМАТИЗАЦИЯ ===
n8n:
ct_id: 108
compose_path: /opt/n8n
healthcheck:
url: http://192.168.1.108:5678/healthz
timeout: 15
retries: 3
critical: true
backup: snapshot
container: n8n
# === MONITORING & UTILS ===
prometheus:
ct_id: 134
compose_path: /opt/prometheus
healthcheck:
url: http://192.168.1.134:9090/-/healthy
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prometheus
grafana:
ct_id: 113
compose_path: /opt/grafana
healthcheck:
url: http://192.168.1.113:3000/api/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: grafana
uptime-kuma:
ct_id: 107
compose_path: /opt/uptime-kuma
healthcheck:
url: http://192.168.1.107:3001/api/status-page/heartbeat
timeout: 10
retries: 3
critical: false
backup: snapshot
container: uptime_kuma
# === PORTAL & DASHBOARDS ===
dashy:
ct_id: 102
compose_path: /opt/dashy
healthcheck:
url: http://192.168.1.102:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: dashy
# === FILES & DOCS ===
paperless:
ct_id: 105
compose_path: /opt/paperless
healthcheck:
url: http://192.168.1.105:8000/api/status/
timeout: 15
retries: 3
critical: false
backup: snapshot
container: paperless
syncthing:
ct_id: 139
compose_path: /opt/syncthing
healthcheck:
url: http://192.168.1.139:8384/rest/system/version
timeout: 10
retries: 3
critical: false
backup: snapshot
container: syncthing
linkding:
ct_id: 127
compose_path: /opt/linkding
healthcheck:
url: http://192.168.1.127:3000/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: linkding
# === MEDIA STACK ===
jellyfin:
ct_id: 103
compose_path: /opt/jellyfin
healthcheck:
url: http://192.168.1.103:8096/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: jellyfin
plex:
ct_id: 116
compose_path: /opt/plex
healthcheck:
url: http://192.168.1.116:32400/identity
timeout: 10
retries: 3
critical: false
backup: snapshot
container: plex
sonarr:
ct_id: 117
compose_path: /opt/sonarr
healthcheck:
url: http://192.168.1.117:8989/api/v3/system/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: sonarr
radarr:
ct_id: 118
compose_path: /opt/radarr
healthcheck:
url: http://192.168.1.118:7878/api/v3/system/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: radarr
prowlarr:
ct_id: 119
compose_path: /opt/prowlarr
healthcheck:
url: http://192.168.1.119:9696/api/v1/system/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prowlarr
bazarr:
ct_id: 120
compose_path: /opt/bazarr
healthcheck:
url: http://192.168.1.120:6767/api/system/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: bazarr
overseerr:
ct_id: 121
compose_path: /opt/overseerr
healthcheck:
url: http://192.168.1.121:5055/api/v1/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: overseerr
tautulli:
ct_id: 122
compose_path: /opt/tautulli
healthcheck:
url: http://192.168.1.122:8181/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: tautulli
navidrome:
ct_id: 125
compose_path: /opt/navidrome
healthcheck:
url: http://192.168.1.125:4533/ping
timeout: 10
retries: 3
critical: false
backup: snapshot
container: navidrome
# === READING & FINANCE ===
calibre:
ct_id: 111
compose_path: /opt/calibre-web
healthcheck:
url: http://192.168.1.111:8083/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: calibre-web
freshrss:
ct_id: 111
compose_path: /opt/freshrss
healthcheck:
url: http://192.168.1.111:8090/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: freshrss
mealie:
ct_id: 110
compose_path: /opt/mealie
healthcheck:
url: http://192.168.1.110:9925/api/app/about
timeout: 10
retries: 3
critical: false
backup: snapshot
container: mealie
# === NATIVE SERVICES (не Docker, apt-based) ===
postgres-rbac:
ct_id: 151
type: native
critical: true
backup: pgdump # pg_dump всей БД перед обновлением
headscale:
ct_id: 201
type: native
critical: false
backup: snapshot
# === EXPERIMENTAL ===
openclaw:
ct_id: 115
compose_path: /opt/openclaw
healthcheck:
url: http://192.168.1.115:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: openclaw
+33 -11
View File
@@ -29,6 +29,8 @@ PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
@@ -82,24 +84,44 @@ notify() { # $1 = текст сообщения
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
local token body
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b, labels:["sev:1"]}' > /tmp/update-issue.json
if curl -s -m 25 -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"http://192.168.1.140:3000/api/v1/repos/agent-qwen/buryan-infra/issues" >/dev/null; then
log "создана задача в Gitea с меткой sev:1"
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "не удалось создать задачу в Gitea"
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
+16
View File
@@ -86,3 +86,19 @@
[2026-10-14 15:23:20] 🏥 Проверка здоровья: http://192.168.1.102:8080/ (успешные коды: 200 201 204 301 302)
[2026-10-14 15:23:20] ✅ Проверка пройдена
[2026-10-14 15:23:21] снимок удалён
[2026-10-14 15:23:22] ✅ зафиксировано в Git и отправлено
[2026-10-14 15:23:22] 🎉 dashy обновлён: lissy93/dashy:latest
[2026-10-14 15:26:01] ▶ Обновление: тест-откат (CT 160, тип docker, критичный: false)
[2026-10-14 15:26:01] место в пуле: 36%
[2026-10-14 15:26:02] ⚠️ контейнер сервиса не определён, версия будет записана из первого образа
[2026-10-14 15:26:02] 📦 Снимок: pre-update-20261014-152602
[2026-10-14 15:26:03] ⬆️ Обновляем образы по списку
[2026-10-14 15:26:03] ⚠️ перезапуск контейнеров не удался
[2026-10-14 15:26:03] ожидание 15 секунд
[2026-10-14 15:26:18] 🏥 Проверка здоровья: http://192.168.1.160:9/ (успешные коды: 200 201 204 301 302)
[2026-10-14 15:26:22] попытка 1/2: код 000000
[2026-10-14 15:26:35] попытка 2/2: код 000000
[2026-10-14 15:26:35] 🚨 Проверка не пройдена — откат
[2026-10-14 15:26:39] откат выполнен
[2026-10-14 15:26:51] снимок удалён
[2026-10-14 15:26:51] ⚠️ Обновление тест-откат отменено, сервис восстановлен из снимка