#!/bin/bash # ============================================================ # update-runner.sh — исполняет одобренные обновления (задача F6-4) # ============================================================ # Запускается по расписанию раз в минуту на pve. # # Что делает: # 1. В 03:xx переводит отложенные задачи в одобренные. # 2. Забирает одну одобренную задачу из update_queue. # 3. Помечает её выполняющейся, вызывает safe-update.sh. # 4. Записывает результат и уведомляет в Telegram. # # Одновременно выполняется только одна задача: параллельные обновления # двух сервисов на одном хосте мешают друг другу и портят измерения # healthcheck. Блокировка flock защищает от наложения запусков. # # Результат пишется в базу, поэтому историю видно без разбора журналов. # ============================================================ set -uo pipefail REPO_ROOT="/root/buryan-infra" SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh" SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log" PG_HOST="${PG_HOST:-192.168.1.151}" PG_DB="${PG_DB:-buryan_monitoring}" PG_USER="${PG_USER:-buryan_monitor}" TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" DEFER_HOUR="${DEFER_HOUR:-03}" GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}" GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}" mkdir -p "$(dirname "$LOG_FILE")" log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } # Пароль базы и токен бота — из защищённых файлов, не из командной строки [ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env [ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; } export PGPASSWORD # Единственный экземпляр exec 9>/var/lock/update-runner.lock flock -n 9 || exit 0 q() { # $1 = SQL, печатает результат psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE" } q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата # Подстановка :'res' не работает при одиночном запросе (-c), поэтому # текст экранируется вручную и подставляется прямо в строку. local txt="${3//\'/\'\'}" psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \ "UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \ 2>>"$LOG_FILE" } resolve_service() { # Уведомления приходят с именами контейнеров, а реестр оперирует именами # сервисов. Переводим одно в другое: сначала проверяем прямое совпадение, # затем ищем сервис, у которого этот контейнер указан в поле container. local name="$1" if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then echo "$name" return 0 fi yq -r --arg c "$name" \ '.services | to_entries[] | select(.value.container == $c) | .key' \ "$SERVICES_FILE" 2>/dev/null | head -1 } notify() { # $1 = текст сообщения local token token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) [ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; } curl -s -m 25 -x "$TG_PROXY" -X POST \ --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ --data-urlencode "text=$1" \ --data-urlencode "parse_mode=HTML" \ "https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true } create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата # Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1. # # Две ловушки, на которых это уже ломалось: # 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"] # возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер # метки сначала запрашивается. # 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об # успехе по нему нельзя — проверяется код ответа HTTP. local token label_id body code num token=$(cat /root/.gitea_api 2>/dev/null) [ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; } label_id=$(curl -s -m 20 -H "Authorization: token $token" \ "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \ | jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1) body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \ "$1" "$2" "$3" "$4") if [ -n "$label_id" ]; then jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \ '{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json else log "метка sev:1 не найдена — задача будет создана без метки" jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \ '{title:$t, body:$b}' > /tmp/update-issue.json fi code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \ -H "Authorization: token $token" \ -H 'Content-Type: application/json' \ --data-binary @/tmp/update-issue.json \ "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues") if [ "$code" = "201" ]; then num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null) log "создана задача в Gitea №${num} с меткой sev:1" else log "не удалось создать задачу в Gitea, код ответа ${code}" fi } # --- 1. Отложенные задачи: ночью становятся одобренными ---------------------- if [ "$(date +%H)" = "$DEFER_HOUR" ]; then # Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились # сегодня. Без этого условия блок выполнялся каждую минуту весь час # и давал десятки одинаковых записей в журнале. moved=$(q "UPDATE update_queue SET status='approved', decided_at=now() WHERE status='deferred' AND (decided_at IS NULL OR decided_at::date < current_date) RETURNING id" | wc -l) [ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved" fi # --- 2. Берём одну одобренную задачу ---------------------------------------- row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'') FROM update_queue WHERE status = 'approved' ORDER BY decided_at NULLS LAST, id LIMIT 1") if [ -z "$row" ]; then exit 0 fi id="${row%%|*}"; rest="${row#*|}" service="${rest%%|*}"; rest="${rest#*|}" newver="${rest%%|*}"; ct="${rest#*|}" log "взята задача $id: $service -> $newver (CT $ct)" q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null # Уведомления приходят с именем контейнера — переводим в имя сервиса реестра TARGET=$(resolve_service "$service") # Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре # служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`). # Ищем по полю container в реестре. if [ -z "$TARGET" ]; then TARGET=$(awk -v c="$service" ' /^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) } $1 == "container:" && $2 == c { print svc; exit } ' "$SERVICES_FILE") [ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'" fi if [ -z "$TARGET" ]; then q_finish "$id" failed "сервис '$service' не найден в реестре обновлений" notify "🚨 Обновление $service: сервис не найден в реестре обновлений. Добавьте его в services.yaml." log "не удалось сопоставить '$service' с реестром" exit 1 fi if [ "$TARGET" != "$service" ]; then log "сервис '$service' сопоставлен с реестровой записью '$TARGET'" fi if [ ! -x "$SAFE_UPDATE" ]; then q_finish "$id" failed "не найден safe-update.sh" notify "🚨 Обновление $service не запущено: не найден safe-update.sh" log "нет $SAFE_UPDATE" exit 1 fi # --- 3. Выполняем ----------------------------------------------------------- out=$("$SAFE_UPDATE" "$TARGET" 2>&1) rc=$? if [ "$rc" -eq 0 ]; then res=$(echo "$out" | tail -3 | tr '\n' ' ') q_finish "$id" done "$res" log "задача $id выполнена" notify "✅ $service обновлён до $newver" else res=$(echo "$out" | tail -6 | tr '\n' ' ') q_finish "$id" failed "$res" log "задача $id провалена" create_rollback_issue "$service" "$newver" "$ct" "$res" notify "🚨 $service — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1." fi exit 0