#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
# и давал десятки одинаковых записей в журнале.
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred'
AND (decided_at IS NULL OR decided_at::date < current_date)
RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
# Ищем по полю container в реестре.
if [ -z "$TARGET" ]; then
TARGET=$(awk -v c="$service" '
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
$1 == "container:" && $2 == c { print svc; exit }
' "$SERVICES_FILE")
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
fi
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление $service: сервис не найден в реестре обновлений. Добавьте его в services.yaml."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление $service не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ $service обновлён до $newver"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
create_rollback_issue "$service" "$newver" "$ct" "$res"
notify "🚨 $service — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
fi
exit 0