Files
buryan-infra/ops/update-manager/update-runner.sh
T

250 lines
13 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
NOTIFY_URL="${NOTIFY_URL:-http://192.168.1.10:8099}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
# Уведомления идут через ОБЩИЙ СЛОЙ: Matrix — основной канал,
# Telegram — зеркало. Раньше отсюда шли напрямую в Telegram, и в
# Matrix ничего не приходило, хотя весь смысл перевода был в этом.
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
if [ -n "$token" ]; then
# Точка приёма понимает формат Telegram, прокси не нужен: она
# в локальной сети. Она же отправит зеркало в Telegram.
curl -s -m 25 -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"${NOTIFY_URL}/bot${token}/sendMessage" >/dev/null 2>&1 || true
else
log "нет токена бота алертов — уведомление не отправлено"
fi
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
# --- Окно обновлений: первая суббота месяца, 03:00-07:00 МСК ----------------
# Раньше отложенные задачи переводились в "одобренные" каждую ночь в DEFER_HOUR,
# то есть вне согласованного окна. Теперь всё привязано к первой субботе.
# Аварийное применение вне окна: WINDOW_OVERRIDE=1 update-runner.sh
in_monthly_window() {
[ "${WINDOW_OVERRIDE:-0}" = "1" ] && return 0
local dow dom hour
dow=$(date +%u) # 1..7, суббота = 6
dom=$(date +%d)
hour=$(date +%H)
[ "$dow" = "6" ] || return 1
[ "$dom" -le 7 ] || return 1
[ "$hour" -ge 3 ] && [ "$hour" -lt 7 ]
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if in_monthly_window && [ "$(date +%H)" = "$DEFER_HOUR" ]; then
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
# и давал десятки одинаковых записей в журнале.
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred'
AND (decided_at IS NULL OR decided_at::date < current_date)
RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
if ! in_monthly_window; then
exit 0
fi
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
# Замороженные сервисы: обновление запрещено до снятия метки в реестре.
if [ "$(yq -r ".services.${TARGET:-$service}.frozen // false" "$SERVICES_FILE")" = "true" ]; then
log "⏸ $TARGET заморожен — задача $id отменена"
q "UPDATE update_queue SET status='cancelled', finished_at=now(), result='frozen in registry' WHERE id=$id" >/dev/null
exit 0
fi
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
# Ищем по полю container в реестре.
if [ -z "$TARGET" ]; then
TARGET=$(awk -v c="$service" '
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
$1 == "container:" && $2 == c { print svc; exit }
' "$SERVICES_FILE")
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
fi
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
# Версию берём из вывода safe-update.sh: он её знает, но раньше
# никуда не записывал — поэтому в уведомлении было «обновлён до»
# без числа. Если версии нет, честно пишем «текущая».
if [ -z "$newver" ] && [ -n "${res:-}" ]; then
newver=$(printf '%s' "$res" | grep -oE 'обновлён: [^ ]+' | tail -1 | sed 's/обновлён: //')
fi
[ -n "$newver" ] && q "UPDATE update_queue SET new_version='$newver' WHERE id=$id" >/dev/null
notify "✅ <b>$service</b> обновлён до <code>${newver:-текущая версия}</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
create_rollback_issue "$service" "$newver" "$ct" "$res"
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
fi
exit 0