250 lines
13 KiB
Bash
Executable File
250 lines
13 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
|
||
# ============================================================
|
||
# Запускается по расписанию раз в минуту на pve.
|
||
#
|
||
# Что делает:
|
||
# 1. В 03:xx переводит отложенные задачи в одобренные.
|
||
# 2. Забирает одну одобренную задачу из update_queue.
|
||
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
|
||
# 4. Записывает результат и уведомляет в Telegram.
|
||
#
|
||
# Одновременно выполняется только одна задача: параллельные обновления
|
||
# двух сервисов на одном хосте мешают друг другу и портят измерения
|
||
# healthcheck. Блокировка flock защищает от наложения запусков.
|
||
#
|
||
# Результат пишется в базу, поэтому историю видно без разбора журналов.
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
REPO_ROOT="/root/buryan-infra"
|
||
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
|
||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
|
||
|
||
PG_HOST="${PG_HOST:-192.168.1.151}"
|
||
PG_DB="${PG_DB:-buryan_monitoring}"
|
||
PG_USER="${PG_USER:-buryan_monitor}"
|
||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||
NOTIFY_URL="${NOTIFY_URL:-http://192.168.1.10:8099}"
|
||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
|
||
|
||
mkdir -p "$(dirname "$LOG_FILE")"
|
||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||
|
||
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
|
||
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
|
||
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
|
||
export PGPASSWORD
|
||
|
||
# Единственный экземпляр
|
||
exec 9>/var/lock/update-runner.lock
|
||
flock -n 9 || exit 0
|
||
|
||
q() { # $1 = SQL, печатает результат
|
||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
|
||
}
|
||
|
||
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
|
||
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
|
||
# текст экранируется вручную и подставляется прямо в строку.
|
||
local txt="${3//\'/\'\'}"
|
||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
|
||
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
|
||
2>>"$LOG_FILE"
|
||
}
|
||
|
||
resolve_service() {
|
||
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
|
||
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
|
||
# затем ищем сервис, у которого этот контейнер указан в поле container.
|
||
local name="$1"
|
||
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
|
||
echo "$name"
|
||
return 0
|
||
fi
|
||
yq -r --arg c "$name" \
|
||
'.services | to_entries[] | select(.value.container == $c) | .key' \
|
||
"$SERVICES_FILE" 2>/dev/null | head -1
|
||
}
|
||
|
||
notify() { # $1 = текст сообщения
|
||
# Уведомления идут через ОБЩИЙ СЛОЙ: Matrix — основной канал,
|
||
# Telegram — зеркало. Раньше отсюда шли напрямую в Telegram, и в
|
||
# Matrix ничего не приходило, хотя весь смысл перевода был в этом.
|
||
local token
|
||
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
|
||
if [ -n "$token" ]; then
|
||
# Точка приёма понимает формат Telegram, прокси не нужен: она
|
||
# в локальной сети. Она же отправит зеркало в Telegram.
|
||
curl -s -m 25 -X POST \
|
||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||
--data-urlencode "text=$1" \
|
||
--data-urlencode "parse_mode=HTML" \
|
||
"${NOTIFY_URL}/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||
else
|
||
log "нет токена бота алертов — уведомление не отправлено"
|
||
fi
|
||
}
|
||
|
||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
|
||
#
|
||
# Две ловушки, на которых это уже ломалось:
|
||
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
|
||
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
|
||
# метки сначала запрашивается.
|
||
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
|
||
# успехе по нему нельзя — проверяется код ответа HTTP.
|
||
local token label_id body code num
|
||
token=$(cat /root/.gitea_api 2>/dev/null)
|
||
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
|
||
|
||
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
|
||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
|
||
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
|
||
|
||
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
|
||
"$1" "$2" "$3" "$4")
|
||
|
||
if [ -n "$label_id" ]; then
|
||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
|
||
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
|
||
else
|
||
log "метка sev:1 не найдена — задача будет создана без метки"
|
||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||
'{title:$t, body:$b}' > /tmp/update-issue.json
|
||
fi
|
||
|
||
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
|
||
-H "Authorization: token $token" \
|
||
-H 'Content-Type: application/json' \
|
||
--data-binary @/tmp/update-issue.json \
|
||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
|
||
|
||
if [ "$code" = "201" ]; then
|
||
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
|
||
log "создана задача в Gitea №${num} с меткой sev:1"
|
||
else
|
||
log "не удалось создать задачу в Gitea, код ответа ${code}"
|
||
fi
|
||
}
|
||
|
||
|
||
# --- Окно обновлений: первая суббота месяца, 03:00-07:00 МСК ----------------
|
||
# Раньше отложенные задачи переводились в "одобренные" каждую ночь в DEFER_HOUR,
|
||
# то есть вне согласованного окна. Теперь всё привязано к первой субботе.
|
||
# Аварийное применение вне окна: WINDOW_OVERRIDE=1 update-runner.sh
|
||
in_monthly_window() {
|
||
[ "${WINDOW_OVERRIDE:-0}" = "1" ] && return 0
|
||
local dow dom hour
|
||
dow=$(date +%u) # 1..7, суббота = 6
|
||
dom=$(date +%d)
|
||
hour=$(date +%H)
|
||
[ "$dow" = "6" ] || return 1
|
||
[ "$dom" -le 7 ] || return 1
|
||
[ "$hour" -ge 3 ] && [ "$hour" -lt 7 ]
|
||
}
|
||
|
||
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
|
||
if in_monthly_window && [ "$(date +%H)" = "$DEFER_HOUR" ]; then
|
||
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
|
||
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
|
||
# и давал десятки одинаковых записей в журнале.
|
||
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
|
||
WHERE status='deferred'
|
||
AND (decided_at IS NULL OR decided_at::date < current_date)
|
||
RETURNING id" | wc -l)
|
||
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
|
||
fi
|
||
|
||
# --- 2. Берём одну одобренную задачу ----------------------------------------
|
||
if ! in_monthly_window; then
|
||
exit 0
|
||
fi
|
||
|
||
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
|
||
FROM update_queue
|
||
WHERE status = 'approved'
|
||
ORDER BY decided_at NULLS LAST, id
|
||
LIMIT 1")
|
||
|
||
if [ -z "$row" ]; then
|
||
exit 0
|
||
fi
|
||
|
||
id="${row%%|*}"; rest="${row#*|}"
|
||
service="${rest%%|*}"; rest="${rest#*|}"
|
||
newver="${rest%%|*}"; ct="${rest#*|}"
|
||
|
||
log "взята задача $id: $service -> $newver (CT $ct)"
|
||
|
||
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
|
||
|
||
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
|
||
TARGET=$(resolve_service "$service")
|
||
|
||
# Замороженные сервисы: обновление запрещено до снятия метки в реестре.
|
||
if [ "$(yq -r ".services.${TARGET:-$service}.frozen // false" "$SERVICES_FILE")" = "true" ]; then
|
||
log "⏸ $TARGET заморожен — задача $id отменена"
|
||
q "UPDATE update_queue SET status='cancelled', finished_at=now(), result='frozen in registry' WHERE id=$id" >/dev/null
|
||
exit 0
|
||
fi
|
||
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
|
||
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
|
||
# Ищем по полю container в реестре.
|
||
if [ -z "$TARGET" ]; then
|
||
TARGET=$(awk -v c="$service" '
|
||
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
|
||
$1 == "container:" && $2 == c { print svc; exit }
|
||
' "$SERVICES_FILE")
|
||
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
|
||
fi
|
||
if [ -z "$TARGET" ]; then
|
||
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
|
||
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
|
||
log "не удалось сопоставить '$service' с реестром"
|
||
exit 1
|
||
fi
|
||
|
||
if [ "$TARGET" != "$service" ]; then
|
||
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
|
||
fi
|
||
|
||
if [ ! -x "$SAFE_UPDATE" ]; then
|
||
q_finish "$id" failed "не найден safe-update.sh"
|
||
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
|
||
log "нет $SAFE_UPDATE"
|
||
exit 1
|
||
fi
|
||
|
||
# --- 3. Выполняем -----------------------------------------------------------
|
||
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
|
||
rc=$?
|
||
|
||
if [ "$rc" -eq 0 ]; then
|
||
res=$(echo "$out" | tail -3 | tr '\n' ' ')
|
||
q_finish "$id" done "$res"
|
||
log "задача $id выполнена"
|
||
# Версию берём из вывода safe-update.sh: он её знает, но раньше
|
||
# никуда не записывал — поэтому в уведомлении было «обновлён до»
|
||
# без числа. Если версии нет, честно пишем «текущая».
|
||
if [ -z "$newver" ] && [ -n "${res:-}" ]; then
|
||
newver=$(printf '%s' "$res" | grep -oE 'обновлён: [^ ]+' | tail -1 | sed 's/обновлён: //')
|
||
fi
|
||
[ -n "$newver" ] && q "UPDATE update_queue SET new_version='$newver' WHERE id=$id" >/dev/null
|
||
notify "✅ <b>$service</b> обновлён до <code>${newver:-текущая версия}</code>"
|
||
else
|
||
res=$(echo "$out" | tail -6 | tr '\n' ' ')
|
||
q_finish "$id" failed "$res"
|
||
log "задача $id провалена"
|
||
create_rollback_issue "$service" "$newver" "$ct" "$res"
|
||
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
|
||
fi
|
||
|
||
exit 0
|