Files
buryan-infra/ops/update-manager/update-runner.sh
T

146 lines
6.7 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred' RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
notify "🚨 <b>$service</b> — обновление не удалось, выполняется откат. Журнал: <code>$LOG_FILE</code>"
fi
exit 0