Files
buryan-infra/ops/update-manager/update-runner.sh
T

143 lines
6.7 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_set() { # $1 = значение результата, $2 = SQL с :'res'
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -v res="$1" -tAc "$2" 2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred' RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
if [ -z "$TARGET" ]; then
q_set "сервис '$service' не найден в реестре $SERVICES_FILE" \
"UPDATE update_queue SET status='failed', finished_at=now(), result=:'res' WHERE id=$id" >/dev/null
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_set "не найден safe-update.sh" \
"UPDATE update_queue SET status='failed', finished_at=now(), result=:'res' WHERE id=$id" >/dev/null
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_set "$res" "UPDATE update_queue SET status='done', finished_at=now(), result=:'res' WHERE id=$id" >/dev/null
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_set "$res" "UPDATE update_queue SET status='failed', finished_at=now(), result=:'res' WHERE id=$id" >/dev/null
log "задача $id провалена"
notify "🚨 <b>$service</b> — обновление не удалось, выполняется откат. Журнал: <code>$LOG_FILE</code>"
fi
exit 0