Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.
НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
nextcloud, duplicati (копии), firefly, paperless в CT 110,
nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.
ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
Правило жёсткое: адрес добавляется только если реально отвечает.
Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
ответили 401, я сначала убрал у них проверку — это было неправильно,
401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
имени службы — то есть пересоздавал весь проект вместе с соседями.
Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
по container_name. Проверено на homeassistant.
ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
служб в реестре: 50, полностью обновляемы: 49.
ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
* openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
решения владельца;
* duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
скрипт скачает образ, но пересоздать контейнер не сможет и скажет
об этом прямо, а не изобразит успех;
* mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
* 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.
МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.
РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
192 lines
9.6 KiB
Bash
Executable File
192 lines
9.6 KiB
Bash
Executable File
#!/bin/bash
|
||
# ============================================================
|
||
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
|
||
# ============================================================
|
||
# Запускается по расписанию раз в минуту на pve.
|
||
#
|
||
# Что делает:
|
||
# 1. В 03:xx переводит отложенные задачи в одобренные.
|
||
# 2. Забирает одну одобренную задачу из update_queue.
|
||
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
|
||
# 4. Записывает результат и уведомляет в Telegram.
|
||
#
|
||
# Одновременно выполняется только одна задача: параллельные обновления
|
||
# двух сервисов на одном хосте мешают друг другу и портят измерения
|
||
# healthcheck. Блокировка flock защищает от наложения запусков.
|
||
#
|
||
# Результат пишется в базу, поэтому историю видно без разбора журналов.
|
||
# ============================================================
|
||
set -uo pipefail
|
||
|
||
REPO_ROOT="/root/buryan-infra"
|
||
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
|
||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
|
||
|
||
PG_HOST="${PG_HOST:-192.168.1.151}"
|
||
PG_DB="${PG_DB:-buryan_monitoring}"
|
||
PG_USER="${PG_USER:-buryan_monitor}"
|
||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
|
||
|
||
mkdir -p "$(dirname "$LOG_FILE")"
|
||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||
|
||
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
|
||
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
|
||
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
|
||
export PGPASSWORD
|
||
|
||
# Единственный экземпляр
|
||
exec 9>/var/lock/update-runner.lock
|
||
flock -n 9 || exit 0
|
||
|
||
q() { # $1 = SQL, печатает результат
|
||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
|
||
}
|
||
|
||
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
|
||
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
|
||
# текст экранируется вручную и подставляется прямо в строку.
|
||
local txt="${3//\'/\'\'}"
|
||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
|
||
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
|
||
2>>"$LOG_FILE"
|
||
}
|
||
|
||
resolve_service() {
|
||
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
|
||
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
|
||
# затем ищем сервис, у которого этот контейнер указан в поле container.
|
||
local name="$1"
|
||
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
|
||
echo "$name"
|
||
return 0
|
||
fi
|
||
yq -r --arg c "$name" \
|
||
'.services | to_entries[] | select(.value.container == $c) | .key' \
|
||
"$SERVICES_FILE" 2>/dev/null | head -1
|
||
}
|
||
|
||
notify() { # $1 = текст сообщения
|
||
local token
|
||
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
|
||
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
|
||
curl -s -m 25 -x "$TG_PROXY" -X POST \
|
||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||
--data-urlencode "text=$1" \
|
||
--data-urlencode "parse_mode=HTML" \
|
||
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||
}
|
||
|
||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
|
||
#
|
||
# Две ловушки, на которых это уже ломалось:
|
||
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
|
||
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
|
||
# метки сначала запрашивается.
|
||
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
|
||
# успехе по нему нельзя — проверяется код ответа HTTP.
|
||
local token label_id body code num
|
||
token=$(cat /root/.gitea_api 2>/dev/null)
|
||
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
|
||
|
||
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
|
||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
|
||
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
|
||
|
||
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
|
||
"$1" "$2" "$3" "$4")
|
||
|
||
if [ -n "$label_id" ]; then
|
||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
|
||
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
|
||
else
|
||
log "метка sev:1 не найдена — задача будет создана без метки"
|
||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||
'{title:$t, body:$b}' > /tmp/update-issue.json
|
||
fi
|
||
|
||
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
|
||
-H "Authorization: token $token" \
|
||
-H 'Content-Type: application/json' \
|
||
--data-binary @/tmp/update-issue.json \
|
||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
|
||
|
||
if [ "$code" = "201" ]; then
|
||
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
|
||
log "создана задача в Gitea №${num} с меткой sev:1"
|
||
else
|
||
log "не удалось создать задачу в Gitea, код ответа ${code}"
|
||
fi
|
||
}
|
||
|
||
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
|
||
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
|
||
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
|
||
WHERE status='deferred' RETURNING id" | wc -l)
|
||
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
|
||
fi
|
||
|
||
# --- 2. Берём одну одобренную задачу ----------------------------------------
|
||
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
|
||
FROM update_queue
|
||
WHERE status = 'approved'
|
||
ORDER BY decided_at NULLS LAST, id
|
||
LIMIT 1")
|
||
|
||
if [ -z "$row" ]; then
|
||
exit 0
|
||
fi
|
||
|
||
id="${row%%|*}"; rest="${row#*|}"
|
||
service="${rest%%|*}"; rest="${rest#*|}"
|
||
newver="${rest%%|*}"; ct="${rest#*|}"
|
||
|
||
log "взята задача $id: $service -> $newver (CT $ct)"
|
||
|
||
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
|
||
|
||
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
|
||
TARGET=$(resolve_service "$service")
|
||
if [ -z "$TARGET" ]; then
|
||
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
|
||
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
|
||
log "не удалось сопоставить '$service' с реестром"
|
||
exit 1
|
||
fi
|
||
|
||
if [ "$TARGET" != "$service" ]; then
|
||
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
|
||
fi
|
||
|
||
if [ ! -x "$SAFE_UPDATE" ]; then
|
||
q_finish "$id" failed "не найден safe-update.sh"
|
||
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
|
||
log "нет $SAFE_UPDATE"
|
||
exit 1
|
||
fi
|
||
|
||
# --- 3. Выполняем -----------------------------------------------------------
|
||
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
|
||
rc=$?
|
||
|
||
if [ "$rc" -eq 0 ]; then
|
||
res=$(echo "$out" | tail -3 | tr '\n' ' ')
|
||
q_finish "$id" done "$res"
|
||
log "задача $id выполнена"
|
||
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
|
||
else
|
||
res=$(echo "$out" | tail -6 | tr '\n' ' ')
|
||
q_finish "$id" failed "$res"
|
||
log "задача $id провалена"
|
||
create_rollback_issue "$service" "$newver" "$ct" "$res"
|
||
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
|
||
fi
|
||
|
||
exit 0
|