Files
buryan-infra/ops/update-manager/update-runner.sh.before-notify-fix
T
root 915de56603 Обновления из бота: реестр расширен с 28 до 50 служб
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.

НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
  adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
  mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
  nextcloud, duplicati (копии), firefly, paperless в CT 110,
  nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.

ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
   Правило жёсткое: адрес добавляется только если реально отвечает.
   Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
   и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
   ответили 401, я сначала убрал у них проверку — это было неправильно,
   401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
   метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
   имени службы — то есть пересоздавал весь проект вместе с соседями.
   Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
   бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
   по container_name. Проверено на homeassistant.

ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
  служб в реестре: 50, полностью обновляемы: 49.

ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
  * openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
    решения владельца;
  * duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
    скрипт скачает образ, но пересоздать контейнер не сможет и скажет
    об этом прямо, а не изобразит успех;
  * mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
  * 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.

МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.

РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
2026-10-17 12:36:43 +03:00

207 lines
11 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
# и давал десятки одинаковых записей в журнале.
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred'
AND (decided_at IS NULL OR decided_at::date < current_date)
RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
# Ищем по полю container в реестре.
if [ -z "$TARGET" ]; then
TARGET=$(awk -v c="$service" '
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
$1 == "container:" && $2 == c { print svc; exit }
' "$SERVICES_FILE")
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
fi
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
create_rollback_issue "$service" "$newver" "$ct" "$res"
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
fi
exit 0