diff --git a/ops/ops/UPDATES-2026-11-07.md b/ops/ops/UPDATES-2026-11-07.md new file mode 100644 index 0000000..ba1e013 --- /dev/null +++ b/ops/ops/UPDATES-2026-11-07.md @@ -0,0 +1,73 @@ +# Окно обновлений — 7 ноября 2026 (суббота, 03:00–07:00 МСК) + +Подготовлено 28.10.2026 на основе `/var/lib/hub-agents/update-plan.md` +(26 образов, 6 групп). Первая суббота ноября 2026 — **7 ноября** (проверено +`date -d 2026-11-07`). + +## Как работает механизм + +`update-runner.sh` в cron **каждую минуту** забирает из очереди +`update_queue` (Postgres `buryan_monitoring`) **только одобренные** задачи. +Сам ничего не одобряет. Значит окно = момент, когда владелец одобряет задачи. + +Отсюда правило: до окна очередь должна быть пуста, иначе раннер начнёт +применять обновления в произвольный момент. + +## Предполётная проверка (запустить в пятницу вечером и в 02:50 в субботу) + +```bash +bash ops/update-manager/pre-update-check.sh +``` + +Скрипт проверяет: место на дисках (порог 85%), свежесть бэкапов (дампы, +конфиги, БД — не старше 30 ч), пустоту очереди обновлений, где невозможны +снапшоты, состояние хаба, Prometheus и Kuma. Итог: `GO` (код 0) или `NO-GO`. +Хаб изредка не отвечает с первого раза — в проверке три попытки. + +## Группы и порядок + +| Группа | Что | Простой | Снапшот | +|---|---|---|---| +| 1. Агенты (12) | oauth2-proxy в 12 CT, promtail | нет | доступен в этих CT | +| 2. Интерфейсы (1) | portainer (хост) | секунды | — | +| 3. Медиа (6) | jellyfin, mealie, freshrss, audiobookshelf, bazarr, seerr | 5–15 мин | частично (есть bind-монтирования) | +| 4. Прикладные (5) | netbox, home-assistant, node-red, dozzle, plex | 5–10 мин | частично | +| 5. Инфраструктура | см. план | — | — | +| 6. Вручную (2) | paperless-ngx, grafana | по обстоятельствам | с бэкапом БД | + +## Порядок в окне + +1. **02:50** — `pre-update-check.sh` → должно быть GO. +2. **03:00** — группа 1: для каждого CT `pct snapshot pre-update`, + затем одобрение задачи в очереди, ожидание `docker ps` + HTTP-проверка. +3. Между группами — снова проверка: `pct status`, `docker ps`, + `curl -s http://127.0.0.1:9120/status.json`, Kuma. +4. Группы 3 и 4 — по одному сервису, а не пачкой: проще откатить. +5. Группа 6 — **не автоматически**: сначала `vzdump` контейнера и дамп БД, + потом чтение changelog, потом обновление. + +## Откат + +```bash +pct rollback pre-update && pct start +pct exec -- docker start <контейнеры> +``` + +Для CT без снапшотов (103, 105, 109, 111, 117, 118, 120, 123, 125, 126, 155, 160): +`vzdump --storage /mnt/archive/backups/dump` перед группой, либо +копия `/etc/pve/lxc/.conf` и откат образом. + +## После окна + +1. `pre-update-check.sh` снова → GO. +2. Проверить вручную: вход в Matrix (Element), боты, Home Assistant, + Jellyfin, вход в Gitea, статус в Kuma. +3. Записать итог: `ops/ops/UPDATES-2026-11-07.md` — что обновилось, что + откатилось, какие ловушки поймали. Коммит в репозиторий. + +## Что важно не забыть + +* Уведомить семью: 03:00–07:00 сервисы могут быть недоступны волнами. +* Алерты в это время будут шуметь — предупредить Hermes (или принять шум). +* Ключ Jellyfin для Jellystat и импорт Vaultwarden — шаги владельца, к окну + отношения не имеют, но лучше закрыть до. diff --git a/ops/update-manager/pre-update-check.sh b/ops/update-manager/pre-update-check.sh new file mode 100755 index 0000000..1120a13 --- /dev/null +++ b/ops/update-manager/pre-update-check.sh @@ -0,0 +1,74 @@ +#!/bin/bash +# Предполётная проверка перед окном обновлений. +# Запуск: bash pre-update-check.sh +# Код возврата: 0 — GO, 1 — есть блокирующие проблемы. +set -uo pipefail + +FAIL=0 +ok() { printf " \033[32mOK\033[0m %s\n" "$1"; } +warn() { printf " \033[33mWARN\033[0m %s\n" "$1"; } +bad() { printf " \033[31mFAIL\033[0m %s\n" "$1"; FAIL=$((FAIL+1)); } + +echo "=== 1. Место на дисках ===" +for m in / /mnt/media /mnt/archive; do + use=$(df --output=pcent "$m" | tail -1 | tr -d ' %') + if [ "$use" -ge 85 ]; then bad "$m занят ${use}%"; else ok "$m занят ${use}%"; fi +done + +echo "=== 2. Свежесть бэкапов (сутки) ===" +check_age() { # $1 описание, $2 glob + f=$(ls -t $2 2>/dev/null | head -1) + if [ -z "$f" ]; then bad "$1: файлов нет"; return; fi + age=$(( ( $(date +%s) - $(stat -c %Y "$f") ) / 3600 )) + if [ "$age" -le 30 ]; then ok "$1: ${age} ч, $(basename "$f")"; else bad "$1: ${age} ч — старше суток"; fi +} +check_age "дампы CT" "/mnt/archive/backups/dump/*.tar.zst" +check_age "конфиги" "/mnt/archive/backups/configs/*.tar.gz" +check_age "дампы БД" "/mnt/archive/backups/db/*.gz" + +echo "=== 3. Очередь обновлений ===" +set -a; . /root/.buryan-monitor.env 2>/dev/null; set +a +pending=$(psql -h 192.168.1.151 -U buryan_monitor -d buryan_monitoring -t -A \ + -c "select count(*) from update_queue where status in ('pending','approved','running')" 2>/dev/null) +if [ -z "$pending" ]; then + warn "не достучался до очереди обновлений" +elif [ "$pending" -gt 0 ]; then + warn "в очереди активных задач: $pending (раннер применит их в окне)" +else + ok "очередь пуста" +fi + +echo "=== 4. Снапшоты: где невозможны ===" +nosnap="" +for ct in $(pct list | awk 'NR>1{print $1}'); do + if pct config "$ct" 2>/dev/null | grep -qE "^mp[0-9]+:"; then nosnap="$nosnap $ct"; fi +done +if [ -n "$nosnap" ]; then warn "снапшот недоступен:$nosnap → делать vzdump или копию конфига"; else ok "снапшоты доступны везде"; fi + +echo "=== 5. Хаб и наблюдаемость ===" +# хаб изредка не отвечает с первого раза (наблюдали 3 раза за день) — пробуем трижды +up="" +for attempt in 1 2 3; do + curl -s --max-time 15 http://127.0.0.1:9120/status.json -o /tmp/puc.json 2>/dev/null + up=$(python3 -c "import json;d=json.load(open('/tmp/puc.json'));print(d.get('up'))" 2>/dev/null || echo "") + [ -n "$up" ] && break + sleep 2 +done +total=$(python3 -c "import json;d=json.load(open('/tmp/puc.json'));print(d.get('total'))" 2>/dev/null || echo "") +if [ -z "$up" ]; then bad "хаб не отдал /status.json"; elif [ "$up" = "$total" ]; then ok "хаб: $up/$total"; else bad "хаб: $up/$total"; fi + +down=$(curl -s --max-time 10 'http://192.168.1.134:9090/api/v1/targets?state=active' \ + | python3 -c "import json,sys;d=json.load(sys.stdin);t=d['data']['activeTargets'];print(len([x for x in t if x['health']!='up']))" 2>/dev/null || echo "") +[ -z "$down" ] && warn "prometheus не ответил" || { [ "$down" = "0" ] && ok "prometheus: 0 не up" || bad "prometheus: $down не up"; } + +kd=$(curl -s --max-time 10 http://192.168.1.107:3010/metrics | grep -E "^kuma_monitors_down" | awk '{print $2}') +[ -z "$kd" ] && warn "kuma не ответила" || { [ "$kd" = "0" ] && ok "kuma: 0 down" || bad "kuma: $kd down"; } + +echo +if [ "$FAIL" -eq 0 ]; then + echo "ИТОГ: GO — блокирующих проблем нет" + exit 0 +else + echo "ИТОГ: NO-GO — проблем: $FAIL" + exit 1 +fi