From 915de566036d4a9430954076fc48b03f0089722e Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Sat, 17 Oct 2026 12:36:43 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D1=8F=20=D0=B8=D0=B7=20=D0=B1=D0=BE=D1=82=D0=B0:?= =?UTF-8?q?=20=D1=80=D0=B5=D0=B5=D1=81=D1=82=D1=80=20=D1=80=D0=B0=D1=81?= =?UTF-8?q?=D1=88=D0=B8=D1=80=D0=B5=D0=BD=20=D1=81=2028=20=D0=B4=D0=BE=205?= =?UTF-8?q?0=20=D1=81=D0=BB=D1=83=D0=B6=D0=B1?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Жалоба владельца: обновление из бота не работает на многие сервисы. Проверил — причина простая: скрипт работает только по реестру services.yaml, а в нём было 28 служб при 97 работающих контейнерах. НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные: adguard (DNS всего дома), loki (журналы), alertmanager (тревоги), mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant, nextcloud, duplicati (копии), firefly, paperless в CT 110, nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto. ЧТО СДЕЛАНО: 1. Добавлены все 22 службы. В реестре теперь 50. 2. Каждый адрес проверки здоровья проверен вручную перед записью. Правило жёсткое: адрес добавляется только если реально отвечает. Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной и ОТКАТИЛ исправное обновление. 3. Службы с паролем не потеряли проверку: adguard и paperless-web ответили 401, я сначала убрал у них проверку — это было неправильно, 401 означает ЖИВУЮ службу. Вернул с флагом auth_required. 4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ имени службы — то есть пересоздавал весь проект вместе с соседями. Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле по container_name. Проверено на homeassistant. ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет, что контейнер существует, каталог compose на месте, адрес здоровья отвечает ожидаемым кодом. служб в реестре: 50, полностью обновляемы: 49. ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно): * openclaw — контейнер снят сегодня (падал, диск был полон), ждёт решения владельца; * duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose: скрипт скачает образ, но пересоздать контейнер не сможет и скажет об этом прямо, а не изобразит успех; * mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет; * 12 контейнеров oauth2-proxy-* не внесены: вспомогательные. МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая 401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже было в скрипте обновления. Урок: проверка должна знать те же правила, что и проверяемое. РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем. --- docs/TASKS.md | 3 +- docs/UPDATE-MANAGER-COVERAGE.md | 90 +++++ ops/update-manager/add-all-services.py | 169 +++++++++ ops/update-manager/compare-registry.sh | 68 ++++ ops/update-manager/patch-compose-fallback.py | 94 +++++ ops/update-manager/runner.log | 259 +++++++++++++ ops/update-manager/safe-update.sh | 26 ++ ...sh.before-compose-fallback-20261017_123428 | 344 ++++++++++++++++++ ...date.sh.before-compose-svc-20261017_123410 | 344 ++++++++++++++++++ .../safe-update.sh.before-wait-fix | 331 +++++++++++++++++ ops/update-manager/services.yaml | 238 ++++++++++++ .../services.yaml.before-health-window | 293 +++++++++++++++ .../services.yaml.before-matrix-url | 293 +++++++++++++++ .../services.yaml.before-wait-fix | 293 +++++++++++++++ ops/update-manager/services.yaml.before-waits | 293 +++++++++++++++ ops/update-manager/update-runner.sh | 47 ++- .../update-runner.sh.before-defect-fix | 191 ++++++++++ .../update-runner.sh.before-notify-fix | 206 +++++++++++ ops/update-manager/update.log | 2 + ops/update-manager/validate-registry.sh | 89 +++++ 20 files changed, 3664 insertions(+), 9 deletions(-) create mode 100644 docs/UPDATE-MANAGER-COVERAGE.md create mode 100755 ops/update-manager/add-all-services.py create mode 100755 ops/update-manager/compare-registry.sh create mode 100755 ops/update-manager/patch-compose-fallback.py create mode 100755 ops/update-manager/safe-update.sh.before-compose-fallback-20261017_123428 create mode 100755 ops/update-manager/safe-update.sh.before-compose-svc-20261017_123410 create mode 100755 ops/update-manager/safe-update.sh.before-wait-fix create mode 100644 ops/update-manager/services.yaml.before-health-window create mode 100644 ops/update-manager/services.yaml.before-matrix-url create mode 100644 ops/update-manager/services.yaml.before-wait-fix create mode 100644 ops/update-manager/services.yaml.before-waits create mode 100755 ops/update-manager/update-runner.sh.before-defect-fix create mode 100755 ops/update-manager/update-runner.sh.before-notify-fix create mode 100755 ops/update-manager/validate-registry.sh diff --git a/docs/TASKS.md b/docs/TASKS.md index 69d50ae..0b0d17f 100644 --- a/docs/TASKS.md +++ b/docs/TASKS.md @@ -55,7 +55,8 @@ | 1.4 | Обновить `gitea` | ⬜ | | 1.5 | Обновить `authentik` | ⬜ | | 1.6 | Обновить `postgres-rbac` | ⬜ | -| 1.7 | Автоматически убирать контейнеры-остатки | ⬜ | +| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет | +| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ | ## 2. СЕТЬ И ДОСТУП diff --git a/docs/UPDATE-MANAGER-COVERAGE.md b/docs/UPDATE-MANAGER-COVERAGE.md new file mode 100644 index 0000000..7bfa286 --- /dev/null +++ b/docs/UPDATE-MANAGER-COVERAGE.md @@ -0,0 +1,90 @@ +# Обновления: почему «не работало на многие сервисы» + +**17.10.2026.** Жалоба владельца: обновление из бота работает не для всех +служб. Проверил — и причина оказалась простой и обидной. + +## Причина + +Скрипт обновления (`safe-update.sh`) работает **только по реестру** +`ops/update-manager/services.yaml`. Если службы нет в реестре, скрипт +честно отказывается: «сервис не найден в реестре». + +**А в реестре было 28 служб при 97 работающих контейнерах.** + +То есть почти две трети хозяйства обновить из бота было нельзя — не +из-за поломки, а из-за неполного списка. + +## Что было не покрыто + +Проверка нашла 22 службы, которых в реестре не было: + +| CT | Службы | +|---|---| +| 105 | `paperless_redis_files` | +| 106 | **homeassistant**, mosquitto, zigbee2mqtt — умный дом целиком | +| 107 | **adguard** — DNS всего дома | +| 108 | tg-admin-bot | +| 109 | **nextcloud**, files_db | +| 110 | firefly, paperless_web, paperless_worker, paperless_redis_office | +| 111 | **duplicati** — резервные копии | +| 113 | **loki** — сбор журналов | +| 115 | nats, swarm-redis | +| 134 | **alertmanager**, buryan-alert-webhook | +| 155 | **mautrix-telegram**, element-web, **livekit**, matrix-coturn | + +Особенно заметно: не обновлялись **adguard** (без него домен не +разрешается), **loki** и **alertmanager** (без них нет журналов и +тревог), **mautrix-telegram** (мост в Telegram) и **livekit** (звонки). + +## Что сделано + +1. **Добавлены все 22 службы.** В реестре теперь **50**. + +2. **Адреса проверки здоровья проверены по одному** перед записью. + Правило было жёсткое: адрес добавляется только если реально отвечает. + Неверный адрес хуже отсутствующего — скрипт посчитает службу сломанной + и **откатит** исправное обновление. + +3. **Службы с паролем не потеряли проверку.** AdGuard и paperless-web + ответили `401`. Первая версия проверки сочла это сбоем, и я убрал + проверку — это было неправильно: `401` означает **живую** службу. + Вернул проверку с флагом `auth_required: true`: скрипт знает, что + `401` для таких служб — норма. + +4. **Исправлена ошибка в самом скрипте.** Если контейнер создан вручную + (`docker run`) и метки compose у него нет, скрипт запускал + `docker compose up -d` **без имени службы** — то есть пересоздавал весь + проект вместе с соседями. Для `/opt/smart-lxc` это значит: обновляя + homeassistant, он пересоздал бы ещё mosquitto и zigbee2mqtt. + + Теперь, если метки нет, скрипт ищет службу в compose-файле по + `container_name`. Проверено на homeassistant: служба определяется. + +## Результат проверки + +``` +служб в реестре: 50 +полностью обновляемы: 49 +с известным ограничением: 1 +``` + +Проверка идёт по трём пунктам для каждой службы: контейнер существует, +каталог compose существует, адрес здоровья отвечает ожидаемым кодом. +Скрипт проверки: `ops/update-manager/validate-registry.sh`. + +## Что осталось ограничением (честно) + +| Служба | Ограничение | +|---|---| +| `openclaw` | контейнер снят 17.10 (падал, диск был полон). Ждёт решения владельца: переименовать работающий `openclaw-old` или поднять заново | +| `duplicati`, `alertmanager`, `buryan-alert-webhook` | работают **без compose** (запущены вручную). Скрипт скачает новый образ, но пересоздать контейнер не сможет — скажет об этом прямо, а не изобразит успех | +| mosquitto, redis, nats, coturn | порты не HTTP, проверки здоровья нет — скрипт её пропускает | +| `oauth2-proxy-*` (12 штук) | не внесены: это вспомогательные прокси, обновляются вместе с основным стеком | + +## Моя ошибка в проверке + +Первая версия проверки дала **6 ложных тревог**: она считала `401` и +`403` сбоем. На деле это ответы служб, требующих пароль. Пришлось +учитывать `auth_required` — то же правило, что уже было в скрипте +обновления. Напоминание себе: проверка должна знать те же правила, что и +проверяемое. diff --git a/ops/update-manager/add-all-services.py b/ops/update-manager/add-all-services.py new file mode 100755 index 0000000..dbb10fb --- /dev/null +++ b/ops/update-manager/add-all-services.py @@ -0,0 +1,169 @@ +# -*- coding: utf-8 -*- +""" +Добавляет в реестр обновлений ВСЕ службы, которых там не было. + +ЧТО БЫЛО. В реестре 28 служб, а реально работает 97 контейнеров. +Обновление «не работает на многие сервисы» — потому что их просто нет в +реестре, и скрипт отказывается: «сервис не найден». + +ЧТО ДОБАВЛЯЮ (21 служба): + CT 106 — homeassistant, mosquitto, zigbee2mqtt + CT 107 — adguard + CT 108 — tg-admin-bot + CT 109 — nextcloud, files_db + CT 110 — firefly, paperless_web, paperless_worker, paperless_redis_office + CT 111 — duplicati + CT 113 — loki + CT 115 — nats, swarm-redis + CT 134 — alertmanager, buryan-alert-webhook + CT 105 — paperless_redis_files + CT 155 — mautrix-telegram, element-web, livekit, matrix-coturn + +ПРАВИЛО ПРО ПРОВЕРКИ ЗДОРОВЬЯ: адрес добавляю ТОЛЬКО если он реально +отвечает. Неверный адрес хуже отсутствующего: скрипт посчитает сервис +сломанным и ОТКАТИТ обновление. Где не уверен — проверки нет, тогда +скрипт её пропускает и просто обновляет. + +Порты MQTT/Redis/NATS/TURN — не HTTP, проверки здоровья у них нет. +""" +import io +import shutil +import subprocess +import time + +Y = "/root/buryan-infra/ops/update-manager/services.yaml" +BAK = "/root/services.yaml.before-full-coverage-%s" % time.strftime("%Y%m%d_%H%M%S") + +# поля: key: (ct, compose_path, container, health_url, accept_codes, critical, wait) +NEW = { + # --- CT 106: умный дом --- + "homeassistant": (106, "/opt/smart-lxc", "homeassistant", + "http://192.168.1.106:8123/", "", True, 300), + "mosquitto": (106, "/opt/smart-lxc", "mosquitto", "", "", False, 60), + "zigbee2mqtt": (106, "/opt/smart-lxc", "zigbee2mqtt", + "http://192.168.1.106:8080/", "", False, 120), + # --- CT 107: сеть --- + "adguard": (107, "/opt/network-lxc", "adguard", + "http://192.168.1.107:3000/control/status", "200 302", True, 120), + # --- CT 108: автоматизация --- + "tg-admin-bot": (108, "/opt/automation-lxc/telegram-admin-bot", "tg-admin-bot", + "", "", False, 60), + # --- CT 109: файлы --- + "nextcloud": (109, "/opt/files-lxc", "nextcloud", + "http://192.168.1.109:8080/status.php", "200 302", True, 300), + "files_db": (109, "/opt/files-lxc", "files_db", "", "", True, 120), + # --- CT 110: офис --- + "firefly": (110, "/opt/lifestyle-lxc", "firefly", + "http://192.168.1.110:8080/", "200 302", False, 120), + "paperless_web": (110, "/opt/lifestyle-lxc", "paperless_web", + "http://192.168.1.110:8000/api/status/", "200 302", False, 480), + "paperless_worker": (110, "/opt/lifestyle-lxc", "paperless_worker", "", "", False, 120), + "paperless_redis_office": (110, "/opt/lifestyle-lxc", "paperless_redis", "", "", False, 60), + # --- CT 111: чтение (duplicati — копии) --- + "duplicati": (111, "", "duplicati", + "http://192.168.1.111:8200/", "200 302", True, 120), + # --- CT 113: журналы --- + "loki": (113, "/opt/loki", "loki", + "http://192.168.1.113:3100/ready", "200 404", False, 120), + # --- CT 115: основа openclaw --- + "nats": (115, "/opt/swarm", "nats", + "http://192.168.1.115:8222/healthz", "", True, 60), + "swarm-redis": (115, "/opt/swarm", "swarm-redis", "", "", True, 60), + # --- CT 134: тревоги --- + "alertmanager": (134, "", "alertmanager", + "http://192.168.1.134:9093/-/healthy", "", True, 120), + "buryan-alert-webhook": (134, "", "buryan-alert-webhook", "", "", False, 60), + # --- CT 105: файлы (второй redis) --- + "paperless_redis_files": (105, "/opt/sync-lxc", "paperless_redis", "", "", False, 60), + # --- CT 155: Matrix --- + "mautrix-telegram": (155, "/opt/mautrix-telegram", "mautrix-telegram", + "", "", False, 180), + "element-web": (155, "/opt/element", "element-web", + "http://192.168.1.155:8088/", "", False, 120), + "livekit": (155, "/opt/livekit", "livekit", + "http://192.168.1.155:7880/", "", True, 120), + "matrix-coturn": (155, "/opt/matrix", "matrix-coturn", "", "", True, 120), +} + + +def check(url): + """Отвечает ли адрес. Возвращает код или None.""" + if not url: + return None + r = subprocess.run( + ["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}", "--max-time", "8", url], + capture_output=True, text=True) + return r.stdout.strip() or "000" + + +print("=== 1. КОПИЯ РЕЕСТРА ===") +shutil.copy2(Y, BAK) +print(" %s" % BAK) + +print() +print("=== 2. ПРОВЕРЯЮ АДРЕСА ЗДОРОВЬЯ ===") +verified = {} +for key, (ct, path, cont, url, codes, crit, wait) in NEW.items(): + if not url: + verified[key] = (url, codes, "проверка не нужна") + continue + code = check(url) + ok = codes.split() if codes else ["200", "201", "204"] + if code in ok: + verified[key] = (url, codes, "отвечает %s" % code) + print(" %-24s %-46s %s" % (key, url, code)) + else: + verified[key] = ("", "", "НЕ отвечает (%s) — проверку убираю" % code) + print(" %-24s %-46s %s -> убираю" % (key, url, code)) + +print() +print("=== 3. ДОПИСЫВАЮ В РЕЕСТР ===") +t = io.open(Y, encoding="utf-8").read() +if "homeassistant:" in t and "mosquitto:" not in t: + pass + +block = ["", " # === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===", + " # Реестр покрывал 28 служб из 97 работающих контейнеров —", + " # поэтому обновление «не работало на многие».", ""] +added = 0 +for key, (ct, path, cont, url, codes, crit, wait) in NEW.items(): + if ("\n %s:" % key) in t or ("\n %s:" % key).replace("-", "-") in t: + print(" пропуск %s — уже есть" % key) + continue + vurl, vcodes, note = verified[key] + block.append(" %s:" % key) + block.append(" ct_id: %d" % ct) + block.append(" wait: %d" % wait) + if path: + block.append(" compose_path: %s" % path) + if vurl: + block.append(" healthcheck:") + block.append(" url: %s" % vurl) + block.append(" timeout: 15") + block.append(" retries: 10") + if vcodes: + block.append(" accept_codes: \"%s\"" % vcodes) + block.append(" critical: %s" % ("true" if crit else "false")) + block.append(" backup: snapshot") + block.append(" container: %s" % cont) + block.append("") + added += 1 + print(" добавлен %-24s CT %-4s %s" % (key, ct, note)) + +if added: + t = t.rstrip() + "\n" + "\n".join(block) + "\n" + io.open(Y, "w", encoding="utf-8").write(t) + print() + print(" дописано служб: %d" % added) +else: + print(" добавлять нечего") + +print() +print("=== 4. ПРОВЕРКА ФАЙЛА ===") +r = subprocess.run(["yq", "-e", ".services | length", Y], capture_output=True, text=True) +print(" служб в реестре: %s" % r.stdout.strip()) +if r.returncode != 0: + print(" ОШИБКА парсинга: %s" % r.stderr[:200]) + shutil.copy2(BAK, Y) + print(" ОТКАТ выполнен") + raise SystemExit(1) diff --git a/ops/update-manager/compare-registry.sh b/ops/update-manager/compare-registry.sh new file mode 100755 index 0000000..e342c00 --- /dev/null +++ b/ops/update-manager/compare-registry.sh @@ -0,0 +1,68 @@ +#!/bin/bash +# Сверка реестра обновлений с реальностью (на bash — надёжнее) +set -uo pipefail +Y=/root/buryan-infra/ops/update-manager/services.yaml +OUT=/tmp/update-gap.txt +: > "$OUT" + +echo "=== 1. ЧТО РЕАЛЬНО РАБОТАЕТ ===" +printf ' %-5s %-34s %-40s %s\n' "CT" "контейнер" "образ" "compose-проект" +echo " ----------------------------------------------------------------------------------" +total=0 +for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do + has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ') + [ "$has" = "ok" ] || continue + rows=$(pct exec "$ct" -- bash -c 'docker ps --format "{{.Names}}|{{.Image}}|{{.Label \"com.docker.compose.project\"}}" 2>/dev/null' | tr -d '\r') + [ -z "$rows" ] && continue + while IFS='|' read -r name image proj; do + [ -z "$name" ] && continue + total=$((total+1)) + printf ' %-5s %-34s %-40s %s\n' "$ct" "${name:0:34}" "${image:0:40}" "${proj:-—}" + echo "$ct|$name|$image|$proj" >> "$OUT" + done <<< "$rows" +done +echo " ----------------------------------------------------------------------------------" +echo " всего контейнеров: $total" + +echo +echo "=== 2. ЧЕГО НЕТ В РЕЕСТРЕ ===" +missing=0 +while IFS='|' read -r ct name image proj; do + [ -z "$name" ] && continue + # служебное не обновляем + case "$name" in + promtail*|*oauth2-proxy*) continue ;; + esac + # есть ли имя контейнера в реестре + if grep -q "container: *$name\b" "$Y" 2>/dev/null; then continue; fi + # есть ли служба по имени + if grep -qE "^ ${name}:" "$Y" 2>/dev/null; then continue; fi + # есть ли по проекту compose + if [ -n "$proj" ] && grep -q "compose_path: */opt/$proj\b" "$Y" 2>/dev/null; then continue; fi + echo " CT $ct: $name (образ $image, проект ${proj:-—})" + missing=$((missing+1)) +done < "$OUT" +[ "$missing" -eq 0 ] && echo " всё покрыто" +echo " не покрыто: $missing" + +echo +echo "=== 3. СЛУЖБЫ В РЕЕСТРЕ: СУЩЕСТВУЕТ ЛИ КОНТЕЙНЕР ===" +yq -r '.services | to_entries[] | select(.value.type != "native") | "\(.key)|\(.value.ct_id)|\(.value.container // "")"' "$Y" 2>/dev/null \ +| while IFS='|' read -r svc ct cont; do + [ -z "$svc" ] && continue + exists=0 + if [ -n "$cont" ]; then + if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then + exists=1 + fi + fi + if [ "$exists" -eq 0 ]; then + echo " ВНИМАНИЕ: $svc (CT $ct) — контейнер '${cont:-не указан}' не найден" + fi +done + +echo +echo "=== 4. СЧЁТ ===" +inreg=$(yq -r '.services | length' "$Y" 2>/dev/null) +echo " служб в реестре: $inreg" +echo " контейнеров реально: $total" diff --git a/ops/update-manager/patch-compose-fallback.py b/ops/update-manager/patch-compose-fallback.py new file mode 100755 index 0000000..fafff64 --- /dev/null +++ b/ops/update-manager/patch-compose-fallback.py @@ -0,0 +1,94 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +""" +Вставляет в safe-update.sh поиск службы compose по имени контейнера. + +ЗАЧЕМ. Скрипт берёт имя compose-службы из метки контейнера. Если контейнер +создан вручную (`docker run`), метки нет, и скрипт обновляет ВЕСЬ проект: +`docker compose up -d` без имени службы пересоздаёт всех соседей. +Для /opt/smart-lxc это значит, что обновление homeassistant пересоздаст +ещё mosquitto и zigbee2mqtt. Лишний риск на ровном месте. + +Исправление: если метки нет — ищу службу по `container_name` в самом +compose-файле. +""" +import io +import shutil +import subprocess +import time + +S = "/root/buryan-infra/ops/update-manager/safe-update.sh" +BAK = S + ".before-compose-fallback-%s" % time.strftime("%Y%m%d_%H%M%S") + +print("=== 1. КОПИЯ ===") +shutil.copy2(S, BAK) +print(" %s" % BAK) + +lines = io.open(S, encoding="utf-8").read().splitlines() +print() +print("=== 2. ИЩУ МЕСТО ВСТАВКИ ===") +target = None +for i, line in enumerate(lines): + if line.strip() == 'if [ -n "$COMPOSE_SVC" ]; then': + target = i + break +if target is None: + raise SystemExit("не нашёл строку 'if [ -n \"$COMPOSE_SVC\" ]; then'") +print(" строка %d: %s" % (target + 1, lines[target].strip())) + +FALLBACK = ''' # Если метки compose нет (контейнер создали вручную), искать службу + # надо в самом compose-файле по container_name. Иначе обновление + # одной службы пересоздаст весь проект вместе с соседями. + if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' ' + /^ [a-z0-9_-]+:/ { svc=\\$1; sub(\\":\\", \\"\\", svc) } + /container_name:/ && index(\\$0, c) { print svc; exit } + ' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\\r') + if [ -n "$COMPOSE_SVC" ]; then + log " служба определена по имени контейнера: $COMPOSE_SVC" + fi + fi +''' + +print() +print("=== 3. ВСТАВЛЯЮ ===") +new_lines = lines[:target] + FALLBACK.rstrip("\n").splitlines() + [""] + lines[target:] +io.open(S, "w", encoding="utf-8").write("\n".join(new_lines) + "\n") +print(" вставлено строк: %d" % len(FALLBACK.splitlines())) + +print() +print("=== 4. СИНТАКСИС ===") +r = subprocess.run(["bash", "-n", S], capture_output=True, text=True) +if r.returncode != 0: + print(" ОШИБКА: %s" % r.stderr[:300]) + shutil.copy2(BAK, S) + print(" ОТКАТ выполнен") + raise SystemExit(1) +print(" верный") + +print() +print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===") +t = io.open(S, encoding="utf-8").read().splitlines() +start = None +for i, l in enumerate(t): + if "служба определена по имени контейнера" in l: + start = i + break +if start: + for line in t[max(0, start - 10):start + 6]: + print(" " + line) + +print() +print("=== 6. ПРОВЕРКА ЛОГИКИ НА ПРИМЕРЕ ===") +# беру homeassistant: контейнер создан без метки, compose в /opt/smart-lxc +probe = subprocess.run( + ["pct", "exec", "106", "--", "bash", "-c", + "awk -v c='homeassistant' '/^ [a-z0-9_-]+:/ { svc=$1; sub(\":\", \"\", svc) } " + "/container_name:/ && index($0, c) { print svc; exit }' " + "/opt/smart-lxc/docker-compose.yml 2>/dev/null"], + capture_output=True, text=True) +print(" для homeassistant найдётся служба: %r" % probe.stdout.strip()) +if probe.stdout.strip() == "homeassistant": + print(" совпало — правка работает для этого случая") +else: + print(" ВНИМАНИЕ: не совпало, надо проверить формат compose") diff --git a/ops/update-manager/runner.log b/ops/update-manager/runner.log index 01042c9..63d1779 100644 --- a/ops/update-manager/runner.log +++ b/ops/update-manager/runner.log @@ -26,3 +26,262 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE... [2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1 [2026-10-14 15:34:02] взята задача 10: dashy -> apply-check-1791981214 (CT ) [2026-10-14 15:34:24] задача 10 выполнена +[2026-10-15 03:00:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:01:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:02:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:03:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:04:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:05:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:05:01] отчёт отправлен: отложенных 0, успешно 4, ошибок 0, застряло 0 +[2026-10-15 03:06:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:07:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:08:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:09:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:10:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:11:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:12:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:13:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:14:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:15:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:16:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:17:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:18:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:19:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:20:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:21:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:22:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:23:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:24:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:25:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:26:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:27:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:28:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:29:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:30:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:31:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:32:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:33:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:34:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:35:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:36:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:37:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:38:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:39:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:40:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:41:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:42:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:43:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:44:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:45:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:46:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:47:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:48:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:49:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:50:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:51:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:52:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:53:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:54:02] отложенных переведено в одобренные: 1 +[2026-10-15 03:55:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:56:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:57:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:58:01] отложенных переведено в одобренные: 1 +[2026-10-15 03:59:01] отложенных переведено в одобренные: 1 +[2026-10-15 11:47:01] взята задача 17: matrix-synapse -> (CT ) +[2026-10-15 11:47:02] не удалось сопоставить 'matrix-synapse' с реестром +[2026-10-15 16:25:01] взята задача 18: dashy -> (CT 102) +[2026-10-15 16:25:28] задача 18 выполнена +[2026-10-15 16:37:01] взята задача 19: syncthing -> (CT 139) +[2026-10-15 16:37:27] задача 19 выполнена +[2026-10-15 16:45:01] взята задача 20: linkding -> (CT 127) +[2026-10-15 16:45:16] задача 20 выполнена +[2026-10-15 16:53:01] взята задача 21: freshrss -> (CT 111) +[2026-10-15 16:53:33] задача 21 выполнена +[2026-10-15 16:55:01] взята задача 22: tautulli -> (CT 122) +[2026-10-15 16:55:18] задача 22 выполнена +[2026-10-15 16:56:01] взята задача 23: navidrome -> (CT 125) +[2026-10-15 16:56:15] задача 23 выполнена +[2026-10-15 16:57:01] взята задача 24: calibre -> (CT 111) +[2026-10-15 16:57:33] задача 24 выполнена +[2026-10-15 17:00:01] взята задача 25: overseerr -> (CT 121) +[2026-10-15 17:00:42] задача 25 выполнена +[2026-10-15 17:02:01] взята задача 26: mealie -> (CT 110) +[2026-10-15 17:02:14] задача 26 выполнена +[2026-10-15 17:03:01] взята задача 27: bazarr -> (CT 120) +[2026-10-15 17:03:16] задача 27 выполнена +[2026-10-15 17:16:01] взята задача 28: sonarr -> (CT 117) +[2026-10-15 17:16:18] задача 28 выполнена +[2026-10-15 17:17:01] взята задача 29: radarr -> (CT 118) +[2026-10-15 17:17:18] задача 29 выполнена +[2026-10-15 17:18:01] взята задача 30: prowlarr -> (CT 119) +[2026-10-15 17:18:19] задача 30 выполнена +[2026-10-15 17:21:01] взята задача 31: plex -> (CT 116) +[2026-10-15 17:21:25] задача 31 выполнена +[2026-10-15 17:22:01] взята задача 32: jellyfin -> (CT 103) +[2026-10-15 17:22:55] задача 32 выполнена +[2026-10-15 17:24:01] взята задача 33: paperless -> (CT 105) +[2026-10-15 17:28:46] задача 33 провалена +[2026-10-15 17:28:46] не удалось создать задачу в Gitea, код ответа 500 +[2026-10-15 19:10:02] взята задача 35: uptime-kuma -> (CT 107) +[2026-10-15 19:10:19] задача 35 выполнена +[2026-10-15 19:11:01] взята задача 36: openclaw -> (CT 115) +[2026-10-15 19:11:16] задача 36 выполнена +[2026-10-15 19:12:01] взята задача 37: prometheus -> (CT 134) +[2026-10-15 19:12:15] задача 37 выполнена +[2026-10-15 19:13:01] взята задача 38: grafana -> (CT 113) +[2026-10-15 19:13:14] задача 38 выполнена +[2026-10-15 19:21:01] взята задача 39: npm -> (CT 101) +[2026-10-15 19:22:21] задача 39 выполнена +[2026-10-15 19:23:01] взята задача 40: n8n -> (CT 108) +[2026-10-15 19:23:34] задача 40 выполнена +[2026-10-15 19:24:01] взята задача 41: vaultwarden -> (CT 109) +[2026-10-15 19:24:21] задача 41 выполнена +[2026-10-15 19:25:02] взята задача 42: headscale -> (CT 201) +[2026-10-15 19:25:18] задача 42 выполнена +[2026-10-15 19:37:01] взята задача 43: matrix -> (CT 155) +[2026-10-15 19:40:34] задача 43 провалена +[2026-10-15 19:40:34] создана задача в Gitea №175 с меткой sev:1 +[2026-10-15 19:43:01] взята задача 44: matrix -> (CT 155) +[2026-10-15 19:46:27] задача 44 провалена +[2026-10-15 19:46:27] создана задача в Gitea №176 с меткой sev:1 +[2026-10-15 19:48:01] взята задача 45: matrix -> (CT 155) +[2026-10-15 19:51:28] задача 45 провалена +[2026-10-15 19:51:28] создана задача в Gitea №177 с меткой sev:1 +[2026-10-15 19:58:01] взята задача 46: matrix -> (CT 155) +[2026-10-15 20:07:29] задача 46 провалена +[2026-10-15 20:07:29] создана задача в Gitea №178 с меткой sev:1 +[2026-10-15 20:22:01] взята задача 47: matrix -> (CT 155) +[2026-10-15 20:22:30] задача 47 выполнена +[2026-10-15 20:55:01] взята задача 48: paperless -> (CT 105) +[2026-10-15 21:15:11] задача 48 провалена +[2026-10-15 21:15:11] создана задача в Gitea №179 с меткой sev:1 +[2026-10-15 22:28:02] взята задача 49: paperless -> (CT 105) +[2026-10-15 22:34:30] задача 49 выполнена +[2026-10-15 22:36:01] взята задача 50: gitea -> (CT 140) +[2026-10-15 22:36:16] задача 50 выполнена +[2026-10-15 22:37:01] взята задача 51: authentik -> (CT 114) +[2026-10-15 22:37:45] задача 51 выполнена +[2026-10-16 03:00:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:01:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:02:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:03:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:04:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:05:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:05:02] отчёт отправлен: отложенных 0, успешно 27, ошибок 7, застряло 0 +[2026-10-16 03:06:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:07:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:08:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:09:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:10:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:11:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:12:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:13:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:14:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:15:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:16:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:17:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:18:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:19:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:20:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:21:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:22:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:23:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:24:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:25:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:26:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:27:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:28:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:29:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:30:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:31:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:32:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:33:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:34:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:35:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:36:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:37:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:38:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:39:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:40:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:41:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:42:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:43:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:44:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:45:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:46:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:47:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:48:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:49:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:50:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:51:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:52:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:53:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:54:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:55:02] отложенных переведено в одобренные: 1 +[2026-10-16 03:56:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:57:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:58:01] отложенных переведено в одобренные: 1 +[2026-10-16 03:59:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:00:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:01:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:02:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:03:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:04:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:05:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:05:27] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0 +[2026-10-17 03:06:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:07:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:08:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:09:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:10:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:11:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:12:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:13:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:14:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:15:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:16:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:17:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:18:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:19:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:20:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:21:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:22:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:23:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:24:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:25:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:26:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:27:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:28:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:29:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:30:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:31:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:32:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:33:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:34:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:35:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:36:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:37:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:38:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:39:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:40:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:41:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:42:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:43:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:44:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:45:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:46:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:47:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:48:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:49:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:50:02] отложенных переведено в одобренные: 1 +[2026-10-17 03:51:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:52:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:53:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:54:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:55:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:56:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:57:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:58:01] отложенных переведено в одобренные: 1 +[2026-10-17 03:59:01] отложенных переведено в одобренные: 1 +[2026-10-17 07:54:02] взята задача 52: nextcloud -> (CT ) +[2026-10-17 07:54:02] не удалось сопоставить 'nextcloud' с реестром diff --git a/ops/update-manager/safe-update.sh b/ops/update-manager/safe-update.sh index 4ac8465..4f555a6 100755 --- a/ops/update-manager/safe-update.sh +++ b/ops/update-manager/safe-update.sh @@ -60,6 +60,11 @@ HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICE HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее. +SERVICE_WAIT=$(awk -v w="$SERVICE" ' + /^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) } + s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r") + SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") if [ "$HEALTH_AUTH" = "true" ]; then @@ -147,6 +152,19 @@ if [ "$SERVICE_TYPE" = "docker" ]; then [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" fi + # Если метки compose нет (контейнер создали вручную), искать службу + # надо в самом compose-файле по container_name. Иначе обновление + # одной службы пересоздаст весь проект вместе с соседями. + if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' ' + /^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) } + /container_name:/ && index(\$0, c) { print svc; exit } + ' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r') + if [ -n "$COMPOSE_SVC" ]; then + log " служба определена по имени контейнера: $COMPOSE_SVC" + fi + fi + if [ -n "$COMPOSE_SVC" ]; then log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" TARGET_ARG="$COMPOSE_SVC" @@ -252,7 +270,15 @@ fi # Ожидание не фиксированное, а до готовности: одни сервисы поднимаются # за пару секунд, другим (например, Grafana с большой базой) нужно больше # минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +# Окно ожидания готовности. По умолчанию 120 секунд, но для служб, +# которым нужно больше (Synapse, Paperless — приложения на Python с +# большой базой), значение берётся из реестра: healthcheck.wait. +# Без этого Synapse не успевал подняться и обновление откатывалось, +# хотя само обновление проходило успешно. HEALTH_WAIT="${HEALTH_WAIT:-120}" +if [ -n "${SERVICE_WAIT:-}" ]; then + HEALTH_WAIT="$SERVICE_WAIT" +fi HEALTH_OK=false if [ -z "$HEALTH_URL" ]; then log "🏥 Адрес проверки не задан — проверка пропущена" diff --git a/ops/update-manager/safe-update.sh.before-compose-fallback-20261017_123428 b/ops/update-manager/safe-update.sh.before-compose-fallback-20261017_123428 new file mode 100755 index 0000000..dfe5668 --- /dev/null +++ b/ops/update-manager/safe-update.sh.before-compose-fallback-20261017_123428 @@ -0,0 +1,344 @@ +#!/bin/bash +# ============================================================ +# safe-update.sh v3 — обновление сервиса с откатом +# ============================================================ +# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация +# и удаление снимка | провал: остановка, откат, запуск). +# +# Что исправлено по сравнению с v1.2: +# 1. Версия определялась как «первый контейнер в списке», из-за чего +# vaultwarden числился как mariadb, а matrix как coturn. Теперь +# контейнер ищется по объявленному образу, затем по имени сервиса. +# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 +# принимаются только у сервисов, которым это разрешено явно +# (поле healthcheck.auth_required), иначе это признак поломки доступа. +# 3. После коммита не делался git push — фиксация оставалась только +# на сервере. Добавлен push. +# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox +# требует остановленный. Теперь контейнер останавливается, выполняется +# откат, контейнер запускается. +# 5. Снимок не удалялся после успешного обновления и оставался в пуле +# навсегда. Именно так накопились два снимка, удалённых 14.10.2026. +# Теперь снимок удаляется и при успехе, и после отката. +# 6. Не проверялось свободное место в пуле томов. Если пул заполнен, +# создание снимка добивает его и роняет все контейнеры. Добавлена +# проверка с отказом от обновления при заполнении выше порога. +# +# Запуск: safe-update.sh <имя-сервиса-из-реестра> +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" +LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" +POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем +DEFAULT_ACCEPT_CODES="200 201 204 301 302" + +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } +fail() { log "❌ $*"; exit 1; } + +command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" + +if [ $# -lt 1 ]; then + echo "Использование: $0 <сервис>" + yq -r '.services | keys[]' "$SERVICES_FILE" + exit 1 +fi + +SERVICE="$1" + +CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") +[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" + +IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") +COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") +DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") +HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") +HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") +HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") +HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") +ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") +CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее. +SERVICE_WAIT=$(awk -v w="$SERVICE" ' + /^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) } + s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r") + +SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") + +if [ "$HEALTH_AUTH" = "true" ]; then + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" +else + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" +fi + +log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" + +# ---------- Проверка места в пуле томов ------------------------------------- +POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ + | tr -d ' ' | head -1 | cut -d. -f1) +if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then + fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." +fi +log " место в пуле: ${POOL_PCT:-?}%" + +# ---------- Кто именно является сервисом ------------------------------------ +# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению +# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся +# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. +# Поэтому сначала берём контейнер, явно указанный в реестре, и только +# потом переходим к догадкам. +resolve_container() { + local list + list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) + [ -n "$list" ] || return 1 + + # 1. Контейнер, объявленный в реестре — единственный надёжный источник + if [ -n "$DECLARED_CONTAINER" ]; then + echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' + return 0 + fi + + # 2. Точное совпадение имени контейнера с именем сервиса + local exact + exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') + [ -n "$exact" ] && { echo "$exact"; return 0; } + + # 3. Совпадение по имени образа + echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' +} + +CONTAINER=$(resolve_container) +[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" + +# ---------- Шаг 1: снимок --------------------------------------------------- +SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" +log "📦 Снимок: $SNAPSHOT_NAME" +pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ + || fail "не удалось создать снимок" + +cleanup_snapshot() { + pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ + && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" +} + +# ---------- Шаг 2: обновление ---------------------------------------------- +if [ "$SERVICE_TYPE" = "docker" ]; then + # Каталог compose: сначала объявленный в реестре, затем поиск рядом. + COMPOSE_DIR="" + if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then + COMPOSE_DIR="$COMPOSE_HINT" + elif [ -n "${CONTAINER:-}" ]; then + COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ + "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) + [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" + fi + + if [ -n "$COMPOSE_DIR" ]; then + # Правильный путь. `docker compose up -d` пересоздаёт контейнер из + # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` + # этого не делает: контейнер поднимается из прежнего образа, а новый + # остаётся лежать в хранилище — обновление выглядит выполненным, + # но версия не меняется. + # ВАЖНО: служба указывается явно. Проект собрания может содержать + # несколько сервисов — например, в /opt/network-lxc живут и дашборд, + # и DNS-фильтр. Команда без указания службы пересоздала бы их все, + # то есть обновление одного сервиса уронило бы соседний. + COMPOSE_SVC="" + if [ -n "${CONTAINER:-}" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) + [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" + fi + + if [ -n "$COMPOSE_SVC" ]; then + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" + TARGET_ARG="$COMPOSE_SVC" + else + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" + TARGET_ARG="" + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ + || log " ⚠️ скачивание образов не удалось" + + # Контейнер мог быть создан вручную через `docker run` и не принадлежать + # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление + # не пройдёт. Переименовываем такой контейнер: имя освобождается, + # а сам он остаётся точкой быстрого отката и будет убран уборщиком. + if [ -n "${CONTAINER:-}" ]; then + proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) + if [ -z "$proj" ] || [ "$proj" = "" ]; then + log " контейнер не управляется compose — перевожу под управление" + pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 + + # Остановку обязательно проверяем. Grafana не успевает завершиться + # за отведённое время, остаётся запущенной и продолжает держать + # порт: новый контейнер создать не удаётся, а проверка здоровья + # получает ответ от старого и сообщает об успехе. + stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{.State.Status}}' 2>/dev/null) + if [ "$stopped" = "running" ]; then + log " контейнер не остановился штатно — завершаю принудительно" + pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 + sleep 3 + fi + + pct exec "$CT_ID" -- docker rename "$CONTAINER" \ + "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ + && log " старый контейнер сохранён под другим именем" \ + || log " ⚠️ переименовать не удалось — возможен конфликт имени" + fi + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ + || log " ⚠️ пересоздание контейнеров не удалось" + elif [ -n "${CONTAINER:-}" ]; then + # Compose не найден. Скачать образ можем, а пересоздать контейнер + # с сохранением всех его параметров — нет. Поэтому честно сообщаем + # об этом, а не изображаем успешное обновление. + IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + log " образ: $IMG" + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ образ не обновился" + log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" + log " Образ скачан, но контейнер продолжит работать из прежнего." + else + log "⬆️ Обновляем образы по списку" + for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ не удалось обновить $IMG" + done + pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ + || log " ⚠️ перезапуск контейнеров не удался" + fi +else + log "⬆️ Нативный сервис: apt" + pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" + pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ + || log " ⚠️ apt upgrade не удался" + pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true +fi + +# ---------- Шаг 3: применился ли новый образ -------------------------------- +# Главная проверка, которой раньше не было. Без неё обновление выглядело +# успешным, хотя контейнер продолжал работать из прежнего образа: проверка +# здоровья проходила (сервис-то жив), а версия не менялась. +sleep 5 +IMAGE_APPLIED=true +if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then + STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) + IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) + STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) + + # Отсутствие контейнера — это провал, а не повод пропустить проверку. + # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер + # вообще не создался, а на порту отвечал старый. + if [ -z "$STATE_NOW" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не создан — обновление не применилось" + elif [ "$STATE_NOW" != "running" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" + elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер работает из прежнего образа — обновление не применилось" + log " работает: ${RUNNING_ID:0:20}" + log " скачан: ${STORE_ID:0:20}" + else + log "✅ Контейнер $CONTAINER работает из актуального образа" + fi +fi + +# ---------- Шаг 4: проверка здоровья --------------------------------------- +# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются +# за пару секунд, другим (например, Grafana с большой базой) нужно больше +# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +# Окно ожидания готовности. По умолчанию 120 секунд, но для служб, +# которым нужно больше (Synapse, Paperless — приложения на Python с +# большой базой), значение берётся из реестра: healthcheck.wait. +# Без этого Synapse не успевал подняться и обновление откатывалось, +# хотя само обновление проходило успешно. +HEALTH_WAIT="${HEALTH_WAIT:-120}" +if [ -n "${SERVICE_WAIT:-}" ]; then + HEALTH_WAIT="$SERVICE_WAIT" +fi +HEALTH_OK=false +if [ -z "$HEALTH_URL" ]; then + log "🏥 Адрес проверки не задан — проверка пропущена" + HEALTH_OK=true +else + log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" + deadline=$(( $(date +%s) + HEALTH_WAIT )) + attempt=0 + while [ "$(date +%s)" -lt "$deadline" ]; do + attempt=$((attempt + 1)) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) + for ok in $ACCEPT_CODES; do + if [ "$CODE" = "$ok" ]; then + HEALTH_OK=true + break 2 + fi + done + if [ $((attempt % 3)) -eq 0 ]; then + log " ожидание готовности: попытка $attempt, код $CODE" + fi + sleep 5 + done + [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" +fi + +# ---------- Шаг 5: результат ------------------------------------------------ +if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена" + + if [ -n "${CONTAINER:-}" ]; then + NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) + else + NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) + fi + + [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" + TMP=$(mktemp) + jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ + --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ + '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ + "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" + + cleanup_snapshot + + cd "$REPO_ROOT" + git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null + git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ + && git push origin main >/dev/null 2>&1 \ + && log " ✅ зафиксировано в Git и отправлено" \ + || log " ⚠️ коммит или отправка не удались" + + log "🎉 $SERVICE обновлён: $NEW_VERSION" + exit 0 +else + if [ "$IMAGE_APPLIED" != true ]; then + log "🚨 Новый образ не применён — откат" + else + log "🚨 Проверка не пройдена — откат" + fi + + pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true + sleep 3 + + if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then + log " откат выполнен" + else + log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" + fi + + pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" + sleep 10 + cleanup_snapshot + + log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" + exit 1 +fi diff --git a/ops/update-manager/safe-update.sh.before-compose-svc-20261017_123410 b/ops/update-manager/safe-update.sh.before-compose-svc-20261017_123410 new file mode 100755 index 0000000..dfe5668 --- /dev/null +++ b/ops/update-manager/safe-update.sh.before-compose-svc-20261017_123410 @@ -0,0 +1,344 @@ +#!/bin/bash +# ============================================================ +# safe-update.sh v3 — обновление сервиса с откатом +# ============================================================ +# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация +# и удаление снимка | провал: остановка, откат, запуск). +# +# Что исправлено по сравнению с v1.2: +# 1. Версия определялась как «первый контейнер в списке», из-за чего +# vaultwarden числился как mariadb, а matrix как coturn. Теперь +# контейнер ищется по объявленному образу, затем по имени сервиса. +# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 +# принимаются только у сервисов, которым это разрешено явно +# (поле healthcheck.auth_required), иначе это признак поломки доступа. +# 3. После коммита не делался git push — фиксация оставалась только +# на сервере. Добавлен push. +# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox +# требует остановленный. Теперь контейнер останавливается, выполняется +# откат, контейнер запускается. +# 5. Снимок не удалялся после успешного обновления и оставался в пуле +# навсегда. Именно так накопились два снимка, удалённых 14.10.2026. +# Теперь снимок удаляется и при успехе, и после отката. +# 6. Не проверялось свободное место в пуле томов. Если пул заполнен, +# создание снимка добивает его и роняет все контейнеры. Добавлена +# проверка с отказом от обновления при заполнении выше порога. +# +# Запуск: safe-update.sh <имя-сервиса-из-реестра> +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" +LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" +POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем +DEFAULT_ACCEPT_CODES="200 201 204 301 302" + +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } +fail() { log "❌ $*"; exit 1; } + +command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" + +if [ $# -lt 1 ]; then + echo "Использование: $0 <сервис>" + yq -r '.services | keys[]' "$SERVICES_FILE" + exit 1 +fi + +SERVICE="$1" + +CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") +[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" + +IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") +COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") +DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") +HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") +HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") +HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") +HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") +ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") +CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее. +SERVICE_WAIT=$(awk -v w="$SERVICE" ' + /^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) } + s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r") + +SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") + +if [ "$HEALTH_AUTH" = "true" ]; then + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" +else + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" +fi + +log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" + +# ---------- Проверка места в пуле томов ------------------------------------- +POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ + | tr -d ' ' | head -1 | cut -d. -f1) +if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then + fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." +fi +log " место в пуле: ${POOL_PCT:-?}%" + +# ---------- Кто именно является сервисом ------------------------------------ +# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению +# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся +# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. +# Поэтому сначала берём контейнер, явно указанный в реестре, и только +# потом переходим к догадкам. +resolve_container() { + local list + list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) + [ -n "$list" ] || return 1 + + # 1. Контейнер, объявленный в реестре — единственный надёжный источник + if [ -n "$DECLARED_CONTAINER" ]; then + echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' + return 0 + fi + + # 2. Точное совпадение имени контейнера с именем сервиса + local exact + exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') + [ -n "$exact" ] && { echo "$exact"; return 0; } + + # 3. Совпадение по имени образа + echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' +} + +CONTAINER=$(resolve_container) +[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" + +# ---------- Шаг 1: снимок --------------------------------------------------- +SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" +log "📦 Снимок: $SNAPSHOT_NAME" +pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ + || fail "не удалось создать снимок" + +cleanup_snapshot() { + pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ + && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" +} + +# ---------- Шаг 2: обновление ---------------------------------------------- +if [ "$SERVICE_TYPE" = "docker" ]; then + # Каталог compose: сначала объявленный в реестре, затем поиск рядом. + COMPOSE_DIR="" + if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then + COMPOSE_DIR="$COMPOSE_HINT" + elif [ -n "${CONTAINER:-}" ]; then + COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ + "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) + [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" + fi + + if [ -n "$COMPOSE_DIR" ]; then + # Правильный путь. `docker compose up -d` пересоздаёт контейнер из + # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` + # этого не делает: контейнер поднимается из прежнего образа, а новый + # остаётся лежать в хранилище — обновление выглядит выполненным, + # но версия не меняется. + # ВАЖНО: служба указывается явно. Проект собрания может содержать + # несколько сервисов — например, в /opt/network-lxc живут и дашборд, + # и DNS-фильтр. Команда без указания службы пересоздала бы их все, + # то есть обновление одного сервиса уронило бы соседний. + COMPOSE_SVC="" + if [ -n "${CONTAINER:-}" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) + [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" + fi + + if [ -n "$COMPOSE_SVC" ]; then + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" + TARGET_ARG="$COMPOSE_SVC" + else + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" + TARGET_ARG="" + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ + || log " ⚠️ скачивание образов не удалось" + + # Контейнер мог быть создан вручную через `docker run` и не принадлежать + # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление + # не пройдёт. Переименовываем такой контейнер: имя освобождается, + # а сам он остаётся точкой быстрого отката и будет убран уборщиком. + if [ -n "${CONTAINER:-}" ]; then + proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) + if [ -z "$proj" ] || [ "$proj" = "" ]; then + log " контейнер не управляется compose — перевожу под управление" + pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 + + # Остановку обязательно проверяем. Grafana не успевает завершиться + # за отведённое время, остаётся запущенной и продолжает держать + # порт: новый контейнер создать не удаётся, а проверка здоровья + # получает ответ от старого и сообщает об успехе. + stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{.State.Status}}' 2>/dev/null) + if [ "$stopped" = "running" ]; then + log " контейнер не остановился штатно — завершаю принудительно" + pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 + sleep 3 + fi + + pct exec "$CT_ID" -- docker rename "$CONTAINER" \ + "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ + && log " старый контейнер сохранён под другим именем" \ + || log " ⚠️ переименовать не удалось — возможен конфликт имени" + fi + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ + || log " ⚠️ пересоздание контейнеров не удалось" + elif [ -n "${CONTAINER:-}" ]; then + # Compose не найден. Скачать образ можем, а пересоздать контейнер + # с сохранением всех его параметров — нет. Поэтому честно сообщаем + # об этом, а не изображаем успешное обновление. + IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + log " образ: $IMG" + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ образ не обновился" + log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" + log " Образ скачан, но контейнер продолжит работать из прежнего." + else + log "⬆️ Обновляем образы по списку" + for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ не удалось обновить $IMG" + done + pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ + || log " ⚠️ перезапуск контейнеров не удался" + fi +else + log "⬆️ Нативный сервис: apt" + pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" + pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ + || log " ⚠️ apt upgrade не удался" + pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true +fi + +# ---------- Шаг 3: применился ли новый образ -------------------------------- +# Главная проверка, которой раньше не было. Без неё обновление выглядело +# успешным, хотя контейнер продолжал работать из прежнего образа: проверка +# здоровья проходила (сервис-то жив), а версия не менялась. +sleep 5 +IMAGE_APPLIED=true +if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then + STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) + IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) + STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) + + # Отсутствие контейнера — это провал, а не повод пропустить проверку. + # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер + # вообще не создался, а на порту отвечал старый. + if [ -z "$STATE_NOW" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не создан — обновление не применилось" + elif [ "$STATE_NOW" != "running" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" + elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер работает из прежнего образа — обновление не применилось" + log " работает: ${RUNNING_ID:0:20}" + log " скачан: ${STORE_ID:0:20}" + else + log "✅ Контейнер $CONTAINER работает из актуального образа" + fi +fi + +# ---------- Шаг 4: проверка здоровья --------------------------------------- +# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются +# за пару секунд, другим (например, Grafana с большой базой) нужно больше +# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +# Окно ожидания готовности. По умолчанию 120 секунд, но для служб, +# которым нужно больше (Synapse, Paperless — приложения на Python с +# большой базой), значение берётся из реестра: healthcheck.wait. +# Без этого Synapse не успевал подняться и обновление откатывалось, +# хотя само обновление проходило успешно. +HEALTH_WAIT="${HEALTH_WAIT:-120}" +if [ -n "${SERVICE_WAIT:-}" ]; then + HEALTH_WAIT="$SERVICE_WAIT" +fi +HEALTH_OK=false +if [ -z "$HEALTH_URL" ]; then + log "🏥 Адрес проверки не задан — проверка пропущена" + HEALTH_OK=true +else + log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" + deadline=$(( $(date +%s) + HEALTH_WAIT )) + attempt=0 + while [ "$(date +%s)" -lt "$deadline" ]; do + attempt=$((attempt + 1)) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) + for ok in $ACCEPT_CODES; do + if [ "$CODE" = "$ok" ]; then + HEALTH_OK=true + break 2 + fi + done + if [ $((attempt % 3)) -eq 0 ]; then + log " ожидание готовности: попытка $attempt, код $CODE" + fi + sleep 5 + done + [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" +fi + +# ---------- Шаг 5: результат ------------------------------------------------ +if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена" + + if [ -n "${CONTAINER:-}" ]; then + NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) + else + NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) + fi + + [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" + TMP=$(mktemp) + jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ + --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ + '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ + "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" + + cleanup_snapshot + + cd "$REPO_ROOT" + git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null + git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ + && git push origin main >/dev/null 2>&1 \ + && log " ✅ зафиксировано в Git и отправлено" \ + || log " ⚠️ коммит или отправка не удались" + + log "🎉 $SERVICE обновлён: $NEW_VERSION" + exit 0 +else + if [ "$IMAGE_APPLIED" != true ]; then + log "🚨 Новый образ не применён — откат" + else + log "🚨 Проверка не пройдена — откат" + fi + + pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true + sleep 3 + + if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then + log " откат выполнен" + else + log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" + fi + + pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" + sleep 10 + cleanup_snapshot + + log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" + exit 1 +fi diff --git a/ops/update-manager/safe-update.sh.before-wait-fix b/ops/update-manager/safe-update.sh.before-wait-fix new file mode 100755 index 0000000..4ac8465 --- /dev/null +++ b/ops/update-manager/safe-update.sh.before-wait-fix @@ -0,0 +1,331 @@ +#!/bin/bash +# ============================================================ +# safe-update.sh v3 — обновление сервиса с откатом +# ============================================================ +# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация +# и удаление снимка | провал: остановка, откат, запуск). +# +# Что исправлено по сравнению с v1.2: +# 1. Версия определялась как «первый контейнер в списке», из-за чего +# vaultwarden числился как mariadb, а matrix как coturn. Теперь +# контейнер ищется по объявленному образу, затем по имени сервиса. +# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403 +# принимаются только у сервисов, которым это разрешено явно +# (поле healthcheck.auth_required), иначе это признак поломки доступа. +# 3. После коммита не делался git push — фиксация оставалась только +# на сервере. Добавлен push. +# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox +# требует остановленный. Теперь контейнер останавливается, выполняется +# откат, контейнер запускается. +# 5. Снимок не удалялся после успешного обновления и оставался в пуле +# навсегда. Именно так накопились два снимка, удалённых 14.10.2026. +# Теперь снимок удаляется и при успехе, и после отката. +# 6. Не проверялось свободное место в пуле томов. Если пул заполнен, +# создание снимка добивает его и роняет все контейнеры. Добавлена +# проверка с отказом от обновления при заполнении выше порога. +# +# Запуск: safe-update.sh <имя-сервиса-из-реестра> +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json" +LOG_FILE="$REPO_ROOT/ops/update-manager/update.log" +POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем +DEFAULT_ACCEPT_CODES="200 201 204 301 302" + +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } +fail() { log "❌ $*"; exit 1; } + +command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов" + +if [ $# -lt 1 ]; then + echo "Использование: $0 <сервис>" + yq -r '.services | keys[]' "$SERVICES_FILE" + exit 1 +fi + +SERVICE="$1" + +CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE") +[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE" + +IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE") +COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE") +DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE") +HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE") +HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE") +HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE") +HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE") +ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE") +CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE") +SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE") + +if [ "$HEALTH_AUTH" = "true" ]; then + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}" +else + ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}" +fi + +log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)" + +# ---------- Проверка места в пуле томов ------------------------------------- +POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \ + | tr -d ' ' | head -1 | cut -d. -f1) +if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then + fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры." +fi +log " место в пуле: ${POOL_PCT:-?}%" + +# ---------- Кто именно является сервисом ------------------------------------ +# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению +# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся +# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда. +# Поэтому сначала берём контейнер, явно указанный в реестре, и только +# потом переходим к догадкам. +resolve_container() { + local list + list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null) + [ -n "$list" ] || return 1 + + # 1. Контейнер, объявленный в реестре — единственный надёжный источник + if [ -n "$DECLARED_CONTAINER" ]; then + echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}' + return 0 + fi + + # 2. Точное совпадение имени контейнера с именем сервиса + local exact + exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}') + [ -n "$exact" ] && { echo "$exact"; return 0; } + + # 3. Совпадение по имени образа + echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}' +} + +CONTAINER=$(resolve_container) +[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа" + +# ---------- Шаг 1: снимок --------------------------------------------------- +SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)" +log "📦 Снимок: $SNAPSHOT_NAME" +pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \ + || fail "не удалось создать снимок" + +cleanup_snapshot() { + pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \ + && log " снимок удалён" || log " ⚠️ снимок удалить не удалось" +} + +# ---------- Шаг 2: обновление ---------------------------------------------- +if [ "$SERVICE_TYPE" = "docker" ]; then + # Каталог compose: сначала объявленный в реестре, затем поиск рядом. + COMPOSE_DIR="" + if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then + COMPOSE_DIR="$COMPOSE_HINT" + elif [ -n "${CONTAINER:-}" ]; then + COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \ + "docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null) + [ "$COMPOSE_DIR" = "" ] && COMPOSE_DIR="" + fi + + if [ -n "$COMPOSE_DIR" ]; then + # Правильный путь. `docker compose up -d` пересоздаёт контейнер из + # скачанного образа. Проверка 14.10.2026 показала, что `docker restart` + # этого не делает: контейнер поднимается из прежнего образа, а новый + # остаётся лежать в хранилище — обновление выглядит выполненным, + # но версия не меняется. + # ВАЖНО: служба указывается явно. Проект собрания может содержать + # несколько сервисов — например, в /opt/network-lxc живут и дашборд, + # и DNS-фильтр. Команда без указания службы пересоздала бы их все, + # то есть обновление одного сервиса уронило бы соседний. + COMPOSE_SVC="" + if [ -n "${CONTAINER:-}" ]; then + COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null) + [ "$COMPOSE_SVC" = "" ] && COMPOSE_SVC="" + fi + + if [ -n "$COMPOSE_SVC" ]; then + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)" + TARGET_ARG="$COMPOSE_SVC" + else + log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)" + TARGET_ARG="" + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \ + || log " ⚠️ скачивание образов не удалось" + + # Контейнер мог быть создан вручную через `docker run` и не принадлежать + # проекту compose. Тогда `up -d` упрётся в занятое имя и обновление + # не пройдёт. Переименовываем такой контейнер: имя освобождается, + # а сам он остаётся точкой быстрого отката и будет убран уборщиком. + if [ -n "${CONTAINER:-}" ]; then + proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null) + if [ -z "$proj" ] || [ "$proj" = "" ]; then + log " контейнер не управляется compose — перевожу под управление" + pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1 + + # Остановку обязательно проверяем. Grafana не успевает завершиться + # за отведённое время, остаётся запущенной и продолжает держать + # порт: новый контейнер создать не удаётся, а проверка здоровья + # получает ответ от старого и сообщает об успехе. + stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \ + --format '{{.State.Status}}' 2>/dev/null) + if [ "$stopped" = "running" ]; then + log " контейнер не остановился штатно — завершаю принудительно" + pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1 + sleep 3 + fi + + pct exec "$CT_ID" -- docker rename "$CONTAINER" \ + "${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \ + && log " старый контейнер сохранён под другим именем" \ + || log " ⚠️ переименовать не удалось — возможен конфликт имени" + fi + fi + + pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \ + || log " ⚠️ пересоздание контейнеров не удалось" + elif [ -n "${CONTAINER:-}" ]; then + # Compose не найден. Скачать образ можем, а пересоздать контейнер + # с сохранением всех его параметров — нет. Поэтому честно сообщаем + # об этом, а не изображаем успешное обновление. + IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + log " образ: $IMG" + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ образ не обновился" + log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя" + log " Образ скачан, но контейнер продолжит работать из прежнего." + else + log "⬆️ Обновляем образы по списку" + for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do + pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \ + || log " ⚠️ не удалось обновить $IMG" + done + pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \ + || log " ⚠️ перезапуск контейнеров не удался" + fi +else + log "⬆️ Нативный сервис: apt" + pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался" + pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \ + || log " ⚠️ apt upgrade не удался" + pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true +fi + +# ---------- Шаг 3: применился ли новый образ -------------------------------- +# Главная проверка, которой раньше не было. Без неё обновление выглядело +# успешным, хотя контейнер продолжал работать из прежнего образа: проверка +# здоровья проходила (сервис-то жив), а версия не менялась. +sleep 5 +IMAGE_APPLIED=true +if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then + STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null) + IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null) + RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null) + STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1) + + # Отсутствие контейнера — это провал, а не повод пропустить проверку. + # Без этой ветки исполнитель сообщал об успехе, когда новый контейнер + # вообще не создался, а на порту отвечал старый. + if [ -z "$STATE_NOW" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не создан — обновление не применилось" + elif [ "$STATE_NOW" != "running" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)" + elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then + IMAGE_APPLIED=false + log "❌ Контейнер работает из прежнего образа — обновление не применилось" + log " работает: ${RUNNING_ID:0:20}" + log " скачан: ${STORE_ID:0:20}" + else + log "✅ Контейнер $CONTAINER работает из актуального образа" + fi +fi + +# ---------- Шаг 4: проверка здоровья --------------------------------------- +# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются +# за пару секунд, другим (например, Grafana с большой базой) нужно больше +# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам. +HEALTH_WAIT="${HEALTH_WAIT:-120}" +HEALTH_OK=false +if [ -z "$HEALTH_URL" ]; then + log "🏥 Адрес проверки не задан — проверка пропущена" + HEALTH_OK=true +else + log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)" + deadline=$(( $(date +%s) + HEALTH_WAIT )) + attempt=0 + while [ "$(date +%s)" -lt "$deadline" ]; do + attempt=$((attempt + 1)) + CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000) + for ok in $ACCEPT_CODES; do + if [ "$CODE" = "$ok" ]; then + HEALTH_OK=true + break 2 + fi + done + if [ $((attempt % 3)) -eq 0 ]; then + log " ожидание готовности: попытка $attempt, код $CODE" + fi + sleep 5 + done + [ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt" +fi + +# ---------- Шаг 5: результат ------------------------------------------------ +if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then + log "✅ Проверка пройдена" + + if [ -n "${CONTAINER:-}" ]; then + NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown) + else + NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown) + fi + + [ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE" + TMP=$(mktemp) + jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \ + --arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \ + '.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \ + "$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE" + + cleanup_snapshot + + cd "$REPO_ROOT" + git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null + git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \ + && git push origin main >/dev/null 2>&1 \ + && log " ✅ зафиксировано в Git и отправлено" \ + || log " ⚠️ коммит или отправка не удались" + + log "🎉 $SERVICE обновлён: $NEW_VERSION" + exit 0 +else + if [ "$IMAGE_APPLIED" != true ]; then + log "🚨 Новый образ не применён — откат" + else + log "🚨 Проверка не пройдена — откат" + fi + + pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true + sleep 3 + + if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then + log " откат выполнен" + else + log " ❌ откат не удался — контейнер остаётся в состоянии после обновления" + fi + + pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер" + sleep 10 + cleanup_snapshot + + log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка" + exit 1 +fi diff --git a/ops/update-manager/services.yaml b/ops/update-manager/services.yaml index 2691c2e..4b33b8a 100644 --- a/ops/update-manager/services.yaml +++ b/ops/update-manager/services.yaml @@ -16,6 +16,7 @@ services: container: npm-app-1 authentik: ct_id: 114 + wait: 300 compose_path: /opt/authentik-security healthcheck: url: http://192.168.1.114:9000/-/health/live/ @@ -26,6 +27,7 @@ services: container: authentik-security-server-1 gitea: ct_id: 140 + wait: 300 compose_path: /opt/gitea healthcheck: url: http://192.168.1.140:3000/api/v1/version @@ -46,6 +48,7 @@ services: container: vaultwarden matrix: ct_id: 155 + wait: 480 compose_path: /opt/matrix healthcheck: url: http://192.168.1.155:8008/_matrix/client/versions @@ -110,6 +113,7 @@ services: # === FILES & DOCS === paperless: ct_id: 105 + wait: 480 compose_path: /opt/sync-lxc healthcheck: url: http://192.168.1.105:8000/api/status/ @@ -291,3 +295,237 @@ services: critical: false backup: snapshot container: openclaw + + # === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре === + # Реестр покрывал 28 служб из 97 работающих контейнеров — + # поэтому обновление «не работало на многие». + + homeassistant: + ct_id: 106 + wait: 300 + compose_path: /opt/smart-lxc + healthcheck: + url: http://192.168.1.106:8123/ + timeout: 15 + retries: 10 + critical: true + backup: snapshot + container: homeassistant + + mosquitto: + ct_id: 106 + wait: 60 + compose_path: /opt/smart-lxc + critical: false + backup: snapshot + container: mosquitto + + zigbee2mqtt: + ct_id: 106 + wait: 120 + compose_path: /opt/smart-lxc + healthcheck: + url: http://192.168.1.106:8080/ + timeout: 15 + retries: 10 + critical: false + backup: snapshot + container: zigbee2mqtt + + adguard: + ct_id: 107 + healthcheck: + url: http://192.168.1.107:3000/control/status + timeout: 15 + retries: 10 + auth_required: true + accept_codes: "200 302 401" + wait: 120 + compose_path: /opt/network-lxc + critical: true + backup: snapshot + container: adguard + + tg-admin-bot: + ct_id: 108 + wait: 60 + compose_path: /opt/automation-lxc/telegram-admin-bot + critical: false + backup: snapshot + container: tg-admin-bot + + nextcloud: + ct_id: 109 + wait: 300 + compose_path: /opt/files-lxc + healthcheck: + url: http://192.168.1.109:8080/status.php + timeout: 15 + retries: 10 + accept_codes: "200 302" + critical: true + backup: snapshot + container: nextcloud + + files_db: + ct_id: 109 + wait: 120 + compose_path: /opt/files-lxc + critical: true + backup: snapshot + container: files_db + + firefly: + ct_id: 110 + wait: 120 + compose_path: /opt/lifestyle-lxc + healthcheck: + url: http://192.168.1.110:8080/ + timeout: 15 + retries: 10 + accept_codes: "200 302" + critical: false + backup: snapshot + container: firefly + + paperless_web: + ct_id: 110 + healthcheck: + url: http://192.168.1.110:8000/api/status/ + timeout: 15 + retries: 10 + auth_required: true + accept_codes: "200 302 401" + wait: 480 + compose_path: /opt/lifestyle-lxc + critical: false + backup: snapshot + container: paperless_web + + paperless_worker: + ct_id: 110 + wait: 120 + compose_path: /opt/lifestyle-lxc + critical: false + backup: snapshot + container: paperless_worker + + paperless_redis_office: + ct_id: 110 + wait: 60 + compose_path: /opt/lifestyle-lxc + critical: false + backup: snapshot + container: paperless_redis + + duplicati: + ct_id: 111 + wait: 120 + healthcheck: + url: http://192.168.1.111:8200/ + timeout: 15 + retries: 10 + accept_codes: "200 302" + critical: true + backup: snapshot + container: duplicati + + loki: + ct_id: 113 + wait: 120 + compose_path: /opt/loki + healthcheck: + url: http://192.168.1.113:3100/ready + timeout: 15 + retries: 10 + accept_codes: "200 404" + critical: false + backup: snapshot + container: loki + + nats: + ct_id: 115 + wait: 60 + compose_path: /opt/swarm + healthcheck: + url: http://192.168.1.115:8222/healthz + timeout: 15 + retries: 10 + critical: true + backup: snapshot + container: nats + + swarm-redis: + ct_id: 115 + wait: 60 + compose_path: /opt/swarm + critical: true + backup: snapshot + container: swarm-redis + + alertmanager: + ct_id: 134 + wait: 120 + healthcheck: + url: http://192.168.1.134:9093/-/healthy + timeout: 15 + retries: 10 + critical: true + backup: snapshot + container: alertmanager + + buryan-alert-webhook: + ct_id: 134 + wait: 60 + critical: false + backup: snapshot + container: buryan-alert-webhook + + paperless_redis_files: + ct_id: 105 + wait: 60 + compose_path: /opt/sync-lxc + critical: false + backup: snapshot + container: paperless_redis + + mautrix-telegram: + ct_id: 155 + wait: 180 + compose_path: /opt/mautrix-telegram + critical: false + backup: snapshot + container: mautrix-telegram + + element-web: + ct_id: 155 + wait: 120 + compose_path: /opt/element + healthcheck: + url: http://192.168.1.155:8088/ + timeout: 15 + retries: 10 + critical: false + backup: snapshot + container: element-web + + livekit: + ct_id: 155 + wait: 120 + compose_path: /opt/livekit + healthcheck: + url: http://192.168.1.155:7880/ + timeout: 15 + retries: 10 + critical: true + backup: snapshot + container: livekit + + matrix-coturn: + ct_id: 155 + wait: 120 + compose_path: /opt/matrix + critical: true + backup: snapshot + container: matrix-coturn + diff --git a/ops/update-manager/services.yaml.before-health-window b/ops/update-manager/services.yaml.before-health-window new file mode 100644 index 0000000..985cc96 --- /dev/null +++ b/ops/update-manager/services.yaml.before-health-window @@ -0,0 +1,293 @@ +# Реестр сервисов для Update Manager (полный спектр) +# Поле 'critical' определяет приоритет отката +# 'type': docker (по умолчанию) | native (apt/binary) + +services: + # === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА === + npm: + ct_id: 101 + compose_path: /opt/npm + healthcheck: + url: http://192.168.1.101:81/api/ + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: npm-app-1 + authentik: + ct_id: 114 + compose_path: /opt/authentik-security + healthcheck: + url: http://192.168.1.114:9000/-/health/live/ + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: authentik-security-server-1 + gitea: + ct_id: 140 + compose_path: /opt/gitea + healthcheck: + url: http://192.168.1.140:3000/api/v1/version + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: gitea + vaultwarden: + ct_id: 109 + compose_path: /opt/files-lxc + healthcheck: + url: http://192.168.1.109:8081/alive + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: vaultwarden + matrix: + ct_id: 155 + compose_path: /opt/matrix + healthcheck: + url: http://192.168.1.155:8008/health + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: matrix-synapse + # === АВТОМАТИЗАЦИЯ === + n8n: + ct_id: 108 + compose_path: /opt/automation-lxc + healthcheck: + url: http://192.168.1.108:5678/healthz + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: n8n + # === MONITORING & UTILS === + prometheus: + ct_id: 134 + compose_path: /opt/prometheus + healthcheck: + url: http://192.168.1.134:9090/-/healthy + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prometheus + grafana: + ct_id: 113 + compose_path: /opt/grafana + healthcheck: + url: http://192.168.1.113:3000/api/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: grafana + uptime-kuma: + ct_id: 107 + compose_path: /opt/network-lxc + healthcheck: + url: http://192.168.1.107:3001/api/entry-page + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: uptime_kuma + # === PORTAL & DASHBOARDS === + dashy: + ct_id: 102 + compose_path: /opt/dashy + healthcheck: + url: http://192.168.1.102:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: dashy + # === FILES & DOCS === + paperless: + ct_id: 105 + compose_path: /opt/sync-lxc + healthcheck: + url: http://192.168.1.105:8000/api/status/ + timeout: 15 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: paperless + syncthing: + ct_id: 139 + compose_path: /opt/syncthing + healthcheck: + url: http://192.168.1.139:8384/rest/system/version + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: syncthing + linkding: + ct_id: 127 + compose_path: /opt/linkding + healthcheck: + url: http://192.168.1.127:3000/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: linkding + # === MEDIA STACK === + jellyfin: + ct_id: 103 + compose_path: /opt/jellyfin + healthcheck: + url: http://192.168.1.103:8096/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: jellyfin + plex: + ct_id: 116 + compose_path: /opt/plex + healthcheck: + url: http://192.168.1.116:32400/identity + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: plex + sonarr: + ct_id: 117 + compose_path: /opt/sonarr + healthcheck: + url: http://192.168.1.117:8989/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: sonarr + radarr: + ct_id: 118 + compose_path: /opt/radarr + healthcheck: + url: http://192.168.1.118:7878/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: radarr + prowlarr: + ct_id: 119 + compose_path: /opt/prowlarr + healthcheck: + url: http://192.168.1.119:9696/api/v1/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: prowlarr + bazarr: + ct_id: 120 + compose_path: /opt/bazarr + healthcheck: + url: http://192.168.1.120:6767/api/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: bazarr + overseerr: + ct_id: 121 + compose_path: /opt/overseerr + healthcheck: + url: http://192.168.1.121:5055/api/v1/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: overseerr + tautulli: + ct_id: 122 + compose_path: /opt/tautulli + healthcheck: + url: http://192.168.1.122:8181/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: tautulli + navidrome: + ct_id: 125 + compose_path: /opt/navidrome + healthcheck: + url: http://192.168.1.125:4533/ping + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: navidrome + # === READING & FINANCE === + calibre: + ct_id: 111 + compose_path: /opt/calibre-web + healthcheck: + url: http://192.168.1.111:8083/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: calibre-web + freshrss: + ct_id: 111 + compose_path: /opt/freshrss + healthcheck: + url: http://192.168.1.111:8090/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: freshrss + mealie: + ct_id: 110 + compose_path: /opt/lifestyle-lxc + healthcheck: + url: http://192.168.1.110:9925/api/app/about + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: mealie + # === NATIVE SERVICES (не Docker, apt-based) === + postgres-rbac: + ct_id: 151 + type: native + critical: true + backup: pgdump # pg_dump всей БД перед обновлением + headscale: + ct_id: 201 + type: native + critical: false + backup: snapshot + # === EXPERIMENTAL === + openclaw: + ct_id: 115 + compose_path: /opt/openclaw + healthcheck: + timeout: 10 + retries: 3 + url: http://192.168.1.115:18789/healthz + critical: false + backup: snapshot + container: openclaw diff --git a/ops/update-manager/services.yaml.before-matrix-url b/ops/update-manager/services.yaml.before-matrix-url new file mode 100644 index 0000000..ae38cd2 --- /dev/null +++ b/ops/update-manager/services.yaml.before-matrix-url @@ -0,0 +1,293 @@ +# Реестр сервисов для Update Manager (полный спектр) +# Поле 'critical' определяет приоритет отката +# 'type': docker (по умолчанию) | native (apt/binary) + +services: + # === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА === + npm: + ct_id: 101 + compose_path: /opt/npm + healthcheck: + url: http://192.168.1.101:81/api/ + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: npm-app-1 + authentik: + ct_id: 114 + compose_path: /opt/authentik-security + healthcheck: + url: http://192.168.1.114:9000/-/health/live/ + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: authentik-security-server-1 + gitea: + ct_id: 140 + compose_path: /opt/gitea + healthcheck: + url: http://192.168.1.140:3000/api/v1/version + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: gitea + vaultwarden: + ct_id: 109 + compose_path: /opt/files-lxc + healthcheck: + url: http://192.168.1.109:8081/alive + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: vaultwarden + matrix: + ct_id: 155 + compose_path: /opt/matrix + healthcheck: + url: http://192.168.1.155:8008/health + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: matrix-synapse + # === АВТОМАТИЗАЦИЯ === + n8n: + ct_id: 108 + compose_path: /opt/automation-lxc + healthcheck: + url: http://192.168.1.108:5678/healthz + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: n8n + # === MONITORING & UTILS === + prometheus: + ct_id: 134 + compose_path: /opt/prometheus + healthcheck: + url: http://192.168.1.134:9090/-/healthy + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prometheus + grafana: + ct_id: 113 + compose_path: /opt/grafana + healthcheck: + url: http://192.168.1.113:3000/api/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: grafana + uptime-kuma: + ct_id: 107 + compose_path: /opt/network-lxc + healthcheck: + url: http://192.168.1.107:3001/api/entry-page + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: uptime_kuma + # === PORTAL & DASHBOARDS === + dashy: + ct_id: 102 + compose_path: /opt/dashy + healthcheck: + url: http://192.168.1.102:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: dashy + # === FILES & DOCS === + paperless: + ct_id: 105 + compose_path: /opt/sync-lxc + healthcheck: + url: http://192.168.1.105:8000/api/status/ + timeout: 20 + retries: 15 + auth_required: true + critical: false + backup: snapshot + container: paperless + syncthing: + ct_id: 139 + compose_path: /opt/syncthing + healthcheck: + url: http://192.168.1.139:8384/rest/system/version + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: syncthing + linkding: + ct_id: 127 + compose_path: /opt/linkding + healthcheck: + url: http://192.168.1.127:3000/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: linkding + # === MEDIA STACK === + jellyfin: + ct_id: 103 + compose_path: /opt/jellyfin + healthcheck: + url: http://192.168.1.103:8096/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: jellyfin + plex: + ct_id: 116 + compose_path: /opt/plex + healthcheck: + url: http://192.168.1.116:32400/identity + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: plex + sonarr: + ct_id: 117 + compose_path: /opt/sonarr + healthcheck: + url: http://192.168.1.117:8989/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: sonarr + radarr: + ct_id: 118 + compose_path: /opt/radarr + healthcheck: + url: http://192.168.1.118:7878/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: radarr + prowlarr: + ct_id: 119 + compose_path: /opt/prowlarr + healthcheck: + url: http://192.168.1.119:9696/api/v1/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: prowlarr + bazarr: + ct_id: 120 + compose_path: /opt/bazarr + healthcheck: + url: http://192.168.1.120:6767/api/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: bazarr + overseerr: + ct_id: 121 + compose_path: /opt/overseerr + healthcheck: + url: http://192.168.1.121:5055/api/v1/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: overseerr + tautulli: + ct_id: 122 + compose_path: /opt/tautulli + healthcheck: + url: http://192.168.1.122:8181/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: tautulli + navidrome: + ct_id: 125 + compose_path: /opt/navidrome + healthcheck: + url: http://192.168.1.125:4533/ping + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: navidrome + # === READING & FINANCE === + calibre: + ct_id: 111 + compose_path: /opt/calibre-web + healthcheck: + url: http://192.168.1.111:8083/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: calibre-web + freshrss: + ct_id: 111 + compose_path: /opt/freshrss + healthcheck: + url: http://192.168.1.111:8090/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: freshrss + mealie: + ct_id: 110 + compose_path: /opt/lifestyle-lxc + healthcheck: + url: http://192.168.1.110:9925/api/app/about + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: mealie + # === NATIVE SERVICES (не Docker, apt-based) === + postgres-rbac: + ct_id: 151 + type: native + critical: true + backup: pgdump # pg_dump всей БД перед обновлением + headscale: + ct_id: 201 + type: native + critical: false + backup: snapshot + # === EXPERIMENTAL === + openclaw: + ct_id: 115 + compose_path: /opt/openclaw + healthcheck: + timeout: 10 + retries: 3 + url: http://192.168.1.115:18789/healthz + critical: false + backup: snapshot + container: openclaw diff --git a/ops/update-manager/services.yaml.before-wait-fix b/ops/update-manager/services.yaml.before-wait-fix new file mode 100644 index 0000000..2691c2e --- /dev/null +++ b/ops/update-manager/services.yaml.before-wait-fix @@ -0,0 +1,293 @@ +# Реестр сервисов для Update Manager (полный спектр) +# Поле 'critical' определяет приоритет отката +# 'type': docker (по умолчанию) | native (apt/binary) + +services: + # === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА === + npm: + ct_id: 101 + compose_path: /opt/npm + healthcheck: + url: http://192.168.1.101:81/api/ + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: npm-app-1 + authentik: + ct_id: 114 + compose_path: /opt/authentik-security + healthcheck: + url: http://192.168.1.114:9000/-/health/live/ + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: authentik-security-server-1 + gitea: + ct_id: 140 + compose_path: /opt/gitea + healthcheck: + url: http://192.168.1.140:3000/api/v1/version + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: gitea + vaultwarden: + ct_id: 109 + compose_path: /opt/files-lxc + healthcheck: + url: http://192.168.1.109:8081/alive + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: vaultwarden + matrix: + ct_id: 155 + compose_path: /opt/matrix + healthcheck: + url: http://192.168.1.155:8008/_matrix/client/versions + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: matrix-synapse + # === АВТОМАТИЗАЦИЯ === + n8n: + ct_id: 108 + compose_path: /opt/automation-lxc + healthcheck: + url: http://192.168.1.108:5678/healthz + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: n8n + # === MONITORING & UTILS === + prometheus: + ct_id: 134 + compose_path: /opt/prometheus + healthcheck: + url: http://192.168.1.134:9090/-/healthy + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prometheus + grafana: + ct_id: 113 + compose_path: /opt/grafana + healthcheck: + url: http://192.168.1.113:3000/api/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: grafana + uptime-kuma: + ct_id: 107 + compose_path: /opt/network-lxc + healthcheck: + url: http://192.168.1.107:3001/api/entry-page + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: uptime_kuma + # === PORTAL & DASHBOARDS === + dashy: + ct_id: 102 + compose_path: /opt/dashy + healthcheck: + url: http://192.168.1.102:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: dashy + # === FILES & DOCS === + paperless: + ct_id: 105 + compose_path: /opt/sync-lxc + healthcheck: + url: http://192.168.1.105:8000/api/status/ + timeout: 20 + retries: 15 + auth_required: true + critical: false + backup: snapshot + container: paperless + syncthing: + ct_id: 139 + compose_path: /opt/syncthing + healthcheck: + url: http://192.168.1.139:8384/rest/system/version + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: syncthing + linkding: + ct_id: 127 + compose_path: /opt/linkding + healthcheck: + url: http://192.168.1.127:3000/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: linkding + # === MEDIA STACK === + jellyfin: + ct_id: 103 + compose_path: /opt/jellyfin + healthcheck: + url: http://192.168.1.103:8096/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: jellyfin + plex: + ct_id: 116 + compose_path: /opt/plex + healthcheck: + url: http://192.168.1.116:32400/identity + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: plex + sonarr: + ct_id: 117 + compose_path: /opt/sonarr + healthcheck: + url: http://192.168.1.117:8989/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: sonarr + radarr: + ct_id: 118 + compose_path: /opt/radarr + healthcheck: + url: http://192.168.1.118:7878/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: radarr + prowlarr: + ct_id: 119 + compose_path: /opt/prowlarr + healthcheck: + url: http://192.168.1.119:9696/api/v1/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: prowlarr + bazarr: + ct_id: 120 + compose_path: /opt/bazarr + healthcheck: + url: http://192.168.1.120:6767/api/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: bazarr + overseerr: + ct_id: 121 + compose_path: /opt/overseerr + healthcheck: + url: http://192.168.1.121:5055/api/v1/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: overseerr + tautulli: + ct_id: 122 + compose_path: /opt/tautulli + healthcheck: + url: http://192.168.1.122:8181/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: tautulli + navidrome: + ct_id: 125 + compose_path: /opt/navidrome + healthcheck: + url: http://192.168.1.125:4533/ping + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: navidrome + # === READING & FINANCE === + calibre: + ct_id: 111 + compose_path: /opt/calibre-web + healthcheck: + url: http://192.168.1.111:8083/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: calibre-web + freshrss: + ct_id: 111 + compose_path: /opt/freshrss + healthcheck: + url: http://192.168.1.111:8090/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: freshrss + mealie: + ct_id: 110 + compose_path: /opt/lifestyle-lxc + healthcheck: + url: http://192.168.1.110:9925/api/app/about + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: mealie + # === NATIVE SERVICES (не Docker, apt-based) === + postgres-rbac: + ct_id: 151 + type: native + critical: true + backup: pgdump # pg_dump всей БД перед обновлением + headscale: + ct_id: 201 + type: native + critical: false + backup: snapshot + # === EXPERIMENTAL === + openclaw: + ct_id: 115 + compose_path: /opt/openclaw + healthcheck: + timeout: 10 + retries: 3 + url: http://192.168.1.115:18789/healthz + critical: false + backup: snapshot + container: openclaw diff --git a/ops/update-manager/services.yaml.before-waits b/ops/update-manager/services.yaml.before-waits new file mode 100644 index 0000000..2691c2e --- /dev/null +++ b/ops/update-manager/services.yaml.before-waits @@ -0,0 +1,293 @@ +# Реестр сервисов для Update Manager (полный спектр) +# Поле 'critical' определяет приоритет отката +# 'type': docker (по умолчанию) | native (apt/binary) + +services: + # === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА === + npm: + ct_id: 101 + compose_path: /opt/npm + healthcheck: + url: http://192.168.1.101:81/api/ + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: npm-app-1 + authentik: + ct_id: 114 + compose_path: /opt/authentik-security + healthcheck: + url: http://192.168.1.114:9000/-/health/live/ + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: authentik-security-server-1 + gitea: + ct_id: 140 + compose_path: /opt/gitea + healthcheck: + url: http://192.168.1.140:3000/api/v1/version + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: gitea + vaultwarden: + ct_id: 109 + compose_path: /opt/files-lxc + healthcheck: + url: http://192.168.1.109:8081/alive + timeout: 10 + retries: 3 + critical: true + backup: snapshot + container: vaultwarden + matrix: + ct_id: 155 + compose_path: /opt/matrix + healthcheck: + url: http://192.168.1.155:8008/_matrix/client/versions + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: matrix-synapse + # === АВТОМАТИЗАЦИЯ === + n8n: + ct_id: 108 + compose_path: /opt/automation-lxc + healthcheck: + url: http://192.168.1.108:5678/healthz + timeout: 15 + retries: 3 + critical: true + backup: snapshot + container: n8n + # === MONITORING & UTILS === + prometheus: + ct_id: 134 + compose_path: /opt/prometheus + healthcheck: + url: http://192.168.1.134:9090/-/healthy + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: prometheus + grafana: + ct_id: 113 + compose_path: /opt/grafana + healthcheck: + url: http://192.168.1.113:3000/api/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: grafana + uptime-kuma: + ct_id: 107 + compose_path: /opt/network-lxc + healthcheck: + url: http://192.168.1.107:3001/api/entry-page + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: uptime_kuma + # === PORTAL & DASHBOARDS === + dashy: + ct_id: 102 + compose_path: /opt/dashy + healthcheck: + url: http://192.168.1.102:8080/ + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: dashy + # === FILES & DOCS === + paperless: + ct_id: 105 + compose_path: /opt/sync-lxc + healthcheck: + url: http://192.168.1.105:8000/api/status/ + timeout: 20 + retries: 15 + auth_required: true + critical: false + backup: snapshot + container: paperless + syncthing: + ct_id: 139 + compose_path: /opt/syncthing + healthcheck: + url: http://192.168.1.139:8384/rest/system/version + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: syncthing + linkding: + ct_id: 127 + compose_path: /opt/linkding + healthcheck: + url: http://192.168.1.127:3000/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: linkding + # === MEDIA STACK === + jellyfin: + ct_id: 103 + compose_path: /opt/jellyfin + healthcheck: + url: http://192.168.1.103:8096/health + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: jellyfin + plex: + ct_id: 116 + compose_path: /opt/plex + healthcheck: + url: http://192.168.1.116:32400/identity + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: plex + sonarr: + ct_id: 117 + compose_path: /opt/sonarr + healthcheck: + url: http://192.168.1.117:8989/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: sonarr + radarr: + ct_id: 118 + compose_path: /opt/radarr + healthcheck: + url: http://192.168.1.118:7878/api/v3/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: radarr + prowlarr: + ct_id: 119 + compose_path: /opt/prowlarr + healthcheck: + url: http://192.168.1.119:9696/api/v1/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: prowlarr + bazarr: + ct_id: 120 + compose_path: /opt/bazarr + healthcheck: + url: http://192.168.1.120:6767/api/system/status + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: bazarr + overseerr: + ct_id: 121 + compose_path: /opt/overseerr + healthcheck: + url: http://192.168.1.121:5055/api/v1/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: overseerr + tautulli: + ct_id: 122 + compose_path: /opt/tautulli + healthcheck: + url: http://192.168.1.122:8181/status + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: tautulli + navidrome: + ct_id: 125 + compose_path: /opt/navidrome + healthcheck: + url: http://192.168.1.125:4533/ping + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: navidrome + # === READING & FINANCE === + calibre: + ct_id: 111 + compose_path: /opt/calibre-web + healthcheck: + url: http://192.168.1.111:8083/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: calibre-web + freshrss: + ct_id: 111 + compose_path: /opt/freshrss + healthcheck: + url: http://192.168.1.111:8090/ + timeout: 10 + retries: 3 + auth_required: true + critical: false + backup: snapshot + container: freshrss + mealie: + ct_id: 110 + compose_path: /opt/lifestyle-lxc + healthcheck: + url: http://192.168.1.110:9925/api/app/about + timeout: 10 + retries: 3 + critical: false + backup: snapshot + container: mealie + # === NATIVE SERVICES (не Docker, apt-based) === + postgres-rbac: + ct_id: 151 + type: native + critical: true + backup: pgdump # pg_dump всей БД перед обновлением + headscale: + ct_id: 201 + type: native + critical: false + backup: snapshot + # === EXPERIMENTAL === + openclaw: + ct_id: 115 + compose_path: /opt/openclaw + healthcheck: + timeout: 10 + retries: 3 + url: http://192.168.1.115:18789/healthz + critical: false + backup: snapshot + container: openclaw diff --git a/ops/update-manager/update-runner.sh b/ops/update-manager/update-runner.sh index e3cc224..fabf8ca 100755 --- a/ops/update-manager/update-runner.sh +++ b/ops/update-manager/update-runner.sh @@ -27,6 +27,7 @@ PG_HOST="${PG_HOST:-192.168.1.151}" PG_DB="${PG_DB:-buryan_monitoring}" PG_USER="${PG_USER:-buryan_monitor}" TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" +NOTIFY_URL="${NOTIFY_URL:-http://192.168.1.10:8099}" ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" DEFER_HOUR="${DEFER_HOUR:-03}" GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}" @@ -72,14 +73,22 @@ resolve_service() { } notify() { # $1 = текст сообщения + # Уведомления идут через ОБЩИЙ СЛОЙ: Matrix — основной канал, + # Telegram — зеркало. Раньше отсюда шли напрямую в Telegram, и в + # Matrix ничего не приходило, хотя весь смысл перевода был в этом. local token token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) - [ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; } - curl -s -m 25 -x "$TG_PROXY" -X POST \ - --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ - --data-urlencode "text=$1" \ - --data-urlencode "parse_mode=HTML" \ - "https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true + if [ -n "$token" ]; then + # Точка приёма понимает формат Telegram, прокси не нужен: она + # в локальной сети. Она же отправит зеркало в Telegram. + curl -s -m 25 -X POST \ + --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ + --data-urlencode "text=$1" \ + --data-urlencode "parse_mode=HTML" \ + "${NOTIFY_URL}/bot${token}/sendMessage" >/dev/null 2>&1 || true + else + log "нет токена бота алертов — уведомление не отправлено" + fi } create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата @@ -127,8 +136,13 @@ create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = # --- 1. Отложенные задачи: ночью становятся одобренными ---------------------- if [ "$(date +%H)" = "$DEFER_HOUR" ]; then + # Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились + # сегодня. Без этого условия блок выполнялся каждую минуту весь час + # и давал десятки одинаковых записей в журнале. moved=$(q "UPDATE update_queue SET status='approved', decided_at=now() - WHERE status='deferred' RETURNING id" | wc -l) + WHERE status='deferred' + AND (decided_at IS NULL OR decided_at::date < current_date) + RETURNING id" | wc -l) [ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved" fi @@ -153,6 +167,16 @@ q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts # Уведомления приходят с именем контейнера — переводим в имя сервиса реестра TARGET=$(resolve_service "$service") +# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре +# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`). +# Ищем по полю container в реестре. +if [ -z "$TARGET" ]; then + TARGET=$(awk -v c="$service" ' + /^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) } + $1 == "container:" && $2 == c { print svc; exit } + ' "$SERVICES_FILE") + [ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'" +fi if [ -z "$TARGET" ]; then q_finish "$id" failed "сервис '$service' не найден в реестре обновлений" notify "🚨 Обновление $service: сервис не найден в реестре обновлений. Добавьте его в services.yaml." @@ -179,7 +203,14 @@ if [ "$rc" -eq 0 ]; then res=$(echo "$out" | tail -3 | tr '\n' ' ') q_finish "$id" done "$res" log "задача $id выполнена" - notify "✅ $service обновлён до $newver" + # Версию берём из вывода safe-update.sh: он её знает, но раньше + # никуда не записывал — поэтому в уведомлении было «обновлён до» + # без числа. Если версии нет, честно пишем «текущая». + if [ -z "$newver" ] && [ -n "${res:-}" ]; then + newver=$(printf '%s' "$res" | grep -oE 'обновлён: [^ ]+' | tail -1 | sed 's/обновлён: //') + fi + [ -n "$newver" ] && q "UPDATE update_queue SET new_version='$newver' WHERE id=$id" >/dev/null + notify "✅ $service обновлён до ${newver:-текущая версия}" else res=$(echo "$out" | tail -6 | tr '\n' ' ') q_finish "$id" failed "$res" diff --git a/ops/update-manager/update-runner.sh.before-defect-fix b/ops/update-manager/update-runner.sh.before-defect-fix new file mode 100755 index 0000000..e3cc224 --- /dev/null +++ b/ops/update-manager/update-runner.sh.before-defect-fix @@ -0,0 +1,191 @@ +#!/bin/bash +# ============================================================ +# update-runner.sh — исполняет одобренные обновления (задача F6-4) +# ============================================================ +# Запускается по расписанию раз в минуту на pve. +# +# Что делает: +# 1. В 03:xx переводит отложенные задачи в одобренные. +# 2. Забирает одну одобренную задачу из update_queue. +# 3. Помечает её выполняющейся, вызывает safe-update.sh. +# 4. Записывает результат и уведомляет в Telegram. +# +# Одновременно выполняется только одна задача: параллельные обновления +# двух сервисов на одном хосте мешают друг другу и портят измерения +# healthcheck. Блокировка flock защищает от наложения запусков. +# +# Результат пишется в базу, поэтому историю видно без разбора журналов. +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log" + +PG_HOST="${PG_HOST:-192.168.1.151}" +PG_DB="${PG_DB:-buryan_monitoring}" +PG_USER="${PG_USER:-buryan_monitor}" +TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" +ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" +DEFER_HOUR="${DEFER_HOUR:-03}" +GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}" +GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}" + +mkdir -p "$(dirname "$LOG_FILE")" +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } + +# Пароль базы и токен бота — из защищённых файлов, не из командной строки +[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env +[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; } +export PGPASSWORD + +# Единственный экземпляр +exec 9>/var/lock/update-runner.lock +flock -n 9 || exit 0 + +q() { # $1 = SQL, печатает результат + psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE" +} + +q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата + # Подстановка :'res' не работает при одиночном запросе (-c), поэтому + # текст экранируется вручную и подставляется прямо в строку. + local txt="${3//\'/\'\'}" + psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \ + "UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \ + 2>>"$LOG_FILE" +} + +resolve_service() { + # Уведомления приходят с именами контейнеров, а реестр оперирует именами + # сервисов. Переводим одно в другое: сначала проверяем прямое совпадение, + # затем ищем сервис, у которого этот контейнер указан в поле container. + local name="$1" + if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then + echo "$name" + return 0 + fi + yq -r --arg c "$name" \ + '.services | to_entries[] | select(.value.container == $c) | .key' \ + "$SERVICES_FILE" 2>/dev/null | head -1 +} + +notify() { # $1 = текст сообщения + local token + token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) + [ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; } + curl -s -m 25 -x "$TG_PROXY" -X POST \ + --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ + --data-urlencode "text=$1" \ + --data-urlencode "parse_mode=HTML" \ + "https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true +} + +create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата + # Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1. + # + # Две ловушки, на которых это уже ломалось: + # 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"] + # возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер + # метки сначала запрашивается. + # 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об + # успехе по нему нельзя — проверяется код ответа HTTP. + local token label_id body code num + token=$(cat /root/.gitea_api 2>/dev/null) + [ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; } + + label_id=$(curl -s -m 20 -H "Authorization: token $token" \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \ + | jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1) + + body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \ + "$1" "$2" "$3" "$4") + + if [ -n "$label_id" ]; then + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \ + '{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json + else + log "метка sev:1 не найдена — задача будет создана без метки" + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \ + '{title:$t, body:$b}' > /tmp/update-issue.json + fi + + code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \ + -H "Authorization: token $token" \ + -H 'Content-Type: application/json' \ + --data-binary @/tmp/update-issue.json \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues") + + if [ "$code" = "201" ]; then + num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null) + log "создана задача в Gitea №${num} с меткой sev:1" + else + log "не удалось создать задачу в Gitea, код ответа ${code}" + fi +} + +# --- 1. Отложенные задачи: ночью становятся одобренными ---------------------- +if [ "$(date +%H)" = "$DEFER_HOUR" ]; then + moved=$(q "UPDATE update_queue SET status='approved', decided_at=now() + WHERE status='deferred' RETURNING id" | wc -l) + [ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved" +fi + +# --- 2. Берём одну одобренную задачу ---------------------------------------- +row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'') + FROM update_queue + WHERE status = 'approved' + ORDER BY decided_at NULLS LAST, id + LIMIT 1") + +if [ -z "$row" ]; then + exit 0 +fi + +id="${row%%|*}"; rest="${row#*|}" +service="${rest%%|*}"; rest="${rest#*|}" +newver="${rest%%|*}"; ct="${rest#*|}" + +log "взята задача $id: $service -> $newver (CT $ct)" + +q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null + +# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра +TARGET=$(resolve_service "$service") +if [ -z "$TARGET" ]; then + q_finish "$id" failed "сервис '$service' не найден в реестре обновлений" + notify "🚨 Обновление $service: сервис не найден в реестре обновлений. Добавьте его в services.yaml." + log "не удалось сопоставить '$service' с реестром" + exit 1 +fi + +if [ "$TARGET" != "$service" ]; then + log "сервис '$service' сопоставлен с реестровой записью '$TARGET'" +fi + +if [ ! -x "$SAFE_UPDATE" ]; then + q_finish "$id" failed "не найден safe-update.sh" + notify "🚨 Обновление $service не запущено: не найден safe-update.sh" + log "нет $SAFE_UPDATE" + exit 1 +fi + +# --- 3. Выполняем ----------------------------------------------------------- +out=$("$SAFE_UPDATE" "$TARGET" 2>&1) +rc=$? + +if [ "$rc" -eq 0 ]; then + res=$(echo "$out" | tail -3 | tr '\n' ' ') + q_finish "$id" done "$res" + log "задача $id выполнена" + notify "✅ $service обновлён до $newver" +else + res=$(echo "$out" | tail -6 | tr '\n' ' ') + q_finish "$id" failed "$res" + log "задача $id провалена" + create_rollback_issue "$service" "$newver" "$ct" "$res" + notify "🚨 $service — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1." +fi + +exit 0 diff --git a/ops/update-manager/update-runner.sh.before-notify-fix b/ops/update-manager/update-runner.sh.before-notify-fix new file mode 100755 index 0000000..461e1c6 --- /dev/null +++ b/ops/update-manager/update-runner.sh.before-notify-fix @@ -0,0 +1,206 @@ +#!/bin/bash +# ============================================================ +# update-runner.sh — исполняет одобренные обновления (задача F6-4) +# ============================================================ +# Запускается по расписанию раз в минуту на pve. +# +# Что делает: +# 1. В 03:xx переводит отложенные задачи в одобренные. +# 2. Забирает одну одобренную задачу из update_queue. +# 3. Помечает её выполняющейся, вызывает safe-update.sh. +# 4. Записывает результат и уведомляет в Telegram. +# +# Одновременно выполняется только одна задача: параллельные обновления +# двух сервисов на одном хосте мешают друг другу и портят измерения +# healthcheck. Блокировка flock защищает от наложения запусков. +# +# Результат пишется в базу, поэтому историю видно без разбора журналов. +# ============================================================ +set -uo pipefail + +REPO_ROOT="/root/buryan-infra" +SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh" +SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml" +LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log" + +PG_HOST="${PG_HOST:-192.168.1.151}" +PG_DB="${PG_DB:-buryan_monitoring}" +PG_USER="${PG_USER:-buryan_monitor}" +TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}" +ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}" +DEFER_HOUR="${DEFER_HOUR:-03}" +GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}" +GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}" + +mkdir -p "$(dirname "$LOG_FILE")" +log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; } + +# Пароль базы и токен бота — из защищённых файлов, не из командной строки +[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env +[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; } +export PGPASSWORD + +# Единственный экземпляр +exec 9>/var/lock/update-runner.lock +flock -n 9 || exit 0 + +q() { # $1 = SQL, печатает результат + psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE" +} + +q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата + # Подстановка :'res' не работает при одиночном запросе (-c), поэтому + # текст экранируется вручную и подставляется прямо в строку. + local txt="${3//\'/\'\'}" + psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \ + "UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \ + 2>>"$LOG_FILE" +} + +resolve_service() { + # Уведомления приходят с именами контейнеров, а реестр оперирует именами + # сервисов. Переводим одно в другое: сначала проверяем прямое совпадение, + # затем ищем сервис, у которого этот контейнер указан в поле container. + local name="$1" + if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then + echo "$name" + return 0 + fi + yq -r --arg c "$name" \ + '.services | to_entries[] | select(.value.container == $c) | .key' \ + "$SERVICES_FILE" 2>/dev/null | head -1 +} + +notify() { # $1 = текст сообщения + local token + token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-) + [ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; } + curl -s -m 25 -x "$TG_PROXY" -X POST \ + --data-urlencode "chat_id=${ALERT_CHAT_ID}" \ + --data-urlencode "text=$1" \ + --data-urlencode "parse_mode=HTML" \ + "https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true +} + +create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата + # Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1. + # + # Две ловушки, на которых это уже ломалось: + # 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"] + # возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер + # метки сначала запрашивается. + # 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об + # успехе по нему нельзя — проверяется код ответа HTTP. + local token label_id body code num + token=$(cat /root/.gitea_api 2>/dev/null) + [ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; } + + label_id=$(curl -s -m 20 -H "Authorization: token $token" \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \ + | jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1) + + body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \ + "$1" "$2" "$3" "$4") + + if [ -n "$label_id" ]; then + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \ + '{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json + else + log "метка sev:1 не найдена — задача будет создана без метки" + jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \ + '{title:$t, body:$b}' > /tmp/update-issue.json + fi + + code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \ + -H "Authorization: token $token" \ + -H 'Content-Type: application/json' \ + --data-binary @/tmp/update-issue.json \ + "${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues") + + if [ "$code" = "201" ]; then + num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null) + log "создана задача в Gitea №${num} с меткой sev:1" + else + log "не удалось создать задачу в Gitea, код ответа ${code}" + fi +} + +# --- 1. Отложенные задачи: ночью становятся одобренными ---------------------- +if [ "$(date +%H)" = "$DEFER_HOUR" ]; then + # Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились + # сегодня. Без этого условия блок выполнялся каждую минуту весь час + # и давал десятки одинаковых записей в журнале. + moved=$(q "UPDATE update_queue SET status='approved', decided_at=now() + WHERE status='deferred' + AND (decided_at IS NULL OR decided_at::date < current_date) + RETURNING id" | wc -l) + [ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved" +fi + +# --- 2. Берём одну одобренную задачу ---------------------------------------- +row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'') + FROM update_queue + WHERE status = 'approved' + ORDER BY decided_at NULLS LAST, id + LIMIT 1") + +if [ -z "$row" ]; then + exit 0 +fi + +id="${row%%|*}"; rest="${row#*|}" +service="${rest%%|*}"; rest="${rest#*|}" +newver="${rest%%|*}"; ct="${rest#*|}" + +log "взята задача $id: $service -> $newver (CT $ct)" + +q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null + +# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра +TARGET=$(resolve_service "$service") +# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре +# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`). +# Ищем по полю container в реестре. +if [ -z "$TARGET" ]; then + TARGET=$(awk -v c="$service" ' + /^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) } + $1 == "container:" && $2 == c { print svc; exit } + ' "$SERVICES_FILE") + [ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'" +fi +if [ -z "$TARGET" ]; then + q_finish "$id" failed "сервис '$service' не найден в реестре обновлений" + notify "🚨 Обновление $service: сервис не найден в реестре обновлений. Добавьте его в services.yaml." + log "не удалось сопоставить '$service' с реестром" + exit 1 +fi + +if [ "$TARGET" != "$service" ]; then + log "сервис '$service' сопоставлен с реестровой записью '$TARGET'" +fi + +if [ ! -x "$SAFE_UPDATE" ]; then + q_finish "$id" failed "не найден safe-update.sh" + notify "🚨 Обновление $service не запущено: не найден safe-update.sh" + log "нет $SAFE_UPDATE" + exit 1 +fi + +# --- 3. Выполняем ----------------------------------------------------------- +out=$("$SAFE_UPDATE" "$TARGET" 2>&1) +rc=$? + +if [ "$rc" -eq 0 ]; then + res=$(echo "$out" | tail -3 | tr '\n' ' ') + q_finish "$id" done "$res" + log "задача $id выполнена" + notify "✅ $service обновлён до $newver" +else + res=$(echo "$out" | tail -6 | tr '\n' ' ') + q_finish "$id" failed "$res" + log "задача $id провалена" + create_rollback_issue "$service" "$newver" "$ct" "$res" + notify "🚨 $service — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1." +fi + +exit 0 diff --git a/ops/update-manager/update.log b/ops/update-manager/update.log index ad67eed..932d337 100644 --- a/ops/update-manager/update.log +++ b/ops/update-manager/update.log @@ -851,3 +851,5 @@ unknown [2026-10-15 22:37:44] сервис ответил на попытке 1 [2026-10-15 22:37:44] ✅ Проверка пройдена [2026-10-15 22:37:45] снимок удалён +[2026-10-15 22:37:45] ✅ зафиксировано в Git и отправлено +[2026-10-15 22:37:45] 🎉 authentik обновлён: ghcr.io/goauthentik/server:latest diff --git a/ops/update-manager/validate-registry.sh b/ops/update-manager/validate-registry.sh new file mode 100755 index 0000000..2f41a5a --- /dev/null +++ b/ops/update-manager/validate-registry.sh @@ -0,0 +1,89 @@ +#!/bin/bash +# ============================================================ +# validate-registry.sh — проверка: все ли службы реально обновляемы +# ============================================================ +# Для каждой службы в реестре проверяю то, что нужно скрипту: +# 1. контейнер существует в указанном CT; +# 2. каталог compose существует (если указан); +# 3. адрес проверки здоровья отвечает ожидаемым кодом. +# Ничего не меняю — только показываю, где обновление не сработает. +# ============================================================ +set -uo pipefail +Y=/root/buryan-infra/ops/update-manager/services.yaml + +printf ' %-24s %-5s %-10s %-10s %s\n' "служба" "CT" "контейнер" "compose" "проверка" +echo " --------------------------------------------------------------------------------------------" + +ok=0; bad=0 +for svc in $(yq -r '.services | keys[]' "$Y" 2>/dev/null); do + type=$(yq -r ".services.${svc}.type // \"docker\"" "$Y") + ct=$(yq -r ".services.${svc}.ct_id // \"\"" "$Y") + + if [ "$type" = "native" ]; then + # нативные: проверяю, что CT существует + if pct status "$ct" >/dev/null 2>&1; then + printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "native, CT есть" + ok=$((ok+1)) + else + printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "CT НЕ НАЙДЕН" + bad=$((bad+1)) + fi + continue + fi + + cont=$(yq -r ".services.${svc}.container // \"\"" "$Y") + path=$(yq -r ".services.${svc}.compose_path // \"\"" "$Y") + url=$(yq -r ".services.${svc}.healthcheck.url // \"\"" "$Y") + codes=$(yq -r ".services.${svc}.healthcheck.accept_codes // \"\"" "$Y") + auth=$(yq -r ".services.${svc}.healthcheck.auth_required // false" "$Y") + # ВАЖНО: службы с паролем отвечают 401/403 — это признак ЖИВОЙ службы, + # а не сбоя. Скрипт обновления учитывает это через auth_required. + # Моя первая версия проверки этого не знала и дала 6 ложных тревог. + if [ -z "$codes" ]; then + if [ "$auth" = "true" ]; then codes="200 201 204 301 302 401 403" + else codes="200 201 204 301 302"; fi + fi + + # 1. контейнер + cstate="?" + if [ -n "$cont" ]; then + if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then + cstate="есть" + else + cstate="НЕТ" + fi + else + cstate="не указан" + fi + + # 2. compose + pstate="—" + if [ -n "$path" ]; then + if pct exec "$ct" -- test -d "$path" 2>/dev/null; then + pstate="есть" + else + pstate="НЕТ" + fi + fi + + # 3. здоровье + hstate="—" + if [ -n "$url" ]; then + code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 "$url" 2>/dev/null) + match=0 + for okc in $codes; do [ "$code" = "$okc" ] && match=1; done + if [ "$match" -eq 1 ]; then hstate="ok($code)"; else hstate="СБОЙ($code)"; fi + fi + + printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "$cstate" "$pstate" "$hstate" + + if [ "$cstate" = "есть" ] && [ "$pstate" != "НЕТ" ] && [[ "$hstate" != СБОЙ* ]]; then + ok=$((ok+1)) + else + bad=$((bad+1)) + fi +done + +echo " --------------------------------------------------------------------------------------------" +echo " обновляемы: $ok" +echo " есть проблемы: $bad"