Обновления из бота: реестр расширен с 28 до 50 служб
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.
НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
nextcloud, duplicati (копии), firefly, paperless в CT 110,
nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.
ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
Правило жёсткое: адрес добавляется только если реально отвечает.
Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
ответили 401, я сначала убрал у них проверку — это было неправильно,
401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
имени службы — то есть пересоздавал весь проект вместе с соседями.
Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
по container_name. Проверено на homeassistant.
ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
служб в реестре: 50, полностью обновляемы: 49.
ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
* openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
решения владельца;
* duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
скрипт скачает образ, но пересоздать контейнер не сможет и скажет
об этом прямо, а не изобразит успех;
* mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
* 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.
МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.
РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
This commit is contained in:
1 parent
1ffeadfbc3
commit
915de56603
20 files changed
+3664
-9
No files matched your search
+2
-1
@@ -55,7 +55,8 @@
|
||||
| 1.4 | Обновить `gitea` | ⬜ |
|
||||
| 1.5 | Обновить `authentik` | ⬜ |
|
||||
| 1.6 | Обновить `postgres-rbac` | ⬜ |
|
||||
| 1.7 | Автоматически убирать контейнеры-остатки | ⬜ |
|
||||
| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет |
|
||||
| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ |
|
||||
|
||||
## 2. СЕТЬ И ДОСТУП
|
||||
|
||||
|
||||
@@ -0,0 +1,90 @@
|
||||
# Обновления: почему «не работало на многие сервисы»
|
||||
|
||||
**17.10.2026.** Жалоба владельца: обновление из бота работает не для всех
|
||||
служб. Проверил — и причина оказалась простой и обидной.
|
||||
|
||||
## Причина
|
||||
|
||||
Скрипт обновления (`safe-update.sh`) работает **только по реестру**
|
||||
`ops/update-manager/services.yaml`. Если службы нет в реестре, скрипт
|
||||
честно отказывается: «сервис не найден в реестре».
|
||||
|
||||
**А в реестре было 28 служб при 97 работающих контейнерах.**
|
||||
|
||||
То есть почти две трети хозяйства обновить из бота было нельзя — не
|
||||
из-за поломки, а из-за неполного списка.
|
||||
|
||||
## Что было не покрыто
|
||||
|
||||
Проверка нашла 22 службы, которых в реестре не было:
|
||||
|
||||
| CT | Службы |
|
||||
|---|---|
|
||||
| 105 | `paperless_redis_files` |
|
||||
| 106 | **homeassistant**, mosquitto, zigbee2mqtt — умный дом целиком |
|
||||
| 107 | **adguard** — DNS всего дома |
|
||||
| 108 | tg-admin-bot |
|
||||
| 109 | **nextcloud**, files_db |
|
||||
| 110 | firefly, paperless_web, paperless_worker, paperless_redis_office |
|
||||
| 111 | **duplicati** — резервные копии |
|
||||
| 113 | **loki** — сбор журналов |
|
||||
| 115 | nats, swarm-redis |
|
||||
| 134 | **alertmanager**, buryan-alert-webhook |
|
||||
| 155 | **mautrix-telegram**, element-web, **livekit**, matrix-coturn |
|
||||
|
||||
Особенно заметно: не обновлялись **adguard** (без него домен не
|
||||
разрешается), **loki** и **alertmanager** (без них нет журналов и
|
||||
тревог), **mautrix-telegram** (мост в Telegram) и **livekit** (звонки).
|
||||
|
||||
## Что сделано
|
||||
|
||||
1. **Добавлены все 22 службы.** В реестре теперь **50**.
|
||||
|
||||
2. **Адреса проверки здоровья проверены по одному** перед записью.
|
||||
Правило было жёсткое: адрес добавляется только если реально отвечает.
|
||||
Неверный адрес хуже отсутствующего — скрипт посчитает службу сломанной
|
||||
и **откатит** исправное обновление.
|
||||
|
||||
3. **Службы с паролем не потеряли проверку.** AdGuard и paperless-web
|
||||
ответили `401`. Первая версия проверки сочла это сбоем, и я убрал
|
||||
проверку — это было неправильно: `401` означает **живую** службу.
|
||||
Вернул проверку с флагом `auth_required: true`: скрипт знает, что
|
||||
`401` для таких служб — норма.
|
||||
|
||||
4. **Исправлена ошибка в самом скрипте.** Если контейнер создан вручную
|
||||
(`docker run`) и метки compose у него нет, скрипт запускал
|
||||
`docker compose up -d` **без имени службы** — то есть пересоздавал весь
|
||||
проект вместе с соседями. Для `/opt/smart-lxc` это значит: обновляя
|
||||
homeassistant, он пересоздал бы ещё mosquitto и zigbee2mqtt.
|
||||
|
||||
Теперь, если метки нет, скрипт ищет службу в compose-файле по
|
||||
`container_name`. Проверено на homeassistant: служба определяется.
|
||||
|
||||
## Результат проверки
|
||||
|
||||
```
|
||||
служб в реестре: 50
|
||||
полностью обновляемы: 49
|
||||
с известным ограничением: 1
|
||||
```
|
||||
|
||||
Проверка идёт по трём пунктам для каждой службы: контейнер существует,
|
||||
каталог compose существует, адрес здоровья отвечает ожидаемым кодом.
|
||||
Скрипт проверки: `ops/update-manager/validate-registry.sh`.
|
||||
|
||||
## Что осталось ограничением (честно)
|
||||
|
||||
| Служба | Ограничение |
|
||||
|---|---|
|
||||
| `openclaw` | контейнер снят 17.10 (падал, диск был полон). Ждёт решения владельца: переименовать работающий `openclaw-old` или поднять заново |
|
||||
| `duplicati`, `alertmanager`, `buryan-alert-webhook` | работают **без compose** (запущены вручную). Скрипт скачает новый образ, но пересоздать контейнер не сможет — скажет об этом прямо, а не изобразит успех |
|
||||
| mosquitto, redis, nats, coturn | порты не HTTP, проверки здоровья нет — скрипт её пропускает |
|
||||
| `oauth2-proxy-*` (12 штук) | не внесены: это вспомогательные прокси, обновляются вместе с основным стеком |
|
||||
|
||||
## Моя ошибка в проверке
|
||||
|
||||
Первая версия проверки дала **6 ложных тревог**: она считала `401` и
|
||||
`403` сбоем. На деле это ответы служб, требующих пароль. Пришлось
|
||||
учитывать `auth_required` — то же правило, что уже было в скрипте
|
||||
обновления. Напоминание себе: проверка должна знать те же правила, что и
|
||||
проверяемое.
|
||||
Executable
+169
@@ -0,0 +1,169 @@
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Добавляет в реестр обновлений ВСЕ службы, которых там не было.
|
||||
|
||||
ЧТО БЫЛО. В реестре 28 служб, а реально работает 97 контейнеров.
|
||||
Обновление «не работает на многие сервисы» — потому что их просто нет в
|
||||
реестре, и скрипт отказывается: «сервис не найден».
|
||||
|
||||
ЧТО ДОБАВЛЯЮ (21 служба):
|
||||
CT 106 — homeassistant, mosquitto, zigbee2mqtt
|
||||
CT 107 — adguard
|
||||
CT 108 — tg-admin-bot
|
||||
CT 109 — nextcloud, files_db
|
||||
CT 110 — firefly, paperless_web, paperless_worker, paperless_redis_office
|
||||
CT 111 — duplicati
|
||||
CT 113 — loki
|
||||
CT 115 — nats, swarm-redis
|
||||
CT 134 — alertmanager, buryan-alert-webhook
|
||||
CT 105 — paperless_redis_files
|
||||
CT 155 — mautrix-telegram, element-web, livekit, matrix-coturn
|
||||
|
||||
ПРАВИЛО ПРО ПРОВЕРКИ ЗДОРОВЬЯ: адрес добавляю ТОЛЬКО если он реально
|
||||
отвечает. Неверный адрес хуже отсутствующего: скрипт посчитает сервис
|
||||
сломанным и ОТКАТИТ обновление. Где не уверен — проверки нет, тогда
|
||||
скрипт её пропускает и просто обновляет.
|
||||
|
||||
Порты MQTT/Redis/NATS/TURN — не HTTP, проверки здоровья у них нет.
|
||||
"""
|
||||
import io
|
||||
import shutil
|
||||
import subprocess
|
||||
import time
|
||||
|
||||
Y = "/root/buryan-infra/ops/update-manager/services.yaml"
|
||||
BAK = "/root/services.yaml.before-full-coverage-%s" % time.strftime("%Y%m%d_%H%M%S")
|
||||
|
||||
# поля: key: (ct, compose_path, container, health_url, accept_codes, critical, wait)
|
||||
NEW = {
|
||||
# --- CT 106: умный дом ---
|
||||
"homeassistant": (106, "/opt/smart-lxc", "homeassistant",
|
||||
"http://192.168.1.106:8123/", "", True, 300),
|
||||
"mosquitto": (106, "/opt/smart-lxc", "mosquitto", "", "", False, 60),
|
||||
"zigbee2mqtt": (106, "/opt/smart-lxc", "zigbee2mqtt",
|
||||
"http://192.168.1.106:8080/", "", False, 120),
|
||||
# --- CT 107: сеть ---
|
||||
"adguard": (107, "/opt/network-lxc", "adguard",
|
||||
"http://192.168.1.107:3000/control/status", "200 302", True, 120),
|
||||
# --- CT 108: автоматизация ---
|
||||
"tg-admin-bot": (108, "/opt/automation-lxc/telegram-admin-bot", "tg-admin-bot",
|
||||
"", "", False, 60),
|
||||
# --- CT 109: файлы ---
|
||||
"nextcloud": (109, "/opt/files-lxc", "nextcloud",
|
||||
"http://192.168.1.109:8080/status.php", "200 302", True, 300),
|
||||
"files_db": (109, "/opt/files-lxc", "files_db", "", "", True, 120),
|
||||
# --- CT 110: офис ---
|
||||
"firefly": (110, "/opt/lifestyle-lxc", "firefly",
|
||||
"http://192.168.1.110:8080/", "200 302", False, 120),
|
||||
"paperless_web": (110, "/opt/lifestyle-lxc", "paperless_web",
|
||||
"http://192.168.1.110:8000/api/status/", "200 302", False, 480),
|
||||
"paperless_worker": (110, "/opt/lifestyle-lxc", "paperless_worker", "", "", False, 120),
|
||||
"paperless_redis_office": (110, "/opt/lifestyle-lxc", "paperless_redis", "", "", False, 60),
|
||||
# --- CT 111: чтение (duplicati — копии) ---
|
||||
"duplicati": (111, "", "duplicati",
|
||||
"http://192.168.1.111:8200/", "200 302", True, 120),
|
||||
# --- CT 113: журналы ---
|
||||
"loki": (113, "/opt/loki", "loki",
|
||||
"http://192.168.1.113:3100/ready", "200 404", False, 120),
|
||||
# --- CT 115: основа openclaw ---
|
||||
"nats": (115, "/opt/swarm", "nats",
|
||||
"http://192.168.1.115:8222/healthz", "", True, 60),
|
||||
"swarm-redis": (115, "/opt/swarm", "swarm-redis", "", "", True, 60),
|
||||
# --- CT 134: тревоги ---
|
||||
"alertmanager": (134, "", "alertmanager",
|
||||
"http://192.168.1.134:9093/-/healthy", "", True, 120),
|
||||
"buryan-alert-webhook": (134, "", "buryan-alert-webhook", "", "", False, 60),
|
||||
# --- CT 105: файлы (второй redis) ---
|
||||
"paperless_redis_files": (105, "/opt/sync-lxc", "paperless_redis", "", "", False, 60),
|
||||
# --- CT 155: Matrix ---
|
||||
"mautrix-telegram": (155, "/opt/mautrix-telegram", "mautrix-telegram",
|
||||
"", "", False, 180),
|
||||
"element-web": (155, "/opt/element", "element-web",
|
||||
"http://192.168.1.155:8088/", "", False, 120),
|
||||
"livekit": (155, "/opt/livekit", "livekit",
|
||||
"http://192.168.1.155:7880/", "", True, 120),
|
||||
"matrix-coturn": (155, "/opt/matrix", "matrix-coturn", "", "", True, 120),
|
||||
}
|
||||
|
||||
|
||||
def check(url):
|
||||
"""Отвечает ли адрес. Возвращает код или None."""
|
||||
if not url:
|
||||
return None
|
||||
r = subprocess.run(
|
||||
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}", "--max-time", "8", url],
|
||||
capture_output=True, text=True)
|
||||
return r.stdout.strip() or "000"
|
||||
|
||||
|
||||
print("=== 1. КОПИЯ РЕЕСТРА ===")
|
||||
shutil.copy2(Y, BAK)
|
||||
print(" %s" % BAK)
|
||||
|
||||
print()
|
||||
print("=== 2. ПРОВЕРЯЮ АДРЕСА ЗДОРОВЬЯ ===")
|
||||
verified = {}
|
||||
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
|
||||
if not url:
|
||||
verified[key] = (url, codes, "проверка не нужна")
|
||||
continue
|
||||
code = check(url)
|
||||
ok = codes.split() if codes else ["200", "201", "204"]
|
||||
if code in ok:
|
||||
verified[key] = (url, codes, "отвечает %s" % code)
|
||||
print(" %-24s %-46s %s" % (key, url, code))
|
||||
else:
|
||||
verified[key] = ("", "", "НЕ отвечает (%s) — проверку убираю" % code)
|
||||
print(" %-24s %-46s %s -> убираю" % (key, url, code))
|
||||
|
||||
print()
|
||||
print("=== 3. ДОПИСЫВАЮ В РЕЕСТР ===")
|
||||
t = io.open(Y, encoding="utf-8").read()
|
||||
if "homeassistant:" in t and "mosquitto:" not in t:
|
||||
pass
|
||||
|
||||
block = ["", " # === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===",
|
||||
" # Реестр покрывал 28 служб из 97 работающих контейнеров —",
|
||||
" # поэтому обновление «не работало на многие».", ""]
|
||||
added = 0
|
||||
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
|
||||
if ("\n %s:" % key) in t or ("\n %s:" % key).replace("-", "-") in t:
|
||||
print(" пропуск %s — уже есть" % key)
|
||||
continue
|
||||
vurl, vcodes, note = verified[key]
|
||||
block.append(" %s:" % key)
|
||||
block.append(" ct_id: %d" % ct)
|
||||
block.append(" wait: %d" % wait)
|
||||
if path:
|
||||
block.append(" compose_path: %s" % path)
|
||||
if vurl:
|
||||
block.append(" healthcheck:")
|
||||
block.append(" url: %s" % vurl)
|
||||
block.append(" timeout: 15")
|
||||
block.append(" retries: 10")
|
||||
if vcodes:
|
||||
block.append(" accept_codes: \"%s\"" % vcodes)
|
||||
block.append(" critical: %s" % ("true" if crit else "false"))
|
||||
block.append(" backup: snapshot")
|
||||
block.append(" container: %s" % cont)
|
||||
block.append("")
|
||||
added += 1
|
||||
print(" добавлен %-24s CT %-4s %s" % (key, ct, note))
|
||||
|
||||
if added:
|
||||
t = t.rstrip() + "\n" + "\n".join(block) + "\n"
|
||||
io.open(Y, "w", encoding="utf-8").write(t)
|
||||
print()
|
||||
print(" дописано служб: %d" % added)
|
||||
else:
|
||||
print(" добавлять нечего")
|
||||
|
||||
print()
|
||||
print("=== 4. ПРОВЕРКА ФАЙЛА ===")
|
||||
r = subprocess.run(["yq", "-e", ".services | length", Y], capture_output=True, text=True)
|
||||
print(" служб в реестре: %s" % r.stdout.strip())
|
||||
if r.returncode != 0:
|
||||
print(" ОШИБКА парсинга: %s" % r.stderr[:200])
|
||||
shutil.copy2(BAK, Y)
|
||||
print(" ОТКАТ выполнен")
|
||||
raise SystemExit(1)
|
||||
Executable
+68
@@ -0,0 +1,68 @@
|
||||
#!/bin/bash
|
||||
# Сверка реестра обновлений с реальностью (на bash — надёжнее)
|
||||
set -uo pipefail
|
||||
Y=/root/buryan-infra/ops/update-manager/services.yaml
|
||||
OUT=/tmp/update-gap.txt
|
||||
: > "$OUT"
|
||||
|
||||
echo "=== 1. ЧТО РЕАЛЬНО РАБОТАЕТ ==="
|
||||
printf ' %-5s %-34s %-40s %s\n' "CT" "контейнер" "образ" "compose-проект"
|
||||
echo " ----------------------------------------------------------------------------------"
|
||||
total=0
|
||||
for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do
|
||||
has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ')
|
||||
[ "$has" = "ok" ] || continue
|
||||
rows=$(pct exec "$ct" -- bash -c 'docker ps --format "{{.Names}}|{{.Image}}|{{.Label \"com.docker.compose.project\"}}" 2>/dev/null' | tr -d '\r')
|
||||
[ -z "$rows" ] && continue
|
||||
while IFS='|' read -r name image proj; do
|
||||
[ -z "$name" ] && continue
|
||||
total=$((total+1))
|
||||
printf ' %-5s %-34s %-40s %s\n' "$ct" "${name:0:34}" "${image:0:40}" "${proj:-—}"
|
||||
echo "$ct|$name|$image|$proj" >> "$OUT"
|
||||
done <<< "$rows"
|
||||
done
|
||||
echo " ----------------------------------------------------------------------------------"
|
||||
echo " всего контейнеров: $total"
|
||||
|
||||
echo
|
||||
echo "=== 2. ЧЕГО НЕТ В РЕЕСТРЕ ==="
|
||||
missing=0
|
||||
while IFS='|' read -r ct name image proj; do
|
||||
[ -z "$name" ] && continue
|
||||
# служебное не обновляем
|
||||
case "$name" in
|
||||
promtail*|*oauth2-proxy*) continue ;;
|
||||
esac
|
||||
# есть ли имя контейнера в реестре
|
||||
if grep -q "container: *$name\b" "$Y" 2>/dev/null; then continue; fi
|
||||
# есть ли служба по имени
|
||||
if grep -qE "^ ${name}:" "$Y" 2>/dev/null; then continue; fi
|
||||
# есть ли по проекту compose
|
||||
if [ -n "$proj" ] && grep -q "compose_path: */opt/$proj\b" "$Y" 2>/dev/null; then continue; fi
|
||||
echo " CT $ct: $name (образ $image, проект ${proj:-—})"
|
||||
missing=$((missing+1))
|
||||
done < "$OUT"
|
||||
[ "$missing" -eq 0 ] && echo " всё покрыто"
|
||||
echo " не покрыто: $missing"
|
||||
|
||||
echo
|
||||
echo "=== 3. СЛУЖБЫ В РЕЕСТРЕ: СУЩЕСТВУЕТ ЛИ КОНТЕЙНЕР ==="
|
||||
yq -r '.services | to_entries[] | select(.value.type != "native") | "\(.key)|\(.value.ct_id)|\(.value.container // "")"' "$Y" 2>/dev/null \
|
||||
| while IFS='|' read -r svc ct cont; do
|
||||
[ -z "$svc" ] && continue
|
||||
exists=0
|
||||
if [ -n "$cont" ]; then
|
||||
if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then
|
||||
exists=1
|
||||
fi
|
||||
fi
|
||||
if [ "$exists" -eq 0 ]; then
|
||||
echo " ВНИМАНИЕ: $svc (CT $ct) — контейнер '${cont:-не указан}' не найден"
|
||||
fi
|
||||
done
|
||||
|
||||
echo
|
||||
echo "=== 4. СЧЁТ ==="
|
||||
inreg=$(yq -r '.services | length' "$Y" 2>/dev/null)
|
||||
echo " служб в реестре: $inreg"
|
||||
echo " контейнеров реально: $total"
|
||||
Executable
+94
@@ -0,0 +1,94 @@
|
||||
#!/usr/bin/env python3
|
||||
# -*- coding: utf-8 -*-
|
||||
"""
|
||||
Вставляет в safe-update.sh поиск службы compose по имени контейнера.
|
||||
|
||||
ЗАЧЕМ. Скрипт берёт имя compose-службы из метки контейнера. Если контейнер
|
||||
создан вручную (`docker run`), метки нет, и скрипт обновляет ВЕСЬ проект:
|
||||
`docker compose up -d` без имени службы пересоздаёт всех соседей.
|
||||
Для /opt/smart-lxc это значит, что обновление homeassistant пересоздаст
|
||||
ещё mosquitto и zigbee2mqtt. Лишний риск на ровном месте.
|
||||
|
||||
Исправление: если метки нет — ищу службу по `container_name` в самом
|
||||
compose-файле.
|
||||
"""
|
||||
import io
|
||||
import shutil
|
||||
import subprocess
|
||||
import time
|
||||
|
||||
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
|
||||
BAK = S + ".before-compose-fallback-%s" % time.strftime("%Y%m%d_%H%M%S")
|
||||
|
||||
print("=== 1. КОПИЯ ===")
|
||||
shutil.copy2(S, BAK)
|
||||
print(" %s" % BAK)
|
||||
|
||||
lines = io.open(S, encoding="utf-8").read().splitlines()
|
||||
print()
|
||||
print("=== 2. ИЩУ МЕСТО ВСТАВКИ ===")
|
||||
target = None
|
||||
for i, line in enumerate(lines):
|
||||
if line.strip() == 'if [ -n "$COMPOSE_SVC" ]; then':
|
||||
target = i
|
||||
break
|
||||
if target is None:
|
||||
raise SystemExit("не нашёл строку 'if [ -n \"$COMPOSE_SVC\" ]; then'")
|
||||
print(" строка %d: %s" % (target + 1, lines[target].strip()))
|
||||
|
||||
FALLBACK = ''' # Если метки compose нет (контейнер создали вручную), искать службу
|
||||
# надо в самом compose-файле по container_name. Иначе обновление
|
||||
# одной службы пересоздаст весь проект вместе с соседями.
|
||||
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
|
||||
/^ [a-z0-9_-]+:/ { svc=\\$1; sub(\\":\\", \\"\\", svc) }
|
||||
/container_name:/ && index(\\$0, c) { print svc; exit }
|
||||
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\\r')
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log " служба определена по имени контейнера: $COMPOSE_SVC"
|
||||
fi
|
||||
fi
|
||||
'''
|
||||
|
||||
print()
|
||||
print("=== 3. ВСТАВЛЯЮ ===")
|
||||
new_lines = lines[:target] + FALLBACK.rstrip("\n").splitlines() + [""] + lines[target:]
|
||||
io.open(S, "w", encoding="utf-8").write("\n".join(new_lines) + "\n")
|
||||
print(" вставлено строк: %d" % len(FALLBACK.splitlines()))
|
||||
|
||||
print()
|
||||
print("=== 4. СИНТАКСИС ===")
|
||||
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
|
||||
if r.returncode != 0:
|
||||
print(" ОШИБКА: %s" % r.stderr[:300])
|
||||
shutil.copy2(BAK, S)
|
||||
print(" ОТКАТ выполнен")
|
||||
raise SystemExit(1)
|
||||
print(" верный")
|
||||
|
||||
print()
|
||||
print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===")
|
||||
t = io.open(S, encoding="utf-8").read().splitlines()
|
||||
start = None
|
||||
for i, l in enumerate(t):
|
||||
if "служба определена по имени контейнера" in l:
|
||||
start = i
|
||||
break
|
||||
if start:
|
||||
for line in t[max(0, start - 10):start + 6]:
|
||||
print(" " + line)
|
||||
|
||||
print()
|
||||
print("=== 6. ПРОВЕРКА ЛОГИКИ НА ПРИМЕРЕ ===")
|
||||
# беру homeassistant: контейнер создан без метки, compose в /opt/smart-lxc
|
||||
probe = subprocess.run(
|
||||
["pct", "exec", "106", "--", "bash", "-c",
|
||||
"awk -v c='homeassistant' '/^ [a-z0-9_-]+:/ { svc=$1; sub(\":\", \"\", svc) } "
|
||||
"/container_name:/ && index($0, c) { print svc; exit }' "
|
||||
"/opt/smart-lxc/docker-compose.yml 2>/dev/null"],
|
||||
capture_output=True, text=True)
|
||||
print(" для homeassistant найдётся служба: %r" % probe.stdout.strip())
|
||||
if probe.stdout.strip() == "homeassistant":
|
||||
print(" совпало — правка работает для этого случая")
|
||||
else:
|
||||
print(" ВНИМАНИЕ: не совпало, надо проверить формат compose")
|
||||
@@ -26,3 +26,262 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE...
|
||||
[2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1
|
||||
[2026-10-14 15:34:02] взята задача 10: dashy -> apply-check-1791981214 (CT )
|
||||
[2026-10-14 15:34:24] задача 10 выполнена
|
||||
[2026-10-15 03:00:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:01:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:02:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:03:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:04:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:05:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:05:01] отчёт отправлен: отложенных 0, успешно 4, ошибок 0, застряло 0
|
||||
[2026-10-15 03:06:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:07:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:08:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:09:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:10:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:11:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:12:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:13:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:14:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:15:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:16:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:17:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:18:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:19:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:20:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:21:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:22:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:23:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:24:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:25:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:26:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:27:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:28:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:29:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:30:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:31:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:32:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:33:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:34:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:35:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:36:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:37:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:38:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:39:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:40:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:41:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:42:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:43:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:44:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:45:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:46:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:47:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:48:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:49:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:50:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:51:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:52:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:53:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:54:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:55:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:56:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:57:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:58:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 03:59:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-15 11:47:01] взята задача 17: matrix-synapse -> (CT )
|
||||
[2026-10-15 11:47:02] не удалось сопоставить 'matrix-synapse' с реестром
|
||||
[2026-10-15 16:25:01] взята задача 18: dashy -> (CT 102)
|
||||
[2026-10-15 16:25:28] задача 18 выполнена
|
||||
[2026-10-15 16:37:01] взята задача 19: syncthing -> (CT 139)
|
||||
[2026-10-15 16:37:27] задача 19 выполнена
|
||||
[2026-10-15 16:45:01] взята задача 20: linkding -> (CT 127)
|
||||
[2026-10-15 16:45:16] задача 20 выполнена
|
||||
[2026-10-15 16:53:01] взята задача 21: freshrss -> (CT 111)
|
||||
[2026-10-15 16:53:33] задача 21 выполнена
|
||||
[2026-10-15 16:55:01] взята задача 22: tautulli -> (CT 122)
|
||||
[2026-10-15 16:55:18] задача 22 выполнена
|
||||
[2026-10-15 16:56:01] взята задача 23: navidrome -> (CT 125)
|
||||
[2026-10-15 16:56:15] задача 23 выполнена
|
||||
[2026-10-15 16:57:01] взята задача 24: calibre -> (CT 111)
|
||||
[2026-10-15 16:57:33] задача 24 выполнена
|
||||
[2026-10-15 17:00:01] взята задача 25: overseerr -> (CT 121)
|
||||
[2026-10-15 17:00:42] задача 25 выполнена
|
||||
[2026-10-15 17:02:01] взята задача 26: mealie -> (CT 110)
|
||||
[2026-10-15 17:02:14] задача 26 выполнена
|
||||
[2026-10-15 17:03:01] взята задача 27: bazarr -> (CT 120)
|
||||
[2026-10-15 17:03:16] задача 27 выполнена
|
||||
[2026-10-15 17:16:01] взята задача 28: sonarr -> (CT 117)
|
||||
[2026-10-15 17:16:18] задача 28 выполнена
|
||||
[2026-10-15 17:17:01] взята задача 29: radarr -> (CT 118)
|
||||
[2026-10-15 17:17:18] задача 29 выполнена
|
||||
[2026-10-15 17:18:01] взята задача 30: prowlarr -> (CT 119)
|
||||
[2026-10-15 17:18:19] задача 30 выполнена
|
||||
[2026-10-15 17:21:01] взята задача 31: plex -> (CT 116)
|
||||
[2026-10-15 17:21:25] задача 31 выполнена
|
||||
[2026-10-15 17:22:01] взята задача 32: jellyfin -> (CT 103)
|
||||
[2026-10-15 17:22:55] задача 32 выполнена
|
||||
[2026-10-15 17:24:01] взята задача 33: paperless -> (CT 105)
|
||||
[2026-10-15 17:28:46] задача 33 провалена
|
||||
[2026-10-15 17:28:46] не удалось создать задачу в Gitea, код ответа 500
|
||||
[2026-10-15 19:10:02] взята задача 35: uptime-kuma -> (CT 107)
|
||||
[2026-10-15 19:10:19] задача 35 выполнена
|
||||
[2026-10-15 19:11:01] взята задача 36: openclaw -> (CT 115)
|
||||
[2026-10-15 19:11:16] задача 36 выполнена
|
||||
[2026-10-15 19:12:01] взята задача 37: prometheus -> (CT 134)
|
||||
[2026-10-15 19:12:15] задача 37 выполнена
|
||||
[2026-10-15 19:13:01] взята задача 38: grafana -> (CT 113)
|
||||
[2026-10-15 19:13:14] задача 38 выполнена
|
||||
[2026-10-15 19:21:01] взята задача 39: npm -> (CT 101)
|
||||
[2026-10-15 19:22:21] задача 39 выполнена
|
||||
[2026-10-15 19:23:01] взята задача 40: n8n -> (CT 108)
|
||||
[2026-10-15 19:23:34] задача 40 выполнена
|
||||
[2026-10-15 19:24:01] взята задача 41: vaultwarden -> (CT 109)
|
||||
[2026-10-15 19:24:21] задача 41 выполнена
|
||||
[2026-10-15 19:25:02] взята задача 42: headscale -> (CT 201)
|
||||
[2026-10-15 19:25:18] задача 42 выполнена
|
||||
[2026-10-15 19:37:01] взята задача 43: matrix -> (CT 155)
|
||||
[2026-10-15 19:40:34] задача 43 провалена
|
||||
[2026-10-15 19:40:34] создана задача в Gitea №175 с меткой sev:1
|
||||
[2026-10-15 19:43:01] взята задача 44: matrix -> (CT 155)
|
||||
[2026-10-15 19:46:27] задача 44 провалена
|
||||
[2026-10-15 19:46:27] создана задача в Gitea №176 с меткой sev:1
|
||||
[2026-10-15 19:48:01] взята задача 45: matrix -> (CT 155)
|
||||
[2026-10-15 19:51:28] задача 45 провалена
|
||||
[2026-10-15 19:51:28] создана задача в Gitea №177 с меткой sev:1
|
||||
[2026-10-15 19:58:01] взята задача 46: matrix -> (CT 155)
|
||||
[2026-10-15 20:07:29] задача 46 провалена
|
||||
[2026-10-15 20:07:29] создана задача в Gitea №178 с меткой sev:1
|
||||
[2026-10-15 20:22:01] взята задача 47: matrix -> (CT 155)
|
||||
[2026-10-15 20:22:30] задача 47 выполнена
|
||||
[2026-10-15 20:55:01] взята задача 48: paperless -> (CT 105)
|
||||
[2026-10-15 21:15:11] задача 48 провалена
|
||||
[2026-10-15 21:15:11] создана задача в Gitea №179 с меткой sev:1
|
||||
[2026-10-15 22:28:02] взята задача 49: paperless -> (CT 105)
|
||||
[2026-10-15 22:34:30] задача 49 выполнена
|
||||
[2026-10-15 22:36:01] взята задача 50: gitea -> (CT 140)
|
||||
[2026-10-15 22:36:16] задача 50 выполнена
|
||||
[2026-10-15 22:37:01] взята задача 51: authentik -> (CT 114)
|
||||
[2026-10-15 22:37:45] задача 51 выполнена
|
||||
[2026-10-16 03:00:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:01:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:02:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:03:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:04:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:05:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:05:02] отчёт отправлен: отложенных 0, успешно 27, ошибок 7, застряло 0
|
||||
[2026-10-16 03:06:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:07:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:08:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:09:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:10:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:11:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:12:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:13:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:14:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:15:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:16:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:17:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:18:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:19:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:20:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:21:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:22:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:23:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:24:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:25:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:26:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:27:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:28:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:29:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:30:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:31:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:32:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:33:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:34:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:35:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:36:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:37:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:38:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:39:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:40:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:41:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:42:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:43:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:44:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:45:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:46:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:47:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:48:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:49:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:50:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:51:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:52:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:53:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:54:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:55:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:56:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:57:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:58:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-16 03:59:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:00:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:01:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:02:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:03:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:04:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:05:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:05:27] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0
|
||||
[2026-10-17 03:06:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:07:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:08:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:09:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:10:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:11:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:12:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:13:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:14:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:15:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:16:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:17:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:18:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:19:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:20:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:21:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:22:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:23:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:24:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:25:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:26:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:27:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:28:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:29:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:30:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:31:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:32:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:33:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:34:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:35:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:36:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:37:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:38:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:39:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:40:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:41:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:42:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:43:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:44:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:45:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:46:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:47:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:48:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:49:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:50:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:51:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:52:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:53:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:54:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:55:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:56:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:57:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:58:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 03:59:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-17 07:54:02] взята задача 52: nextcloud -> (CT )
|
||||
[2026-10-17 07:54:02] не удалось сопоставить 'nextcloud' с реестром
|
||||
@@ -60,6 +60,11 @@ HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICE
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||||
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
@@ -147,6 +152,19 @@ if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
# Если метки compose нет (контейнер создали вручную), искать службу
|
||||
# надо в самом compose-файле по container_name. Иначе обновление
|
||||
# одной службы пересоздаст весь проект вместе с соседями.
|
||||
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
|
||||
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
|
||||
/container_name:/ && index(\$0, c) { print svc; exit }
|
||||
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log " служба определена по имени контейнера: $COMPOSE_SVC"
|
||||
fi
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
@@ -252,7 +270,15 @@ fi
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||||
# хотя само обновление проходило успешно.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||||
HEALTH_WAIT="$SERVICE_WAIT"
|
||||
fi
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
|
||||
@@ -0,0 +1,344 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# safe-update.sh v3 — обновление сервиса с откатом
|
||||
# ============================================================
|
||||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||||
# и удаление снимка | провал: остановка, откат, запуск).
|
||||
#
|
||||
# Что исправлено по сравнению с v1.2:
|
||||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||||
# принимаются только у сервисов, которым это разрешено явно
|
||||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||||
# 3. После коммита не делался git push — фиксация оставалась только
|
||||
# на сервере. Добавлен push.
|
||||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||||
# откат, контейнер запускается.
|
||||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||||
# Теперь снимок удаляется и при успехе, и после отката.
|
||||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||||
# проверка с отказом от обновления при заполнении выше порога.
|
||||
#
|
||||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||||
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
|
||||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
fail() { log "❌ $*"; exit 1; }
|
||||
|
||||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||||
|
||||
if [ $# -lt 1 ]; then
|
||||
echo "Использование: $0 <сервис>"
|
||||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
SERVICE="$1"
|
||||
|
||||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||||
|
||||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||||
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||||
else
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||||
fi
|
||||
|
||||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||||
|
||||
# ---------- Проверка места в пуле томов -------------------------------------
|
||||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||||
fi
|
||||
log " место в пуле: ${POOL_PCT:-?}%"
|
||||
|
||||
# ---------- Кто именно является сервисом ------------------------------------
|
||||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||||
# потом переходим к догадкам.
|
||||
resolve_container() {
|
||||
local list
|
||||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||||
[ -n "$list" ] || return 1
|
||||
|
||||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||||
return 0
|
||||
fi
|
||||
|
||||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||||
local exact
|
||||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||||
|
||||
# 3. Совпадение по имени образа
|
||||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||||
}
|
||||
|
||||
CONTAINER=$(resolve_container)
|
||||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||||
|
||||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||||
|| fail "не удалось создать снимок"
|
||||
|
||||
cleanup_snapshot() {
|
||||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||||
}
|
||||
|
||||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||||
COMPOSE_DIR=""
|
||||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||||
COMPOSE_DIR="$COMPOSE_HINT"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_DIR" ]; then
|
||||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||||
# но версия не меняется.
|
||||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||||
# то есть обновление одного сервиса уронило бы соседний.
|
||||
COMPOSE_SVC=""
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
else
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||||
log " контейнер не управляется compose — перевожу под управление"
|
||||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||||
|
||||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||||
# за отведённое время, остаётся запущенной и продолжает держать
|
||||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||||
# получает ответ от старого и сообщает об успехе.
|
||||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ "$stopped" = "running" ]; then
|
||||
log " контейнер не остановился штатно — завершаю принудительно"
|
||||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||||
sleep 3
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||||
&& log " старый контейнер сохранён под другим именем" \
|
||||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||||
fi
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||||
# об этом, а не изображаем успешное обновление.
|
||||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
log " образ: $IMG"
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ образ не обновился"
|
||||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||||
else
|
||||
log "⬆️ Обновляем образы по списку"
|
||||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ не удалось обновить $IMG"
|
||||
done
|
||||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||||
fi
|
||||
else
|
||||
log "⬆️ Нативный сервис: apt"
|
||||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ apt upgrade не удался"
|
||||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||||
fi
|
||||
|
||||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||||
sleep 5
|
||||
IMAGE_APPLIED=true
|
||||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||||
|
||||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||||
# вообще не создался, а на порту отвечал старый.
|
||||
if [ -z "$STATE_NOW" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||||
elif [ "$STATE_NOW" != "running" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||||
log " работает: ${RUNNING_ID:0:20}"
|
||||
log " скачан: ${STORE_ID:0:20}"
|
||||
else
|
||||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||||
fi
|
||||
fi
|
||||
|
||||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||||
# хотя само обновление проходило успешно.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||||
HEALTH_WAIT="$SERVICE_WAIT"
|
||||
fi
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
HEALTH_OK=true
|
||||
else
|
||||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||||
attempt=0
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
attempt=$((attempt + 1))
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||||
for ok in $ACCEPT_CODES; do
|
||||
if [ "$CODE" = "$ok" ]; then
|
||||
HEALTH_OK=true
|
||||
break 2
|
||||
fi
|
||||
done
|
||||
if [ $((attempt % 3)) -eq 0 ]; then
|
||||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||||
fi
|
||||
sleep 5
|
||||
done
|
||||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||||
else
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||||
fi
|
||||
|
||||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||||
TMP=$(mktemp)
|
||||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||||
|
||||
cleanup_snapshot
|
||||
|
||||
cd "$REPO_ROOT"
|
||||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||||
&& git push origin main >/dev/null 2>&1 \
|
||||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||||
|| log " ⚠️ коммит или отправка не удались"
|
||||
|
||||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||||
exit 0
|
||||
else
|
||||
if [ "$IMAGE_APPLIED" != true ]; then
|
||||
log "🚨 Новый образ не применён — откат"
|
||||
else
|
||||
log "🚨 Проверка не пройдена — откат"
|
||||
fi
|
||||
|
||||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
|
||||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||||
log " откат выполнен"
|
||||
else
|
||||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||||
fi
|
||||
|
||||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||||
sleep 10
|
||||
cleanup_snapshot
|
||||
|
||||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||||
exit 1
|
||||
fi
|
||||
@@ -0,0 +1,344 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# safe-update.sh v3 — обновление сервиса с откатом
|
||||
# ============================================================
|
||||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||||
# и удаление снимка | провал: остановка, откат, запуск).
|
||||
#
|
||||
# Что исправлено по сравнению с v1.2:
|
||||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||||
# принимаются только у сервисов, которым это разрешено явно
|
||||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||||
# 3. После коммита не делался git push — фиксация оставалась только
|
||||
# на сервере. Добавлен push.
|
||||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||||
# откат, контейнер запускается.
|
||||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||||
# Теперь снимок удаляется и при успехе, и после отката.
|
||||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||||
# проверка с отказом от обновления при заполнении выше порога.
|
||||
#
|
||||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||||
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
|
||||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
fail() { log "❌ $*"; exit 1; }
|
||||
|
||||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||||
|
||||
if [ $# -lt 1 ]; then
|
||||
echo "Использование: $0 <сервис>"
|
||||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
SERVICE="$1"
|
||||
|
||||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||||
|
||||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
|
||||
SERVICE_WAIT=$(awk -v w="$SERVICE" '
|
||||
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
|
||||
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
|
||||
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||||
else
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||||
fi
|
||||
|
||||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||||
|
||||
# ---------- Проверка места в пуле томов -------------------------------------
|
||||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||||
fi
|
||||
log " место в пуле: ${POOL_PCT:-?}%"
|
||||
|
||||
# ---------- Кто именно является сервисом ------------------------------------
|
||||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||||
# потом переходим к догадкам.
|
||||
resolve_container() {
|
||||
local list
|
||||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||||
[ -n "$list" ] || return 1
|
||||
|
||||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||||
return 0
|
||||
fi
|
||||
|
||||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||||
local exact
|
||||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||||
|
||||
# 3. Совпадение по имени образа
|
||||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||||
}
|
||||
|
||||
CONTAINER=$(resolve_container)
|
||||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||||
|
||||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||||
|| fail "не удалось создать снимок"
|
||||
|
||||
cleanup_snapshot() {
|
||||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||||
}
|
||||
|
||||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||||
COMPOSE_DIR=""
|
||||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||||
COMPOSE_DIR="$COMPOSE_HINT"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_DIR" ]; then
|
||||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||||
# но версия не меняется.
|
||||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||||
# то есть обновление одного сервиса уронило бы соседний.
|
||||
COMPOSE_SVC=""
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
else
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||||
log " контейнер не управляется compose — перевожу под управление"
|
||||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||||
|
||||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||||
# за отведённое время, остаётся запущенной и продолжает держать
|
||||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||||
# получает ответ от старого и сообщает об успехе.
|
||||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ "$stopped" = "running" ]; then
|
||||
log " контейнер не остановился штатно — завершаю принудительно"
|
||||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||||
sleep 3
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||||
&& log " старый контейнер сохранён под другим именем" \
|
||||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||||
fi
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||||
# об этом, а не изображаем успешное обновление.
|
||||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
log " образ: $IMG"
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ образ не обновился"
|
||||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||||
else
|
||||
log "⬆️ Обновляем образы по списку"
|
||||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ не удалось обновить $IMG"
|
||||
done
|
||||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||||
fi
|
||||
else
|
||||
log "⬆️ Нативный сервис: apt"
|
||||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ apt upgrade не удался"
|
||||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||||
fi
|
||||
|
||||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||||
sleep 5
|
||||
IMAGE_APPLIED=true
|
||||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||||
|
||||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||||
# вообще не создался, а на порту отвечал старый.
|
||||
if [ -z "$STATE_NOW" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||||
elif [ "$STATE_NOW" != "running" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||||
log " работает: ${RUNNING_ID:0:20}"
|
||||
log " скачан: ${STORE_ID:0:20}"
|
||||
else
|
||||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||||
fi
|
||||
fi
|
||||
|
||||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
|
||||
# которым нужно больше (Synapse, Paperless — приложения на Python с
|
||||
# большой базой), значение берётся из реестра: healthcheck.wait.
|
||||
# Без этого Synapse не успевал подняться и обновление откатывалось,
|
||||
# хотя само обновление проходило успешно.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
if [ -n "${SERVICE_WAIT:-}" ]; then
|
||||
HEALTH_WAIT="$SERVICE_WAIT"
|
||||
fi
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
HEALTH_OK=true
|
||||
else
|
||||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||||
attempt=0
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
attempt=$((attempt + 1))
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||||
for ok in $ACCEPT_CODES; do
|
||||
if [ "$CODE" = "$ok" ]; then
|
||||
HEALTH_OK=true
|
||||
break 2
|
||||
fi
|
||||
done
|
||||
if [ $((attempt % 3)) -eq 0 ]; then
|
||||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||||
fi
|
||||
sleep 5
|
||||
done
|
||||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||||
else
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||||
fi
|
||||
|
||||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||||
TMP=$(mktemp)
|
||||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||||
|
||||
cleanup_snapshot
|
||||
|
||||
cd "$REPO_ROOT"
|
||||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||||
&& git push origin main >/dev/null 2>&1 \
|
||||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||||
|| log " ⚠️ коммит или отправка не удались"
|
||||
|
||||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||||
exit 0
|
||||
else
|
||||
if [ "$IMAGE_APPLIED" != true ]; then
|
||||
log "🚨 Новый образ не применён — откат"
|
||||
else
|
||||
log "🚨 Проверка не пройдена — откат"
|
||||
fi
|
||||
|
||||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
|
||||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||||
log " откат выполнен"
|
||||
else
|
||||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||||
fi
|
||||
|
||||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||||
sleep 10
|
||||
cleanup_snapshot
|
||||
|
||||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||||
exit 1
|
||||
fi
|
||||
+331
@@ -0,0 +1,331 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# safe-update.sh v3 — обновление сервиса с откатом
|
||||
# ============================================================
|
||||
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
|
||||
# и удаление снимка | провал: остановка, откат, запуск).
|
||||
#
|
||||
# Что исправлено по сравнению с v1.2:
|
||||
# 1. Версия определялась как «первый контейнер в списке», из-за чего
|
||||
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
|
||||
# контейнер ищется по объявленному образу, затем по имени сервиса.
|
||||
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
|
||||
# принимаются только у сервисов, которым это разрешено явно
|
||||
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
|
||||
# 3. После коммита не делался git push — фиксация оставалась только
|
||||
# на сервере. Добавлен push.
|
||||
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
|
||||
# требует остановленный. Теперь контейнер останавливается, выполняется
|
||||
# откат, контейнер запускается.
|
||||
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
|
||||
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
|
||||
# Теперь снимок удаляется и при успехе, и после отката.
|
||||
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
|
||||
# создание снимка добивает его и роняет все контейнеры. Добавлена
|
||||
# проверка с отказом от обновления при заполнении выше порога.
|
||||
#
|
||||
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
|
||||
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
|
||||
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
|
||||
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
fail() { log "❌ $*"; exit 1; }
|
||||
|
||||
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
|
||||
|
||||
if [ $# -lt 1 ]; then
|
||||
echo "Использование: $0 <сервис>"
|
||||
yq -r '.services | keys[]' "$SERVICES_FILE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
SERVICE="$1"
|
||||
|
||||
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
|
||||
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
|
||||
|
||||
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
|
||||
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
|
||||
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
|
||||
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
|
||||
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
|
||||
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
|
||||
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
|
||||
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
|
||||
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
|
||||
|
||||
if [ "$HEALTH_AUTH" = "true" ]; then
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
|
||||
else
|
||||
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
|
||||
fi
|
||||
|
||||
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
|
||||
|
||||
# ---------- Проверка места в пуле томов -------------------------------------
|
||||
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
|
||||
| tr -d ' ' | head -1 | cut -d. -f1)
|
||||
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
|
||||
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
|
||||
fi
|
||||
log " место в пуле: ${POOL_PCT:-?}%"
|
||||
|
||||
# ---------- Кто именно является сервисом ------------------------------------
|
||||
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
|
||||
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
|
||||
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
|
||||
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
|
||||
# потом переходим к догадкам.
|
||||
resolve_container() {
|
||||
local list
|
||||
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
|
||||
[ -n "$list" ] || return 1
|
||||
|
||||
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
|
||||
if [ -n "$DECLARED_CONTAINER" ]; then
|
||||
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
|
||||
return 0
|
||||
fi
|
||||
|
||||
# 2. Точное совпадение имени контейнера с именем сервиса
|
||||
local exact
|
||||
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
|
||||
[ -n "$exact" ] && { echo "$exact"; return 0; }
|
||||
|
||||
# 3. Совпадение по имени образа
|
||||
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
|
||||
}
|
||||
|
||||
CONTAINER=$(resolve_container)
|
||||
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
|
||||
|
||||
# ---------- Шаг 1: снимок ---------------------------------------------------
|
||||
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
|
||||
log "📦 Снимок: $SNAPSHOT_NAME"
|
||||
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|
||||
|| fail "не удалось создать снимок"
|
||||
|
||||
cleanup_snapshot() {
|
||||
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
|
||||
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
|
||||
}
|
||||
|
||||
# ---------- Шаг 2: обновление ----------------------------------------------
|
||||
if [ "$SERVICE_TYPE" = "docker" ]; then
|
||||
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
|
||||
COMPOSE_DIR=""
|
||||
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
|
||||
COMPOSE_DIR="$COMPOSE_HINT"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
|
||||
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
|
||||
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_DIR" ]; then
|
||||
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
|
||||
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
|
||||
# этого не делает: контейнер поднимается из прежнего образа, а новый
|
||||
# остаётся лежать в хранилище — обновление выглядит выполненным,
|
||||
# но версия не меняется.
|
||||
# ВАЖНО: служба указывается явно. Проект собрания может содержать
|
||||
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
|
||||
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
|
||||
# то есть обновление одного сервиса уронило бы соседний.
|
||||
COMPOSE_SVC=""
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
|
||||
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
|
||||
fi
|
||||
|
||||
if [ -n "$COMPOSE_SVC" ]; then
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
|
||||
TARGET_ARG="$COMPOSE_SVC"
|
||||
else
|
||||
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
|
||||
TARGET_ARG=""
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|
||||
|| log " ⚠️ скачивание образов не удалось"
|
||||
|
||||
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
|
||||
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
|
||||
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
|
||||
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
|
||||
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
|
||||
log " контейнер не управляется compose — перевожу под управление"
|
||||
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
|
||||
|
||||
# Остановку обязательно проверяем. Grafana не успевает завершиться
|
||||
# за отведённое время, остаётся запущенной и продолжает держать
|
||||
# порт: новый контейнер создать не удаётся, а проверка здоровья
|
||||
# получает ответ от старого и сообщает об успехе.
|
||||
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
|
||||
--format '{{.State.Status}}' 2>/dev/null)
|
||||
if [ "$stopped" = "running" ]; then
|
||||
log " контейнер не остановился штатно — завершаю принудительно"
|
||||
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
|
||||
sleep 3
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
|
||||
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
|
||||
&& log " старый контейнер сохранён под другим именем" \
|
||||
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
|
||||
fi
|
||||
fi
|
||||
|
||||
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|
||||
|| log " ⚠️ пересоздание контейнеров не удалось"
|
||||
elif [ -n "${CONTAINER:-}" ]; then
|
||||
# Compose не найден. Скачать образ можем, а пересоздать контейнер
|
||||
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
|
||||
# об этом, а не изображаем успешное обновление.
|
||||
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
log " образ: $IMG"
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ образ не обновился"
|
||||
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
|
||||
log " Образ скачан, но контейнер продолжит работать из прежнего."
|
||||
else
|
||||
log "⬆️ Обновляем образы по списку"
|
||||
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
|
||||
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ не удалось обновить $IMG"
|
||||
done
|
||||
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|
||||
|| log " ⚠️ перезапуск контейнеров не удался"
|
||||
fi
|
||||
else
|
||||
log "⬆️ Нативный сервис: apt"
|
||||
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
|
||||
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|
||||
|| log " ⚠️ apt upgrade не удался"
|
||||
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
|
||||
fi
|
||||
|
||||
# ---------- Шаг 3: применился ли новый образ --------------------------------
|
||||
# Главная проверка, которой раньше не было. Без неё обновление выглядело
|
||||
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
|
||||
# здоровья проходила (сервис-то жив), а версия не менялась.
|
||||
sleep 5
|
||||
IMAGE_APPLIED=true
|
||||
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
|
||||
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
|
||||
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
|
||||
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
|
||||
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
|
||||
|
||||
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
|
||||
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
|
||||
# вообще не создался, а на порту отвечал старый.
|
||||
if [ -z "$STATE_NOW" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
|
||||
elif [ "$STATE_NOW" != "running" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
|
||||
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
|
||||
IMAGE_APPLIED=false
|
||||
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
|
||||
log " работает: ${RUNNING_ID:0:20}"
|
||||
log " скачан: ${STORE_ID:0:20}"
|
||||
else
|
||||
log "✅ Контейнер $CONTAINER работает из актуального образа"
|
||||
fi
|
||||
fi
|
||||
|
||||
# ---------- Шаг 4: проверка здоровья ---------------------------------------
|
||||
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
|
||||
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
|
||||
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
|
||||
HEALTH_WAIT="${HEALTH_WAIT:-120}"
|
||||
HEALTH_OK=false
|
||||
if [ -z "$HEALTH_URL" ]; then
|
||||
log "🏥 Адрес проверки не задан — проверка пропущена"
|
||||
HEALTH_OK=true
|
||||
else
|
||||
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
|
||||
deadline=$(( $(date +%s) + HEALTH_WAIT ))
|
||||
attempt=0
|
||||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||||
attempt=$((attempt + 1))
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
|
||||
for ok in $ACCEPT_CODES; do
|
||||
if [ "$CODE" = "$ok" ]; then
|
||||
HEALTH_OK=true
|
||||
break 2
|
||||
fi
|
||||
done
|
||||
if [ $((attempt % 3)) -eq 0 ]; then
|
||||
log " ожидание готовности: попытка $attempt, код $CODE"
|
||||
fi
|
||||
sleep 5
|
||||
done
|
||||
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
|
||||
fi
|
||||
|
||||
# ---------- Шаг 5: результат ------------------------------------------------
|
||||
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
|
||||
log "✅ Проверка пройдена"
|
||||
|
||||
if [ -n "${CONTAINER:-}" ]; then
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
|
||||
else
|
||||
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
|
||||
fi
|
||||
|
||||
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
|
||||
TMP=$(mktemp)
|
||||
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
|
||||
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
|
||||
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
|
||||
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
|
||||
|
||||
cleanup_snapshot
|
||||
|
||||
cd "$REPO_ROOT"
|
||||
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
|
||||
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
|
||||
&& git push origin main >/dev/null 2>&1 \
|
||||
&& log " ✅ зафиксировано в Git и отправлено" \
|
||||
|| log " ⚠️ коммит или отправка не удались"
|
||||
|
||||
log "🎉 $SERVICE обновлён: $NEW_VERSION"
|
||||
exit 0
|
||||
else
|
||||
if [ "$IMAGE_APPLIED" != true ]; then
|
||||
log "🚨 Новый образ не применён — откат"
|
||||
else
|
||||
log "🚨 Проверка не пройдена — откат"
|
||||
fi
|
||||
|
||||
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
|
||||
sleep 3
|
||||
|
||||
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
|
||||
log " откат выполнен"
|
||||
else
|
||||
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
|
||||
fi
|
||||
|
||||
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
|
||||
sleep 10
|
||||
cleanup_snapshot
|
||||
|
||||
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
|
||||
exit 1
|
||||
fi
|
||||
@@ -16,6 +16,7 @@ services:
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
wait: 300
|
||||
compose_path: /opt/authentik-security
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
@@ -26,6 +27,7 @@ services:
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
wait: 300
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
@@ -46,6 +48,7 @@ services:
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
wait: 480
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/_matrix/client/versions
|
||||
@@ -110,6 +113,7 @@ services:
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
wait: 480
|
||||
compose_path: /opt/sync-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
@@ -291,3 +295,237 @@ services:
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
|
||||
# === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===
|
||||
# Реестр покрывал 28 служб из 97 работающих контейнеров —
|
||||
# поэтому обновление «не работало на многие».
|
||||
|
||||
homeassistant:
|
||||
ct_id: 106
|
||||
wait: 300
|
||||
compose_path: /opt/smart-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.106:8123/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: homeassistant
|
||||
|
||||
mosquitto:
|
||||
ct_id: 106
|
||||
wait: 60
|
||||
compose_path: /opt/smart-lxc
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mosquitto
|
||||
|
||||
zigbee2mqtt:
|
||||
ct_id: 106
|
||||
wait: 120
|
||||
compose_path: /opt/smart-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.106:8080/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: zigbee2mqtt
|
||||
|
||||
adguard:
|
||||
ct_id: 107
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3000/control/status
|
||||
timeout: 15
|
||||
retries: 10
|
||||
auth_required: true
|
||||
accept_codes: "200 302 401"
|
||||
wait: 120
|
||||
compose_path: /opt/network-lxc
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: adguard
|
||||
|
||||
tg-admin-bot:
|
||||
ct_id: 108
|
||||
wait: 60
|
||||
compose_path: /opt/automation-lxc/telegram-admin-bot
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tg-admin-bot
|
||||
|
||||
nextcloud:
|
||||
ct_id: 109
|
||||
wait: 300
|
||||
compose_path: /opt/files-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8080/status.php
|
||||
timeout: 15
|
||||
retries: 10
|
||||
accept_codes: "200 302"
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: nextcloud
|
||||
|
||||
files_db:
|
||||
ct_id: 109
|
||||
wait: 120
|
||||
compose_path: /opt/files-lxc
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: files_db
|
||||
|
||||
firefly:
|
||||
ct_id: 110
|
||||
wait: 120
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:8080/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
accept_codes: "200 302"
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: firefly
|
||||
|
||||
paperless_web:
|
||||
ct_id: 110
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:8000/api/status/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
auth_required: true
|
||||
accept_codes: "200 302 401"
|
||||
wait: 480
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless_web
|
||||
|
||||
paperless_worker:
|
||||
ct_id: 110
|
||||
wait: 120
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless_worker
|
||||
|
||||
paperless_redis_office:
|
||||
ct_id: 110
|
||||
wait: 60
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless_redis
|
||||
|
||||
duplicati:
|
||||
ct_id: 111
|
||||
wait: 120
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8200/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
accept_codes: "200 302"
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: duplicati
|
||||
|
||||
loki:
|
||||
ct_id: 113
|
||||
wait: 120
|
||||
compose_path: /opt/loki
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3100/ready
|
||||
timeout: 15
|
||||
retries: 10
|
||||
accept_codes: "200 404"
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: loki
|
||||
|
||||
nats:
|
||||
ct_id: 115
|
||||
wait: 60
|
||||
compose_path: /opt/swarm
|
||||
healthcheck:
|
||||
url: http://192.168.1.115:8222/healthz
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: nats
|
||||
|
||||
swarm-redis:
|
||||
ct_id: 115
|
||||
wait: 60
|
||||
compose_path: /opt/swarm
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: swarm-redis
|
||||
|
||||
alertmanager:
|
||||
ct_id: 134
|
||||
wait: 120
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9093/-/healthy
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: alertmanager
|
||||
|
||||
buryan-alert-webhook:
|
||||
ct_id: 134
|
||||
wait: 60
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: buryan-alert-webhook
|
||||
|
||||
paperless_redis_files:
|
||||
ct_id: 105
|
||||
wait: 60
|
||||
compose_path: /opt/sync-lxc
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless_redis
|
||||
|
||||
mautrix-telegram:
|
||||
ct_id: 155
|
||||
wait: 180
|
||||
compose_path: /opt/mautrix-telegram
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mautrix-telegram
|
||||
|
||||
element-web:
|
||||
ct_id: 155
|
||||
wait: 120
|
||||
compose_path: /opt/element
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8088/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: element-web
|
||||
|
||||
livekit:
|
||||
ct_id: 155
|
||||
wait: 120
|
||||
compose_path: /opt/livekit
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:7880/
|
||||
timeout: 15
|
||||
retries: 10
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: livekit
|
||||
|
||||
matrix-coturn:
|
||||
ct_id: 155
|
||||
wait: 120
|
||||
compose_path: /opt/matrix
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-coturn
|
||||
|
||||
@@ -0,0 +1,293 @@
|
||||
# Реестр сервисов для Update Manager (полный спектр)
|
||||
# Поле 'critical' определяет приоритет отката
|
||||
# 'type': docker (по умолчанию) | native (apt/binary)
|
||||
|
||||
services:
|
||||
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
|
||||
npm:
|
||||
ct_id: 101
|
||||
compose_path: /opt/npm
|
||||
healthcheck:
|
||||
url: http://192.168.1.101:81/api/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
compose_path: /opt/authentik-security
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: gitea
|
||||
vaultwarden:
|
||||
ct_id: 109
|
||||
compose_path: /opt/files-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8081/alive
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/health
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-synapse
|
||||
# === АВТОМАТИЗАЦИЯ ===
|
||||
n8n:
|
||||
ct_id: 108
|
||||
compose_path: /opt/automation-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.108:5678/healthz
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: n8n
|
||||
# === MONITORING & UTILS ===
|
||||
prometheus:
|
||||
ct_id: 134
|
||||
compose_path: /opt/prometheus
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9090/-/healthy
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prometheus
|
||||
grafana:
|
||||
ct_id: 113
|
||||
compose_path: /opt/grafana
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3000/api/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: grafana
|
||||
uptime-kuma:
|
||||
ct_id: 107
|
||||
compose_path: /opt/network-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3001/api/entry-page
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: uptime_kuma
|
||||
# === PORTAL & DASHBOARDS ===
|
||||
dashy:
|
||||
ct_id: 102
|
||||
compose_path: /opt/dashy
|
||||
healthcheck:
|
||||
url: http://192.168.1.102:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: dashy
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
compose_path: /opt/sync-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless
|
||||
syncthing:
|
||||
ct_id: 139
|
||||
compose_path: /opt/syncthing
|
||||
healthcheck:
|
||||
url: http://192.168.1.139:8384/rest/system/version
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: syncthing
|
||||
linkding:
|
||||
ct_id: 127
|
||||
compose_path: /opt/linkding
|
||||
healthcheck:
|
||||
url: http://192.168.1.127:3000/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: linkding
|
||||
# === MEDIA STACK ===
|
||||
jellyfin:
|
||||
ct_id: 103
|
||||
compose_path: /opt/jellyfin
|
||||
healthcheck:
|
||||
url: http://192.168.1.103:8096/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
url: http://192.168.1.116:32400/identity
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: plex
|
||||
sonarr:
|
||||
ct_id: 117
|
||||
compose_path: /opt/sonarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.117:8989/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: sonarr
|
||||
radarr:
|
||||
ct_id: 118
|
||||
compose_path: /opt/radarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.118:7878/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: radarr
|
||||
prowlarr:
|
||||
ct_id: 119
|
||||
compose_path: /opt/prowlarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.119:9696/api/v1/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prowlarr
|
||||
bazarr:
|
||||
ct_id: 120
|
||||
compose_path: /opt/bazarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.120:6767/api/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: bazarr
|
||||
overseerr:
|
||||
ct_id: 121
|
||||
compose_path: /opt/overseerr
|
||||
healthcheck:
|
||||
url: http://192.168.1.121:5055/api/v1/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: overseerr
|
||||
tautulli:
|
||||
ct_id: 122
|
||||
compose_path: /opt/tautulli
|
||||
healthcheck:
|
||||
url: http://192.168.1.122:8181/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tautulli
|
||||
navidrome:
|
||||
ct_id: 125
|
||||
compose_path: /opt/navidrome
|
||||
healthcheck:
|
||||
url: http://192.168.1.125:4533/ping
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: navidrome
|
||||
# === READING & FINANCE ===
|
||||
calibre:
|
||||
ct_id: 111
|
||||
compose_path: /opt/calibre-web
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8083/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: calibre-web
|
||||
freshrss:
|
||||
ct_id: 111
|
||||
compose_path: /opt/freshrss
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8090/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: freshrss
|
||||
mealie:
|
||||
ct_id: 110
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:9925/api/app/about
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mealie
|
||||
# === NATIVE SERVICES (не Docker, apt-based) ===
|
||||
postgres-rbac:
|
||||
ct_id: 151
|
||||
type: native
|
||||
critical: true
|
||||
backup: pgdump # pg_dump всей БД перед обновлением
|
||||
headscale:
|
||||
ct_id: 201
|
||||
type: native
|
||||
critical: false
|
||||
backup: snapshot
|
||||
# === EXPERIMENTAL ===
|
||||
openclaw:
|
||||
ct_id: 115
|
||||
compose_path: /opt/openclaw
|
||||
healthcheck:
|
||||
timeout: 10
|
||||
retries: 3
|
||||
url: http://192.168.1.115:18789/healthz
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
@@ -0,0 +1,293 @@
|
||||
# Реестр сервисов для Update Manager (полный спектр)
|
||||
# Поле 'critical' определяет приоритет отката
|
||||
# 'type': docker (по умолчанию) | native (apt/binary)
|
||||
|
||||
services:
|
||||
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
|
||||
npm:
|
||||
ct_id: 101
|
||||
compose_path: /opt/npm
|
||||
healthcheck:
|
||||
url: http://192.168.1.101:81/api/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
compose_path: /opt/authentik-security
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: gitea
|
||||
vaultwarden:
|
||||
ct_id: 109
|
||||
compose_path: /opt/files-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8081/alive
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/health
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-synapse
|
||||
# === АВТОМАТИЗАЦИЯ ===
|
||||
n8n:
|
||||
ct_id: 108
|
||||
compose_path: /opt/automation-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.108:5678/healthz
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: n8n
|
||||
# === MONITORING & UTILS ===
|
||||
prometheus:
|
||||
ct_id: 134
|
||||
compose_path: /opt/prometheus
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9090/-/healthy
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prometheus
|
||||
grafana:
|
||||
ct_id: 113
|
||||
compose_path: /opt/grafana
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3000/api/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: grafana
|
||||
uptime-kuma:
|
||||
ct_id: 107
|
||||
compose_path: /opt/network-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3001/api/entry-page
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: uptime_kuma
|
||||
# === PORTAL & DASHBOARDS ===
|
||||
dashy:
|
||||
ct_id: 102
|
||||
compose_path: /opt/dashy
|
||||
healthcheck:
|
||||
url: http://192.168.1.102:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: dashy
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
compose_path: /opt/sync-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
timeout: 20
|
||||
retries: 15
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless
|
||||
syncthing:
|
||||
ct_id: 139
|
||||
compose_path: /opt/syncthing
|
||||
healthcheck:
|
||||
url: http://192.168.1.139:8384/rest/system/version
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: syncthing
|
||||
linkding:
|
||||
ct_id: 127
|
||||
compose_path: /opt/linkding
|
||||
healthcheck:
|
||||
url: http://192.168.1.127:3000/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: linkding
|
||||
# === MEDIA STACK ===
|
||||
jellyfin:
|
||||
ct_id: 103
|
||||
compose_path: /opt/jellyfin
|
||||
healthcheck:
|
||||
url: http://192.168.1.103:8096/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
url: http://192.168.1.116:32400/identity
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: plex
|
||||
sonarr:
|
||||
ct_id: 117
|
||||
compose_path: /opt/sonarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.117:8989/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: sonarr
|
||||
radarr:
|
||||
ct_id: 118
|
||||
compose_path: /opt/radarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.118:7878/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: radarr
|
||||
prowlarr:
|
||||
ct_id: 119
|
||||
compose_path: /opt/prowlarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.119:9696/api/v1/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prowlarr
|
||||
bazarr:
|
||||
ct_id: 120
|
||||
compose_path: /opt/bazarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.120:6767/api/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: bazarr
|
||||
overseerr:
|
||||
ct_id: 121
|
||||
compose_path: /opt/overseerr
|
||||
healthcheck:
|
||||
url: http://192.168.1.121:5055/api/v1/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: overseerr
|
||||
tautulli:
|
||||
ct_id: 122
|
||||
compose_path: /opt/tautulli
|
||||
healthcheck:
|
||||
url: http://192.168.1.122:8181/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tautulli
|
||||
navidrome:
|
||||
ct_id: 125
|
||||
compose_path: /opt/navidrome
|
||||
healthcheck:
|
||||
url: http://192.168.1.125:4533/ping
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: navidrome
|
||||
# === READING & FINANCE ===
|
||||
calibre:
|
||||
ct_id: 111
|
||||
compose_path: /opt/calibre-web
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8083/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: calibre-web
|
||||
freshrss:
|
||||
ct_id: 111
|
||||
compose_path: /opt/freshrss
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8090/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: freshrss
|
||||
mealie:
|
||||
ct_id: 110
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:9925/api/app/about
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mealie
|
||||
# === NATIVE SERVICES (не Docker, apt-based) ===
|
||||
postgres-rbac:
|
||||
ct_id: 151
|
||||
type: native
|
||||
critical: true
|
||||
backup: pgdump # pg_dump всей БД перед обновлением
|
||||
headscale:
|
||||
ct_id: 201
|
||||
type: native
|
||||
critical: false
|
||||
backup: snapshot
|
||||
# === EXPERIMENTAL ===
|
||||
openclaw:
|
||||
ct_id: 115
|
||||
compose_path: /opt/openclaw
|
||||
healthcheck:
|
||||
timeout: 10
|
||||
retries: 3
|
||||
url: http://192.168.1.115:18789/healthz
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
@@ -0,0 +1,293 @@
|
||||
# Реестр сервисов для Update Manager (полный спектр)
|
||||
# Поле 'critical' определяет приоритет отката
|
||||
# 'type': docker (по умолчанию) | native (apt/binary)
|
||||
|
||||
services:
|
||||
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
|
||||
npm:
|
||||
ct_id: 101
|
||||
compose_path: /opt/npm
|
||||
healthcheck:
|
||||
url: http://192.168.1.101:81/api/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
compose_path: /opt/authentik-security
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: gitea
|
||||
vaultwarden:
|
||||
ct_id: 109
|
||||
compose_path: /opt/files-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8081/alive
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/_matrix/client/versions
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-synapse
|
||||
# === АВТОМАТИЗАЦИЯ ===
|
||||
n8n:
|
||||
ct_id: 108
|
||||
compose_path: /opt/automation-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.108:5678/healthz
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: n8n
|
||||
# === MONITORING & UTILS ===
|
||||
prometheus:
|
||||
ct_id: 134
|
||||
compose_path: /opt/prometheus
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9090/-/healthy
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prometheus
|
||||
grafana:
|
||||
ct_id: 113
|
||||
compose_path: /opt/grafana
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3000/api/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: grafana
|
||||
uptime-kuma:
|
||||
ct_id: 107
|
||||
compose_path: /opt/network-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3001/api/entry-page
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: uptime_kuma
|
||||
# === PORTAL & DASHBOARDS ===
|
||||
dashy:
|
||||
ct_id: 102
|
||||
compose_path: /opt/dashy
|
||||
healthcheck:
|
||||
url: http://192.168.1.102:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: dashy
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
compose_path: /opt/sync-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
timeout: 20
|
||||
retries: 15
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless
|
||||
syncthing:
|
||||
ct_id: 139
|
||||
compose_path: /opt/syncthing
|
||||
healthcheck:
|
||||
url: http://192.168.1.139:8384/rest/system/version
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: syncthing
|
||||
linkding:
|
||||
ct_id: 127
|
||||
compose_path: /opt/linkding
|
||||
healthcheck:
|
||||
url: http://192.168.1.127:3000/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: linkding
|
||||
# === MEDIA STACK ===
|
||||
jellyfin:
|
||||
ct_id: 103
|
||||
compose_path: /opt/jellyfin
|
||||
healthcheck:
|
||||
url: http://192.168.1.103:8096/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
url: http://192.168.1.116:32400/identity
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: plex
|
||||
sonarr:
|
||||
ct_id: 117
|
||||
compose_path: /opt/sonarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.117:8989/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: sonarr
|
||||
radarr:
|
||||
ct_id: 118
|
||||
compose_path: /opt/radarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.118:7878/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: radarr
|
||||
prowlarr:
|
||||
ct_id: 119
|
||||
compose_path: /opt/prowlarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.119:9696/api/v1/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prowlarr
|
||||
bazarr:
|
||||
ct_id: 120
|
||||
compose_path: /opt/bazarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.120:6767/api/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: bazarr
|
||||
overseerr:
|
||||
ct_id: 121
|
||||
compose_path: /opt/overseerr
|
||||
healthcheck:
|
||||
url: http://192.168.1.121:5055/api/v1/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: overseerr
|
||||
tautulli:
|
||||
ct_id: 122
|
||||
compose_path: /opt/tautulli
|
||||
healthcheck:
|
||||
url: http://192.168.1.122:8181/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tautulli
|
||||
navidrome:
|
||||
ct_id: 125
|
||||
compose_path: /opt/navidrome
|
||||
healthcheck:
|
||||
url: http://192.168.1.125:4533/ping
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: navidrome
|
||||
# === READING & FINANCE ===
|
||||
calibre:
|
||||
ct_id: 111
|
||||
compose_path: /opt/calibre-web
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8083/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: calibre-web
|
||||
freshrss:
|
||||
ct_id: 111
|
||||
compose_path: /opt/freshrss
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8090/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: freshrss
|
||||
mealie:
|
||||
ct_id: 110
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:9925/api/app/about
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mealie
|
||||
# === NATIVE SERVICES (не Docker, apt-based) ===
|
||||
postgres-rbac:
|
||||
ct_id: 151
|
||||
type: native
|
||||
critical: true
|
||||
backup: pgdump # pg_dump всей БД перед обновлением
|
||||
headscale:
|
||||
ct_id: 201
|
||||
type: native
|
||||
critical: false
|
||||
backup: snapshot
|
||||
# === EXPERIMENTAL ===
|
||||
openclaw:
|
||||
ct_id: 115
|
||||
compose_path: /opt/openclaw
|
||||
healthcheck:
|
||||
timeout: 10
|
||||
retries: 3
|
||||
url: http://192.168.1.115:18789/healthz
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
@@ -0,0 +1,293 @@
|
||||
# Реестр сервисов для Update Manager (полный спектр)
|
||||
# Поле 'critical' определяет приоритет отката
|
||||
# 'type': docker (по умолчанию) | native (apt/binary)
|
||||
|
||||
services:
|
||||
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
|
||||
npm:
|
||||
ct_id: 101
|
||||
compose_path: /opt/npm
|
||||
healthcheck:
|
||||
url: http://192.168.1.101:81/api/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: npm-app-1
|
||||
authentik:
|
||||
ct_id: 114
|
||||
compose_path: /opt/authentik-security
|
||||
healthcheck:
|
||||
url: http://192.168.1.114:9000/-/health/live/
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: authentik-security-server-1
|
||||
gitea:
|
||||
ct_id: 140
|
||||
compose_path: /opt/gitea
|
||||
healthcheck:
|
||||
url: http://192.168.1.140:3000/api/v1/version
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: gitea
|
||||
vaultwarden:
|
||||
ct_id: 109
|
||||
compose_path: /opt/files-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.109:8081/alive
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: vaultwarden
|
||||
matrix:
|
||||
ct_id: 155
|
||||
compose_path: /opt/matrix
|
||||
healthcheck:
|
||||
url: http://192.168.1.155:8008/_matrix/client/versions
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: matrix-synapse
|
||||
# === АВТОМАТИЗАЦИЯ ===
|
||||
n8n:
|
||||
ct_id: 108
|
||||
compose_path: /opt/automation-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.108:5678/healthz
|
||||
timeout: 15
|
||||
retries: 3
|
||||
critical: true
|
||||
backup: snapshot
|
||||
container: n8n
|
||||
# === MONITORING & UTILS ===
|
||||
prometheus:
|
||||
ct_id: 134
|
||||
compose_path: /opt/prometheus
|
||||
healthcheck:
|
||||
url: http://192.168.1.134:9090/-/healthy
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prometheus
|
||||
grafana:
|
||||
ct_id: 113
|
||||
compose_path: /opt/grafana
|
||||
healthcheck:
|
||||
url: http://192.168.1.113:3000/api/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: grafana
|
||||
uptime-kuma:
|
||||
ct_id: 107
|
||||
compose_path: /opt/network-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.107:3001/api/entry-page
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: uptime_kuma
|
||||
# === PORTAL & DASHBOARDS ===
|
||||
dashy:
|
||||
ct_id: 102
|
||||
compose_path: /opt/dashy
|
||||
healthcheck:
|
||||
url: http://192.168.1.102:8080/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: dashy
|
||||
# === FILES & DOCS ===
|
||||
paperless:
|
||||
ct_id: 105
|
||||
compose_path: /opt/sync-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.105:8000/api/status/
|
||||
timeout: 20
|
||||
retries: 15
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: paperless
|
||||
syncthing:
|
||||
ct_id: 139
|
||||
compose_path: /opt/syncthing
|
||||
healthcheck:
|
||||
url: http://192.168.1.139:8384/rest/system/version
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: syncthing
|
||||
linkding:
|
||||
ct_id: 127
|
||||
compose_path: /opt/linkding
|
||||
healthcheck:
|
||||
url: http://192.168.1.127:3000/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: linkding
|
||||
# === MEDIA STACK ===
|
||||
jellyfin:
|
||||
ct_id: 103
|
||||
compose_path: /opt/jellyfin
|
||||
healthcheck:
|
||||
url: http://192.168.1.103:8096/health
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
url: http://192.168.1.116:32400/identity
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: plex
|
||||
sonarr:
|
||||
ct_id: 117
|
||||
compose_path: /opt/sonarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.117:8989/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: sonarr
|
||||
radarr:
|
||||
ct_id: 118
|
||||
compose_path: /opt/radarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.118:7878/api/v3/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: radarr
|
||||
prowlarr:
|
||||
ct_id: 119
|
||||
compose_path: /opt/prowlarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.119:9696/api/v1/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: prowlarr
|
||||
bazarr:
|
||||
ct_id: 120
|
||||
compose_path: /opt/bazarr
|
||||
healthcheck:
|
||||
url: http://192.168.1.120:6767/api/system/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: bazarr
|
||||
overseerr:
|
||||
ct_id: 121
|
||||
compose_path: /opt/overseerr
|
||||
healthcheck:
|
||||
url: http://192.168.1.121:5055/api/v1/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: overseerr
|
||||
tautulli:
|
||||
ct_id: 122
|
||||
compose_path: /opt/tautulli
|
||||
healthcheck:
|
||||
url: http://192.168.1.122:8181/status
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: tautulli
|
||||
navidrome:
|
||||
ct_id: 125
|
||||
compose_path: /opt/navidrome
|
||||
healthcheck:
|
||||
url: http://192.168.1.125:4533/ping
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: navidrome
|
||||
# === READING & FINANCE ===
|
||||
calibre:
|
||||
ct_id: 111
|
||||
compose_path: /opt/calibre-web
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8083/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: calibre-web
|
||||
freshrss:
|
||||
ct_id: 111
|
||||
compose_path: /opt/freshrss
|
||||
healthcheck:
|
||||
url: http://192.168.1.111:8090/
|
||||
timeout: 10
|
||||
retries: 3
|
||||
auth_required: true
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: freshrss
|
||||
mealie:
|
||||
ct_id: 110
|
||||
compose_path: /opt/lifestyle-lxc
|
||||
healthcheck:
|
||||
url: http://192.168.1.110:9925/api/app/about
|
||||
timeout: 10
|
||||
retries: 3
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: mealie
|
||||
# === NATIVE SERVICES (не Docker, apt-based) ===
|
||||
postgres-rbac:
|
||||
ct_id: 151
|
||||
type: native
|
||||
critical: true
|
||||
backup: pgdump # pg_dump всей БД перед обновлением
|
||||
headscale:
|
||||
ct_id: 201
|
||||
type: native
|
||||
critical: false
|
||||
backup: snapshot
|
||||
# === EXPERIMENTAL ===
|
||||
openclaw:
|
||||
ct_id: 115
|
||||
compose_path: /opt/openclaw
|
||||
healthcheck:
|
||||
timeout: 10
|
||||
retries: 3
|
||||
url: http://192.168.1.115:18789/healthz
|
||||
critical: false
|
||||
backup: snapshot
|
||||
container: openclaw
|
||||
@@ -27,6 +27,7 @@ PG_HOST="${PG_HOST:-192.168.1.151}"
|
||||
PG_DB="${PG_DB:-buryan_monitoring}"
|
||||
PG_USER="${PG_USER:-buryan_monitor}"
|
||||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||||
NOTIFY_URL="${NOTIFY_URL:-http://192.168.1.10:8099}"
|
||||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||||
@@ -72,14 +73,22 @@ resolve_service() {
|
||||
}
|
||||
|
||||
notify() { # $1 = текст сообщения
|
||||
# Уведомления идут через ОБЩИЙ СЛОЙ: Matrix — основной канал,
|
||||
# Telegram — зеркало. Раньше отсюда шли напрямую в Telegram, и в
|
||||
# Matrix ничего не приходило, хотя весь смысл перевода был в этом.
|
||||
local token
|
||||
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
|
||||
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
|
||||
curl -s -m 25 -x "$TG_PROXY" -X POST \
|
||||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||||
--data-urlencode "text=$1" \
|
||||
--data-urlencode "parse_mode=HTML" \
|
||||
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||||
if [ -n "$token" ]; then
|
||||
# Точка приёма понимает формат Telegram, прокси не нужен: она
|
||||
# в локальной сети. Она же отправит зеркало в Telegram.
|
||||
curl -s -m 25 -X POST \
|
||||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||||
--data-urlencode "text=$1" \
|
||||
--data-urlencode "parse_mode=HTML" \
|
||||
"${NOTIFY_URL}/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||||
else
|
||||
log "нет токена бота алертов — уведомление не отправлено"
|
||||
fi
|
||||
}
|
||||
|
||||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||||
@@ -127,8 +136,13 @@ create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 =
|
||||
|
||||
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
|
||||
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
|
||||
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
|
||||
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
|
||||
# и давал десятки одинаковых записей в журнале.
|
||||
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
|
||||
WHERE status='deferred' RETURNING id" | wc -l)
|
||||
WHERE status='deferred'
|
||||
AND (decided_at IS NULL OR decided_at::date < current_date)
|
||||
RETURNING id" | wc -l)
|
||||
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
|
||||
fi
|
||||
|
||||
@@ -153,6 +167,16 @@ q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts
|
||||
|
||||
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
|
||||
TARGET=$(resolve_service "$service")
|
||||
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
|
||||
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
|
||||
# Ищем по полю container в реестре.
|
||||
if [ -z "$TARGET" ]; then
|
||||
TARGET=$(awk -v c="$service" '
|
||||
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
|
||||
$1 == "container:" && $2 == c { print svc; exit }
|
||||
' "$SERVICES_FILE")
|
||||
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
|
||||
fi
|
||||
if [ -z "$TARGET" ]; then
|
||||
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
|
||||
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
|
||||
@@ -179,7 +203,14 @@ if [ "$rc" -eq 0 ]; then
|
||||
res=$(echo "$out" | tail -3 | tr '\n' ' ')
|
||||
q_finish "$id" done "$res"
|
||||
log "задача $id выполнена"
|
||||
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
|
||||
# Версию берём из вывода safe-update.sh: он её знает, но раньше
|
||||
# никуда не записывал — поэтому в уведомлении было «обновлён до»
|
||||
# без числа. Если версии нет, честно пишем «текущая».
|
||||
if [ -z "$newver" ] && [ -n "${res:-}" ]; then
|
||||
newver=$(printf '%s' "$res" | grep -oE 'обновлён: [^ ]+' | tail -1 | sed 's/обновлён: //')
|
||||
fi
|
||||
[ -n "$newver" ] && q "UPDATE update_queue SET new_version='$newver' WHERE id=$id" >/dev/null
|
||||
notify "✅ <b>$service</b> обновлён до <code>${newver:-текущая версия}</code>"
|
||||
else
|
||||
res=$(echo "$out" | tail -6 | tr '\n' ' ')
|
||||
q_finish "$id" failed "$res"
|
||||
|
||||
+191
@@ -0,0 +1,191 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
|
||||
# ============================================================
|
||||
# Запускается по расписанию раз в минуту на pve.
|
||||
#
|
||||
# Что делает:
|
||||
# 1. В 03:xx переводит отложенные задачи в одобренные.
|
||||
# 2. Забирает одну одобренную задачу из update_queue.
|
||||
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
|
||||
# 4. Записывает результат и уведомляет в Telegram.
|
||||
#
|
||||
# Одновременно выполняется только одна задача: параллельные обновления
|
||||
# двух сервисов на одном хосте мешают друг другу и портят измерения
|
||||
# healthcheck. Блокировка flock защищает от наложения запусков.
|
||||
#
|
||||
# Результат пишется в базу, поэтому историю видно без разбора журналов.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
|
||||
|
||||
PG_HOST="${PG_HOST:-192.168.1.151}"
|
||||
PG_DB="${PG_DB:-buryan_monitoring}"
|
||||
PG_USER="${PG_USER:-buryan_monitor}"
|
||||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||||
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
|
||||
|
||||
mkdir -p "$(dirname "$LOG_FILE")"
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
|
||||
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
|
||||
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
|
||||
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
|
||||
export PGPASSWORD
|
||||
|
||||
# Единственный экземпляр
|
||||
exec 9>/var/lock/update-runner.lock
|
||||
flock -n 9 || exit 0
|
||||
|
||||
q() { # $1 = SQL, печатает результат
|
||||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
|
||||
}
|
||||
|
||||
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
|
||||
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
|
||||
# текст экранируется вручную и подставляется прямо в строку.
|
||||
local txt="${3//\'/\'\'}"
|
||||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
|
||||
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
|
||||
2>>"$LOG_FILE"
|
||||
}
|
||||
|
||||
resolve_service() {
|
||||
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
|
||||
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
|
||||
# затем ищем сервис, у которого этот контейнер указан в поле container.
|
||||
local name="$1"
|
||||
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
|
||||
echo "$name"
|
||||
return 0
|
||||
fi
|
||||
yq -r --arg c "$name" \
|
||||
'.services | to_entries[] | select(.value.container == $c) | .key' \
|
||||
"$SERVICES_FILE" 2>/dev/null | head -1
|
||||
}
|
||||
|
||||
notify() { # $1 = текст сообщения
|
||||
local token
|
||||
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
|
||||
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
|
||||
curl -s -m 25 -x "$TG_PROXY" -X POST \
|
||||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||||
--data-urlencode "text=$1" \
|
||||
--data-urlencode "parse_mode=HTML" \
|
||||
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||||
}
|
||||
|
||||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||||
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
|
||||
#
|
||||
# Две ловушки, на которых это уже ломалось:
|
||||
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
|
||||
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
|
||||
# метки сначала запрашивается.
|
||||
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
|
||||
# успехе по нему нельзя — проверяется код ответа HTTP.
|
||||
local token label_id body code num
|
||||
token=$(cat /root/.gitea_api 2>/dev/null)
|
||||
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
|
||||
|
||||
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
|
||||
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
|
||||
|
||||
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
|
||||
"$1" "$2" "$3" "$4")
|
||||
|
||||
if [ -n "$label_id" ]; then
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
|
||||
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
|
||||
else
|
||||
log "метка sev:1 не найдена — задача будет создана без метки"
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||||
'{title:$t, body:$b}' > /tmp/update-issue.json
|
||||
fi
|
||||
|
||||
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
|
||||
-H "Authorization: token $token" \
|
||||
-H 'Content-Type: application/json' \
|
||||
--data-binary @/tmp/update-issue.json \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
|
||||
|
||||
if [ "$code" = "201" ]; then
|
||||
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
|
||||
log "создана задача в Gitea №${num} с меткой sev:1"
|
||||
else
|
||||
log "не удалось создать задачу в Gitea, код ответа ${code}"
|
||||
fi
|
||||
}
|
||||
|
||||
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
|
||||
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
|
||||
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
|
||||
WHERE status='deferred' RETURNING id" | wc -l)
|
||||
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
|
||||
fi
|
||||
|
||||
# --- 2. Берём одну одобренную задачу ----------------------------------------
|
||||
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
|
||||
FROM update_queue
|
||||
WHERE status = 'approved'
|
||||
ORDER BY decided_at NULLS LAST, id
|
||||
LIMIT 1")
|
||||
|
||||
if [ -z "$row" ]; then
|
||||
exit 0
|
||||
fi
|
||||
|
||||
id="${row%%|*}"; rest="${row#*|}"
|
||||
service="${rest%%|*}"; rest="${rest#*|}"
|
||||
newver="${rest%%|*}"; ct="${rest#*|}"
|
||||
|
||||
log "взята задача $id: $service -> $newver (CT $ct)"
|
||||
|
||||
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
|
||||
|
||||
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
|
||||
TARGET=$(resolve_service "$service")
|
||||
if [ -z "$TARGET" ]; then
|
||||
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
|
||||
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
|
||||
log "не удалось сопоставить '$service' с реестром"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
if [ "$TARGET" != "$service" ]; then
|
||||
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
|
||||
fi
|
||||
|
||||
if [ ! -x "$SAFE_UPDATE" ]; then
|
||||
q_finish "$id" failed "не найден safe-update.sh"
|
||||
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
|
||||
log "нет $SAFE_UPDATE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# --- 3. Выполняем -----------------------------------------------------------
|
||||
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
|
||||
rc=$?
|
||||
|
||||
if [ "$rc" -eq 0 ]; then
|
||||
res=$(echo "$out" | tail -3 | tr '\n' ' ')
|
||||
q_finish "$id" done "$res"
|
||||
log "задача $id выполнена"
|
||||
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
|
||||
else
|
||||
res=$(echo "$out" | tail -6 | tr '\n' ' ')
|
||||
q_finish "$id" failed "$res"
|
||||
log "задача $id провалена"
|
||||
create_rollback_issue "$service" "$newver" "$ct" "$res"
|
||||
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
|
||||
fi
|
||||
|
||||
exit 0
|
||||
+206
@@ -0,0 +1,206 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
|
||||
# ============================================================
|
||||
# Запускается по расписанию раз в минуту на pve.
|
||||
#
|
||||
# Что делает:
|
||||
# 1. В 03:xx переводит отложенные задачи в одобренные.
|
||||
# 2. Забирает одну одобренную задачу из update_queue.
|
||||
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
|
||||
# 4. Записывает результат и уведомляет в Telegram.
|
||||
#
|
||||
# Одновременно выполняется только одна задача: параллельные обновления
|
||||
# двух сервисов на одном хосте мешают друг другу и портят измерения
|
||||
# healthcheck. Блокировка flock защищает от наложения запусков.
|
||||
#
|
||||
# Результат пишется в базу, поэтому историю видно без разбора журналов.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
|
||||
REPO_ROOT="/root/buryan-infra"
|
||||
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
|
||||
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
|
||||
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
|
||||
|
||||
PG_HOST="${PG_HOST:-192.168.1.151}"
|
||||
PG_DB="${PG_DB:-buryan_monitoring}"
|
||||
PG_USER="${PG_USER:-buryan_monitor}"
|
||||
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
|
||||
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
|
||||
DEFER_HOUR="${DEFER_HOUR:-03}"
|
||||
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
|
||||
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
|
||||
|
||||
mkdir -p "$(dirname "$LOG_FILE")"
|
||||
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
|
||||
|
||||
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
|
||||
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
|
||||
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
|
||||
export PGPASSWORD
|
||||
|
||||
# Единственный экземпляр
|
||||
exec 9>/var/lock/update-runner.lock
|
||||
flock -n 9 || exit 0
|
||||
|
||||
q() { # $1 = SQL, печатает результат
|
||||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
|
||||
}
|
||||
|
||||
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
|
||||
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
|
||||
# текст экранируется вручную и подставляется прямо в строку.
|
||||
local txt="${3//\'/\'\'}"
|
||||
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
|
||||
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
|
||||
2>>"$LOG_FILE"
|
||||
}
|
||||
|
||||
resolve_service() {
|
||||
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
|
||||
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
|
||||
# затем ищем сервис, у которого этот контейнер указан в поле container.
|
||||
local name="$1"
|
||||
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
|
||||
echo "$name"
|
||||
return 0
|
||||
fi
|
||||
yq -r --arg c "$name" \
|
||||
'.services | to_entries[] | select(.value.container == $c) | .key' \
|
||||
"$SERVICES_FILE" 2>/dev/null | head -1
|
||||
}
|
||||
|
||||
notify() { # $1 = текст сообщения
|
||||
local token
|
||||
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
|
||||
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
|
||||
curl -s -m 25 -x "$TG_PROXY" -X POST \
|
||||
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
|
||||
--data-urlencode "text=$1" \
|
||||
--data-urlencode "parse_mode=HTML" \
|
||||
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
|
||||
}
|
||||
|
||||
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
|
||||
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
|
||||
#
|
||||
# Две ловушки, на которых это уже ломалось:
|
||||
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
|
||||
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
|
||||
# метки сначала запрашивается.
|
||||
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
|
||||
# успехе по нему нельзя — проверяется код ответа HTTP.
|
||||
local token label_id body code num
|
||||
token=$(cat /root/.gitea_api 2>/dev/null)
|
||||
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
|
||||
|
||||
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
|
||||
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
|
||||
|
||||
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
|
||||
"$1" "$2" "$3" "$4")
|
||||
|
||||
if [ -n "$label_id" ]; then
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
|
||||
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
|
||||
else
|
||||
log "метка sev:1 не найдена — задача будет создана без метки"
|
||||
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
|
||||
'{title:$t, body:$b}' > /tmp/update-issue.json
|
||||
fi
|
||||
|
||||
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
|
||||
-H "Authorization: token $token" \
|
||||
-H 'Content-Type: application/json' \
|
||||
--data-binary @/tmp/update-issue.json \
|
||||
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
|
||||
|
||||
if [ "$code" = "201" ]; then
|
||||
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
|
||||
log "создана задача в Gitea №${num} с меткой sev:1"
|
||||
else
|
||||
log "не удалось создать задачу в Gitea, код ответа ${code}"
|
||||
fi
|
||||
}
|
||||
|
||||
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
|
||||
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
|
||||
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
|
||||
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
|
||||
# и давал десятки одинаковых записей в журнале.
|
||||
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
|
||||
WHERE status='deferred'
|
||||
AND (decided_at IS NULL OR decided_at::date < current_date)
|
||||
RETURNING id" | wc -l)
|
||||
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
|
||||
fi
|
||||
|
||||
# --- 2. Берём одну одобренную задачу ----------------------------------------
|
||||
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
|
||||
FROM update_queue
|
||||
WHERE status = 'approved'
|
||||
ORDER BY decided_at NULLS LAST, id
|
||||
LIMIT 1")
|
||||
|
||||
if [ -z "$row" ]; then
|
||||
exit 0
|
||||
fi
|
||||
|
||||
id="${row%%|*}"; rest="${row#*|}"
|
||||
service="${rest%%|*}"; rest="${rest#*|}"
|
||||
newver="${rest%%|*}"; ct="${rest#*|}"
|
||||
|
||||
log "взята задача $id: $service -> $newver (CT $ct)"
|
||||
|
||||
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
|
||||
|
||||
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
|
||||
TARGET=$(resolve_service "$service")
|
||||
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
|
||||
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
|
||||
# Ищем по полю container в реестре.
|
||||
if [ -z "$TARGET" ]; then
|
||||
TARGET=$(awk -v c="$service" '
|
||||
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
|
||||
$1 == "container:" && $2 == c { print svc; exit }
|
||||
' "$SERVICES_FILE")
|
||||
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
|
||||
fi
|
||||
if [ -z "$TARGET" ]; then
|
||||
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
|
||||
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
|
||||
log "не удалось сопоставить '$service' с реестром"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
if [ "$TARGET" != "$service" ]; then
|
||||
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
|
||||
fi
|
||||
|
||||
if [ ! -x "$SAFE_UPDATE" ]; then
|
||||
q_finish "$id" failed "не найден safe-update.sh"
|
||||
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
|
||||
log "нет $SAFE_UPDATE"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
# --- 3. Выполняем -----------------------------------------------------------
|
||||
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
|
||||
rc=$?
|
||||
|
||||
if [ "$rc" -eq 0 ]; then
|
||||
res=$(echo "$out" | tail -3 | tr '\n' ' ')
|
||||
q_finish "$id" done "$res"
|
||||
log "задача $id выполнена"
|
||||
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
|
||||
else
|
||||
res=$(echo "$out" | tail -6 | tr '\n' ' ')
|
||||
q_finish "$id" failed "$res"
|
||||
log "задача $id провалена"
|
||||
create_rollback_issue "$service" "$newver" "$ct" "$res"
|
||||
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
|
||||
fi
|
||||
|
||||
exit 0
|
||||
@@ -851,3 +851,5 @@ unknown
|
||||
[2026-10-15 22:37:44] сервис ответил на попытке 1
|
||||
[2026-10-15 22:37:44] ✅ Проверка пройдена
|
||||
[2026-10-15 22:37:45] снимок удалён
|
||||
[2026-10-15 22:37:45] ✅ зафиксировано в Git и отправлено
|
||||
[2026-10-15 22:37:45] 🎉 authentik обновлён: ghcr.io/goauthentik/server:latest
|
||||
Executable
+89
@@ -0,0 +1,89 @@
|
||||
#!/bin/bash
|
||||
# ============================================================
|
||||
# validate-registry.sh — проверка: все ли службы реально обновляемы
|
||||
# ============================================================
|
||||
# Для каждой службы в реестре проверяю то, что нужно скрипту:
|
||||
# 1. контейнер существует в указанном CT;
|
||||
# 2. каталог compose существует (если указан);
|
||||
# 3. адрес проверки здоровья отвечает ожидаемым кодом.
|
||||
# Ничего не меняю — только показываю, где обновление не сработает.
|
||||
# ============================================================
|
||||
set -uo pipefail
|
||||
Y=/root/buryan-infra/ops/update-manager/services.yaml
|
||||
|
||||
printf ' %-24s %-5s %-10s %-10s %s\n' "служба" "CT" "контейнер" "compose" "проверка"
|
||||
echo " --------------------------------------------------------------------------------------------"
|
||||
|
||||
ok=0; bad=0
|
||||
for svc in $(yq -r '.services | keys[]' "$Y" 2>/dev/null); do
|
||||
type=$(yq -r ".services.${svc}.type // \"docker\"" "$Y")
|
||||
ct=$(yq -r ".services.${svc}.ct_id // \"\"" "$Y")
|
||||
|
||||
if [ "$type" = "native" ]; then
|
||||
# нативные: проверяю, что CT существует
|
||||
if pct status "$ct" >/dev/null 2>&1; then
|
||||
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "native, CT есть"
|
||||
ok=$((ok+1))
|
||||
else
|
||||
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "CT НЕ НАЙДЕН"
|
||||
bad=$((bad+1))
|
||||
fi
|
||||
continue
|
||||
fi
|
||||
|
||||
cont=$(yq -r ".services.${svc}.container // \"\"" "$Y")
|
||||
path=$(yq -r ".services.${svc}.compose_path // \"\"" "$Y")
|
||||
url=$(yq -r ".services.${svc}.healthcheck.url // \"\"" "$Y")
|
||||
codes=$(yq -r ".services.${svc}.healthcheck.accept_codes // \"\"" "$Y")
|
||||
auth=$(yq -r ".services.${svc}.healthcheck.auth_required // false" "$Y")
|
||||
# ВАЖНО: службы с паролем отвечают 401/403 — это признак ЖИВОЙ службы,
|
||||
# а не сбоя. Скрипт обновления учитывает это через auth_required.
|
||||
# Моя первая версия проверки этого не знала и дала 6 ложных тревог.
|
||||
if [ -z "$codes" ]; then
|
||||
if [ "$auth" = "true" ]; then codes="200 201 204 301 302 401 403"
|
||||
else codes="200 201 204 301 302"; fi
|
||||
fi
|
||||
|
||||
# 1. контейнер
|
||||
cstate="?"
|
||||
if [ -n "$cont" ]; then
|
||||
if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then
|
||||
cstate="есть"
|
||||
else
|
||||
cstate="НЕТ"
|
||||
fi
|
||||
else
|
||||
cstate="не указан"
|
||||
fi
|
||||
|
||||
# 2. compose
|
||||
pstate="—"
|
||||
if [ -n "$path" ]; then
|
||||
if pct exec "$ct" -- test -d "$path" 2>/dev/null; then
|
||||
pstate="есть"
|
||||
else
|
||||
pstate="НЕТ"
|
||||
fi
|
||||
fi
|
||||
|
||||
# 3. здоровье
|
||||
hstate="—"
|
||||
if [ -n "$url" ]; then
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 "$url" 2>/dev/null)
|
||||
match=0
|
||||
for okc in $codes; do [ "$code" = "$okc" ] && match=1; done
|
||||
if [ "$match" -eq 1 ]; then hstate="ok($code)"; else hstate="СБОЙ($code)"; fi
|
||||
fi
|
||||
|
||||
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "$cstate" "$pstate" "$hstate"
|
||||
|
||||
if [ "$cstate" = "есть" ] && [ "$pstate" != "НЕТ" ] && [[ "$hstate" != СБОЙ* ]]; then
|
||||
ok=$((ok+1))
|
||||
else
|
||||
bad=$((bad+1))
|
||||
fi
|
||||
done
|
||||
|
||||
echo " --------------------------------------------------------------------------------------------"
|
||||
echo " обновляемы: $ok"
|
||||
echo " есть проблемы: $bad"
|
||||
Reference in new issue
Block a user