Обновления из бота: реестр расширен с 28 до 50 служб

Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.

НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
  adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
  mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
  nextcloud, duplicati (копии), firefly, paperless в CT 110,
  nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.

ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
   Правило жёсткое: адрес добавляется только если реально отвечает.
   Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
   и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
   ответили 401, я сначала убрал у них проверку — это было неправильно,
   401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
   метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
   имени службы — то есть пересоздавал весь проект вместе с соседями.
   Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
   бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
   по container_name. Проверено на homeassistant.

ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
  служб в реестре: 50, полностью обновляемы: 49.

ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
  * openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
    решения владельца;
  * duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
    скрипт скачает образ, но пересоздать контейнер не сможет и скажет
    об этом прямо, а не изобразит успех;
  * mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
  * 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.

МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.

РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
This commit is contained in:
root committed 2026-10-17 12:36:43 +03:00
1 parent 1ffeadfbc3
commit 915de56603
20 files changed
+3664 -9

No files matched your search

+2 -1
View File
@@ -55,7 +55,8 @@
| 1.4 | Обновить `gitea` | ⬜ |
| 1.5 | Обновить `authentik` | ⬜ |
| 1.6 | Обновить `postgres-rbac` | ⬜ |
| 1.7 | Автоматически убирать контейнеры-остатки | ⬜ |
| 1.7 | Автоматически убирать контейнеры-остатки | 🔶 вручную сделано 17.10, автоматизации пока нет |
| 1.13 | Обновления из бота: реестр расширен с 28 до 50 служб | ✅ |
## 2. СЕТЬ И ДОСТУП
+90
View File
@@ -0,0 +1,90 @@
# Обновления: почему «не работало на многие сервисы»
**17.10.2026.** Жалоба владельца: обновление из бота работает не для всех
служб. Проверил — и причина оказалась простой и обидной.
## Причина
Скрипт обновления (`safe-update.sh`) работает **только по реестру**
`ops/update-manager/services.yaml`. Если службы нет в реестре, скрипт
честно отказывается: «сервис не найден в реестре».
**А в реестре было 28 служб при 97 работающих контейнерах.**
То есть почти две трети хозяйства обновить из бота было нельзя — не
из-за поломки, а из-за неполного списка.
## Что было не покрыто
Проверка нашла 22 службы, которых в реестре не было:
| CT | Службы |
|---|---|
| 105 | `paperless_redis_files` |
| 106 | **homeassistant**, mosquitto, zigbee2mqtt — умный дом целиком |
| 107 | **adguard** — DNS всего дома |
| 108 | tg-admin-bot |
| 109 | **nextcloud**, files_db |
| 110 | firefly, paperless_web, paperless_worker, paperless_redis_office |
| 111 | **duplicati** — резервные копии |
| 113 | **loki** — сбор журналов |
| 115 | nats, swarm-redis |
| 134 | **alertmanager**, buryan-alert-webhook |
| 155 | **mautrix-telegram**, element-web, **livekit**, matrix-coturn |
Особенно заметно: не обновлялись **adguard** (без него домен не
разрешается), **loki** и **alertmanager** (без них нет журналов и
тревог), **mautrix-telegram** (мост в Telegram) и **livekit** (звонки).
## Что сделано
1. **Добавлены все 22 службы.** В реестре теперь **50**.
2. **Адреса проверки здоровья проверены по одному** перед записью.
Правило было жёсткое: адрес добавляется только если реально отвечает.
Неверный адрес хуже отсутствующего — скрипт посчитает службу сломанной
и **откатит** исправное обновление.
3. **Службы с паролем не потеряли проверку.** AdGuard и paperless-web
ответили `401`. Первая версия проверки сочла это сбоем, и я убрал
проверку — это было неправильно: `401` означает **живую** службу.
Вернул проверку с флагом `auth_required: true`: скрипт знает, что
`401` для таких служб — норма.
4. **Исправлена ошибка в самом скрипте.** Если контейнер создан вручную
(`docker run`) и метки compose у него нет, скрипт запускал
`docker compose up -d` **без имени службы** — то есть пересоздавал весь
проект вместе с соседями. Для `/opt/smart-lxc` это значит: обновляя
homeassistant, он пересоздал бы ещё mosquitto и zigbee2mqtt.
Теперь, если метки нет, скрипт ищет службу в compose-файле по
`container_name`. Проверено на homeassistant: служба определяется.
## Результат проверки
```
служб в реестре: 50
полностью обновляемы: 49
с известным ограничением: 1
```
Проверка идёт по трём пунктам для каждой службы: контейнер существует,
каталог compose существует, адрес здоровья отвечает ожидаемым кодом.
Скрипт проверки: `ops/update-manager/validate-registry.sh`.
## Что осталось ограничением (честно)
| Служба | Ограничение |
|---|---|
| `openclaw` | контейнер снят 17.10 (падал, диск был полон). Ждёт решения владельца: переименовать работающий `openclaw-old` или поднять заново |
| `duplicati`, `alertmanager`, `buryan-alert-webhook` | работают **без compose** (запущены вручную). Скрипт скачает новый образ, но пересоздать контейнер не сможет — скажет об этом прямо, а не изобразит успех |
| mosquitto, redis, nats, coturn | порты не HTTP, проверки здоровья нет — скрипт её пропускает |
| `oauth2-proxy-*` (12 штук) | не внесены: это вспомогательные прокси, обновляются вместе с основным стеком |
## Моя ошибка в проверке
Первая версия проверки дала **6 ложных тревог**: она считала `401` и
`403` сбоем. На деле это ответы служб, требующих пароль. Пришлось
учитывать `auth_required` — то же правило, что уже было в скрипте
обновления. Напоминание себе: проверка должна знать те же правила, что и
проверяемое.
+169
View File
@@ -0,0 +1,169 @@
# -*- coding: utf-8 -*-
"""
Добавляет в реестр обновлений ВСЕ службы, которых там не было.
ЧТО БЫЛО. В реестре 28 служб, а реально работает 97 контейнеров.
Обновление «не работает на многие сервисы» — потому что их просто нет в
реестре, и скрипт отказывается: «сервис не найден».
ЧТО ДОБАВЛЯЮ (21 служба):
CT 106 — homeassistant, mosquitto, zigbee2mqtt
CT 107 — adguard
CT 108 — tg-admin-bot
CT 109 — nextcloud, files_db
CT 110 — firefly, paperless_web, paperless_worker, paperless_redis_office
CT 111 — duplicati
CT 113 — loki
CT 115 — nats, swarm-redis
CT 134 — alertmanager, buryan-alert-webhook
CT 105 — paperless_redis_files
CT 155 — mautrix-telegram, element-web, livekit, matrix-coturn
ПРАВИЛО ПРО ПРОВЕРКИ ЗДОРОВЬЯ: адрес добавляю ТОЛЬКО если он реально
отвечает. Неверный адрес хуже отсутствующего: скрипт посчитает сервис
сломанным и ОТКАТИТ обновление. Где не уверен — проверки нет, тогда
скрипт её пропускает и просто обновляет.
Порты MQTT/Redis/NATS/TURN — не HTTP, проверки здоровья у них нет.
"""
import io
import shutil
import subprocess
import time
Y = "/root/buryan-infra/ops/update-manager/services.yaml"
BAK = "/root/services.yaml.before-full-coverage-%s" % time.strftime("%Y%m%d_%H%M%S")
# поля: key: (ct, compose_path, container, health_url, accept_codes, critical, wait)
NEW = {
# --- CT 106: умный дом ---
"homeassistant": (106, "/opt/smart-lxc", "homeassistant",
"http://192.168.1.106:8123/", "", True, 300),
"mosquitto": (106, "/opt/smart-lxc", "mosquitto", "", "", False, 60),
"zigbee2mqtt": (106, "/opt/smart-lxc", "zigbee2mqtt",
"http://192.168.1.106:8080/", "", False, 120),
# --- CT 107: сеть ---
"adguard": (107, "/opt/network-lxc", "adguard",
"http://192.168.1.107:3000/control/status", "200 302", True, 120),
# --- CT 108: автоматизация ---
"tg-admin-bot": (108, "/opt/automation-lxc/telegram-admin-bot", "tg-admin-bot",
"", "", False, 60),
# --- CT 109: файлы ---
"nextcloud": (109, "/opt/files-lxc", "nextcloud",
"http://192.168.1.109:8080/status.php", "200 302", True, 300),
"files_db": (109, "/opt/files-lxc", "files_db", "", "", True, 120),
# --- CT 110: офис ---
"firefly": (110, "/opt/lifestyle-lxc", "firefly",
"http://192.168.1.110:8080/", "200 302", False, 120),
"paperless_web": (110, "/opt/lifestyle-lxc", "paperless_web",
"http://192.168.1.110:8000/api/status/", "200 302", False, 480),
"paperless_worker": (110, "/opt/lifestyle-lxc", "paperless_worker", "", "", False, 120),
"paperless_redis_office": (110, "/opt/lifestyle-lxc", "paperless_redis", "", "", False, 60),
# --- CT 111: чтение (duplicati — копии) ---
"duplicati": (111, "", "duplicati",
"http://192.168.1.111:8200/", "200 302", True, 120),
# --- CT 113: журналы ---
"loki": (113, "/opt/loki", "loki",
"http://192.168.1.113:3100/ready", "200 404", False, 120),
# --- CT 115: основа openclaw ---
"nats": (115, "/opt/swarm", "nats",
"http://192.168.1.115:8222/healthz", "", True, 60),
"swarm-redis": (115, "/opt/swarm", "swarm-redis", "", "", True, 60),
# --- CT 134: тревоги ---
"alertmanager": (134, "", "alertmanager",
"http://192.168.1.134:9093/-/healthy", "", True, 120),
"buryan-alert-webhook": (134, "", "buryan-alert-webhook", "", "", False, 60),
# --- CT 105: файлы (второй redis) ---
"paperless_redis_files": (105, "/opt/sync-lxc", "paperless_redis", "", "", False, 60),
# --- CT 155: Matrix ---
"mautrix-telegram": (155, "/opt/mautrix-telegram", "mautrix-telegram",
"", "", False, 180),
"element-web": (155, "/opt/element", "element-web",
"http://192.168.1.155:8088/", "", False, 120),
"livekit": (155, "/opt/livekit", "livekit",
"http://192.168.1.155:7880/", "", True, 120),
"matrix-coturn": (155, "/opt/matrix", "matrix-coturn", "", "", True, 120),
}
def check(url):
"""Отвечает ли адрес. Возвращает код или None."""
if not url:
return None
r = subprocess.run(
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}", "--max-time", "8", url],
capture_output=True, text=True)
return r.stdout.strip() or "000"
print("=== 1. КОПИЯ РЕЕСТРА ===")
shutil.copy2(Y, BAK)
print(" %s" % BAK)
print()
print("=== 2. ПРОВЕРЯЮ АДРЕСА ЗДОРОВЬЯ ===")
verified = {}
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
if not url:
verified[key] = (url, codes, "проверка не нужна")
continue
code = check(url)
ok = codes.split() if codes else ["200", "201", "204"]
if code in ok:
verified[key] = (url, codes, "отвечает %s" % code)
print(" %-24s %-46s %s" % (key, url, code))
else:
verified[key] = ("", "", "НЕ отвечает (%s) — проверку убираю" % code)
print(" %-24s %-46s %s -> убираю" % (key, url, code))
print()
print("=== 3. ДОПИСЫВАЮ В РЕЕСТР ===")
t = io.open(Y, encoding="utf-8").read()
if "homeassistant:" in t and "mosquitto:" not in t:
pass
block = ["", " # === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===",
" # Реестр покрывал 28 служб из 97 работающих контейнеров —",
" # поэтому обновление «не работало на многие».", ""]
added = 0
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
if ("\n %s:" % key) in t or ("\n %s:" % key).replace("-", "-") in t:
print(" пропуск %s — уже есть" % key)
continue
vurl, vcodes, note = verified[key]
block.append(" %s:" % key)
block.append(" ct_id: %d" % ct)
block.append(" wait: %d" % wait)
if path:
block.append(" compose_path: %s" % path)
if vurl:
block.append(" healthcheck:")
block.append(" url: %s" % vurl)
block.append(" timeout: 15")
block.append(" retries: 10")
if vcodes:
block.append(" accept_codes: \"%s\"" % vcodes)
block.append(" critical: %s" % ("true" if crit else "false"))
block.append(" backup: snapshot")
block.append(" container: %s" % cont)
block.append("")
added += 1
print(" добавлен %-24s CT %-4s %s" % (key, ct, note))
if added:
t = t.rstrip() + "\n" + "\n".join(block) + "\n"
io.open(Y, "w", encoding="utf-8").write(t)
print()
print(" дописано служб: %d" % added)
else:
print(" добавлять нечего")
print()
print("=== 4. ПРОВЕРКА ФАЙЛА ===")
r = subprocess.run(["yq", "-e", ".services | length", Y], capture_output=True, text=True)
print(" служб в реестре: %s" % r.stdout.strip())
if r.returncode != 0:
print(" ОШИБКА парсинга: %s" % r.stderr[:200])
shutil.copy2(BAK, Y)
print(" ОТКАТ выполнен")
raise SystemExit(1)
+68
View File
@@ -0,0 +1,68 @@
#!/bin/bash
# Сверка реестра обновлений с реальностью (на bash — надёжнее)
set -uo pipefail
Y=/root/buryan-infra/ops/update-manager/services.yaml
OUT=/tmp/update-gap.txt
: > "$OUT"
echo "=== 1. ЧТО РЕАЛЬНО РАБОТАЕТ ==="
printf ' %-5s %-34s %-40s %s\n' "CT" "контейнер" "образ" "compose-проект"
echo " ----------------------------------------------------------------------------------"
total=0
for ct in $(pct list 2>/dev/null | awk '$2=="running"{print $1}'); do
has=$(pct exec "$ct" -- bash -c 'command -v docker >/dev/null 2>&1 && echo ok' 2>/dev/null | tr -d '\r\n ')
[ "$has" = "ok" ] || continue
rows=$(pct exec "$ct" -- bash -c 'docker ps --format "{{.Names}}|{{.Image}}|{{.Label \"com.docker.compose.project\"}}" 2>/dev/null' | tr -d '\r')
[ -z "$rows" ] && continue
while IFS='|' read -r name image proj; do
[ -z "$name" ] && continue
total=$((total+1))
printf ' %-5s %-34s %-40s %s\n' "$ct" "${name:0:34}" "${image:0:40}" "${proj:-—}"
echo "$ct|$name|$image|$proj" >> "$OUT"
done <<< "$rows"
done
echo " ----------------------------------------------------------------------------------"
echo " всего контейнеров: $total"
echo
echo "=== 2. ЧЕГО НЕТ В РЕЕСТРЕ ==="
missing=0
while IFS='|' read -r ct name image proj; do
[ -z "$name" ] && continue
# служебное не обновляем
case "$name" in
promtail*|*oauth2-proxy*) continue ;;
esac
# есть ли имя контейнера в реестре
if grep -q "container: *$name\b" "$Y" 2>/dev/null; then continue; fi
# есть ли служба по имени
if grep -qE "^ ${name}:" "$Y" 2>/dev/null; then continue; fi
# есть ли по проекту compose
if [ -n "$proj" ] && grep -q "compose_path: */opt/$proj\b" "$Y" 2>/dev/null; then continue; fi
echo " CT $ct: $name (образ $image, проект ${proj:-—})"
missing=$((missing+1))
done < "$OUT"
[ "$missing" -eq 0 ] && echo " всё покрыто"
echo " не покрыто: $missing"
echo
echo "=== 3. СЛУЖБЫ В РЕЕСТРЕ: СУЩЕСТВУЕТ ЛИ КОНТЕЙНЕР ==="
yq -r '.services | to_entries[] | select(.value.type != "native") | "\(.key)|\(.value.ct_id)|\(.value.container // "")"' "$Y" 2>/dev/null \
| while IFS='|' read -r svc ct cont; do
[ -z "$svc" ] && continue
exists=0
if [ -n "$cont" ]; then
if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then
exists=1
fi
fi
if [ "$exists" -eq 0 ]; then
echo " ВНИМАНИЕ: $svc (CT $ct) — контейнер '${cont:-не указан}' не найден"
fi
done
echo
echo "=== 4. СЧЁТ ==="
inreg=$(yq -r '.services | length' "$Y" 2>/dev/null)
echo " служб в реестре: $inreg"
echo " контейнеров реально: $total"
+94
View File
@@ -0,0 +1,94 @@
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Вставляет в safe-update.sh поиск службы compose по имени контейнера.
ЗАЧЕМ. Скрипт берёт имя compose-службы из метки контейнера. Если контейнер
создан вручную (`docker run`), метки нет, и скрипт обновляет ВЕСЬ проект:
`docker compose up -d` без имени службы пересоздаёт всех соседей.
Для /opt/smart-lxc это значит, что обновление homeassistant пересоздаст
ещё mosquitto и zigbee2mqtt. Лишний риск на ровном месте.
Исправление: если метки нет — ищу службу по `container_name` в самом
compose-файле.
"""
import io
import shutil
import subprocess
import time
S = "/root/buryan-infra/ops/update-manager/safe-update.sh"
BAK = S + ".before-compose-fallback-%s" % time.strftime("%Y%m%d_%H%M%S")
print("=== 1. КОПИЯ ===")
shutil.copy2(S, BAK)
print(" %s" % BAK)
lines = io.open(S, encoding="utf-8").read().splitlines()
print()
print("=== 2. ИЩУ МЕСТО ВСТАВКИ ===")
target = None
for i, line in enumerate(lines):
if line.strip() == 'if [ -n "$COMPOSE_SVC" ]; then':
target = i
break
if target is None:
raise SystemExit("не нашёл строку 'if [ -n \"$COMPOSE_SVC\" ]; then'")
print(" строка %d: %s" % (target + 1, lines[target].strip()))
FALLBACK = ''' # Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\\$1; sub(\\":\\", \\"\\", svc) }
/container_name:/ && index(\\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
'''
print()
print("=== 3. ВСТАВЛЯЮ ===")
new_lines = lines[:target] + FALLBACK.rstrip("\n").splitlines() + [""] + lines[target:]
io.open(S, "w", encoding="utf-8").write("\n".join(new_lines) + "\n")
print(" вставлено строк: %d" % len(FALLBACK.splitlines()))
print()
print("=== 4. СИНТАКСИС ===")
r = subprocess.run(["bash", "-n", S], capture_output=True, text=True)
if r.returncode != 0:
print(" ОШИБКА: %s" % r.stderr[:300])
shutil.copy2(BAK, S)
print(" ОТКАТ выполнен")
raise SystemExit(1)
print(" верный")
print()
print("=== 5. ЧТО ПОЛУЧИЛОСЬ ===")
t = io.open(S, encoding="utf-8").read().splitlines()
start = None
for i, l in enumerate(t):
if "служба определена по имени контейнера" in l:
start = i
break
if start:
for line in t[max(0, start - 10):start + 6]:
print(" " + line)
print()
print("=== 6. ПРОВЕРКА ЛОГИКИ НА ПРИМЕРЕ ===")
# беру homeassistant: контейнер создан без метки, compose в /opt/smart-lxc
probe = subprocess.run(
["pct", "exec", "106", "--", "bash", "-c",
"awk -v c='homeassistant' '/^ [a-z0-9_-]+:/ { svc=$1; sub(\":\", \"\", svc) } "
"/container_name:/ && index($0, c) { print svc; exit }' "
"/opt/smart-lxc/docker-compose.yml 2>/dev/null"],
capture_output=True, text=True)
print(" для homeassistant найдётся служба: %r" % probe.stdout.strip())
if probe.stdout.strip() == "homeassistant":
print(" совпало — правка работает для этого случая")
else:
print(" ВНИМАНИЕ: не совпало, надо проверить формат compose")
+259
View File
@@ -26,3 +26,262 @@ LINE 1: ...ue SET status='failed', finished_at=now(), result=:'res' WHE...
[2026-10-14 15:26:52] создана задача в Gitea №170 с меткой sev:1
[2026-10-14 15:34:02] взята задача 10: dashy -> apply-check-1791981214 (CT )
[2026-10-14 15:34:24] задача 10 выполнена
[2026-10-15 03:00:02] отложенных переведено в одобренные: 1
[2026-10-15 03:01:01] отложенных переведено в одобренные: 1
[2026-10-15 03:02:02] отложенных переведено в одобренные: 1
[2026-10-15 03:03:01] отложенных переведено в одобренные: 1
[2026-10-15 03:04:02] отложенных переведено в одобренные: 1
[2026-10-15 03:05:01] отложенных переведено в одобренные: 1
[2026-10-15 03:05:01] отчёт отправлен: отложенных 0, успешно 4, ошибок 0, застряло 0
[2026-10-15 03:06:01] отложенных переведено в одобренные: 1
[2026-10-15 03:07:01] отложенных переведено в одобренные: 1
[2026-10-15 03:08:01] отложенных переведено в одобренные: 1
[2026-10-15 03:09:01] отложенных переведено в одобренные: 1
[2026-10-15 03:10:02] отложенных переведено в одобренные: 1
[2026-10-15 03:11:01] отложенных переведено в одобренные: 1
[2026-10-15 03:12:01] отложенных переведено в одобренные: 1
[2026-10-15 03:13:01] отложенных переведено в одобренные: 1
[2026-10-15 03:14:01] отложенных переведено в одобренные: 1
[2026-10-15 03:15:01] отложенных переведено в одобренные: 1
[2026-10-15 03:16:01] отложенных переведено в одобренные: 1
[2026-10-15 03:17:01] отложенных переведено в одобренные: 1
[2026-10-15 03:18:01] отложенных переведено в одобренные: 1
[2026-10-15 03:19:01] отложенных переведено в одобренные: 1
[2026-10-15 03:20:01] отложенных переведено в одобренные: 1
[2026-10-15 03:21:01] отложенных переведено в одобренные: 1
[2026-10-15 03:22:01] отложенных переведено в одобренные: 1
[2026-10-15 03:23:01] отложенных переведено в одобренные: 1
[2026-10-15 03:24:01] отложенных переведено в одобренные: 1
[2026-10-15 03:25:02] отложенных переведено в одобренные: 1
[2026-10-15 03:26:01] отложенных переведено в одобренные: 1
[2026-10-15 03:27:01] отложенных переведено в одобренные: 1
[2026-10-15 03:28:01] отложенных переведено в одобренные: 1
[2026-10-15 03:29:01] отложенных переведено в одобренные: 1
[2026-10-15 03:30:01] отложенных переведено в одобренные: 1
[2026-10-15 03:31:01] отложенных переведено в одобренные: 1
[2026-10-15 03:32:01] отложенных переведено в одобренные: 1
[2026-10-15 03:33:01] отложенных переведено в одобренные: 1
[2026-10-15 03:34:01] отложенных переведено в одобренные: 1
[2026-10-15 03:35:02] отложенных переведено в одобренные: 1
[2026-10-15 03:36:02] отложенных переведено в одобренные: 1
[2026-10-15 03:37:01] отложенных переведено в одобренные: 1
[2026-10-15 03:38:02] отложенных переведено в одобренные: 1
[2026-10-15 03:39:01] отложенных переведено в одобренные: 1
[2026-10-15 03:40:02] отложенных переведено в одобренные: 1
[2026-10-15 03:41:01] отложенных переведено в одобренные: 1
[2026-10-15 03:42:01] отложенных переведено в одобренные: 1
[2026-10-15 03:43:01] отложенных переведено в одобренные: 1
[2026-10-15 03:44:01] отложенных переведено в одобренные: 1
[2026-10-15 03:45:02] отложенных переведено в одобренные: 1
[2026-10-15 03:46:01] отложенных переведено в одобренные: 1
[2026-10-15 03:47:01] отложенных переведено в одобренные: 1
[2026-10-15 03:48:01] отложенных переведено в одобренные: 1
[2026-10-15 03:49:01] отложенных переведено в одобренные: 1
[2026-10-15 03:50:01] отложенных переведено в одобренные: 1
[2026-10-15 03:51:01] отложенных переведено в одобренные: 1
[2026-10-15 03:52:01] отложенных переведено в одобренные: 1
[2026-10-15 03:53:01] отложенных переведено в одобренные: 1
[2026-10-15 03:54:02] отложенных переведено в одобренные: 1
[2026-10-15 03:55:01] отложенных переведено в одобренные: 1
[2026-10-15 03:56:01] отложенных переведено в одобренные: 1
[2026-10-15 03:57:01] отложенных переведено в одобренные: 1
[2026-10-15 03:58:01] отложенных переведено в одобренные: 1
[2026-10-15 03:59:01] отложенных переведено в одобренные: 1
[2026-10-15 11:47:01] взята задача 17: matrix-synapse -> (CT )
[2026-10-15 11:47:02] не удалось сопоставить 'matrix-synapse' с реестром
[2026-10-15 16:25:01] взята задача 18: dashy -> (CT 102)
[2026-10-15 16:25:28] задача 18 выполнена
[2026-10-15 16:37:01] взята задача 19: syncthing -> (CT 139)
[2026-10-15 16:37:27] задача 19 выполнена
[2026-10-15 16:45:01] взята задача 20: linkding -> (CT 127)
[2026-10-15 16:45:16] задача 20 выполнена
[2026-10-15 16:53:01] взята задача 21: freshrss -> (CT 111)
[2026-10-15 16:53:33] задача 21 выполнена
[2026-10-15 16:55:01] взята задача 22: tautulli -> (CT 122)
[2026-10-15 16:55:18] задача 22 выполнена
[2026-10-15 16:56:01] взята задача 23: navidrome -> (CT 125)
[2026-10-15 16:56:15] задача 23 выполнена
[2026-10-15 16:57:01] взята задача 24: calibre -> (CT 111)
[2026-10-15 16:57:33] задача 24 выполнена
[2026-10-15 17:00:01] взята задача 25: overseerr -> (CT 121)
[2026-10-15 17:00:42] задача 25 выполнена
[2026-10-15 17:02:01] взята задача 26: mealie -> (CT 110)
[2026-10-15 17:02:14] задача 26 выполнена
[2026-10-15 17:03:01] взята задача 27: bazarr -> (CT 120)
[2026-10-15 17:03:16] задача 27 выполнена
[2026-10-15 17:16:01] взята задача 28: sonarr -> (CT 117)
[2026-10-15 17:16:18] задача 28 выполнена
[2026-10-15 17:17:01] взята задача 29: radarr -> (CT 118)
[2026-10-15 17:17:18] задача 29 выполнена
[2026-10-15 17:18:01] взята задача 30: prowlarr -> (CT 119)
[2026-10-15 17:18:19] задача 30 выполнена
[2026-10-15 17:21:01] взята задача 31: plex -> (CT 116)
[2026-10-15 17:21:25] задача 31 выполнена
[2026-10-15 17:22:01] взята задача 32: jellyfin -> (CT 103)
[2026-10-15 17:22:55] задача 32 выполнена
[2026-10-15 17:24:01] взята задача 33: paperless -> (CT 105)
[2026-10-15 17:28:46] задача 33 провалена
[2026-10-15 17:28:46] не удалось создать задачу в Gitea, код ответа 500
[2026-10-15 19:10:02] взята задача 35: uptime-kuma -> (CT 107)
[2026-10-15 19:10:19] задача 35 выполнена
[2026-10-15 19:11:01] взята задача 36: openclaw -> (CT 115)
[2026-10-15 19:11:16] задача 36 выполнена
[2026-10-15 19:12:01] взята задача 37: prometheus -> (CT 134)
[2026-10-15 19:12:15] задача 37 выполнена
[2026-10-15 19:13:01] взята задача 38: grafana -> (CT 113)
[2026-10-15 19:13:14] задача 38 выполнена
[2026-10-15 19:21:01] взята задача 39: npm -> (CT 101)
[2026-10-15 19:22:21] задача 39 выполнена
[2026-10-15 19:23:01] взята задача 40: n8n -> (CT 108)
[2026-10-15 19:23:34] задача 40 выполнена
[2026-10-15 19:24:01] взята задача 41: vaultwarden -> (CT 109)
[2026-10-15 19:24:21] задача 41 выполнена
[2026-10-15 19:25:02] взята задача 42: headscale -> (CT 201)
[2026-10-15 19:25:18] задача 42 выполнена
[2026-10-15 19:37:01] взята задача 43: matrix -> (CT 155)
[2026-10-15 19:40:34] задача 43 провалена
[2026-10-15 19:40:34] создана задача в Gitea №175 с меткой sev:1
[2026-10-15 19:43:01] взята задача 44: matrix -> (CT 155)
[2026-10-15 19:46:27] задача 44 провалена
[2026-10-15 19:46:27] создана задача в Gitea №176 с меткой sev:1
[2026-10-15 19:48:01] взята задача 45: matrix -> (CT 155)
[2026-10-15 19:51:28] задача 45 провалена
[2026-10-15 19:51:28] создана задача в Gitea №177 с меткой sev:1
[2026-10-15 19:58:01] взята задача 46: matrix -> (CT 155)
[2026-10-15 20:07:29] задача 46 провалена
[2026-10-15 20:07:29] создана задача в Gitea №178 с меткой sev:1
[2026-10-15 20:22:01] взята задача 47: matrix -> (CT 155)
[2026-10-15 20:22:30] задача 47 выполнена
[2026-10-15 20:55:01] взята задача 48: paperless -> (CT 105)
[2026-10-15 21:15:11] задача 48 провалена
[2026-10-15 21:15:11] создана задача в Gitea №179 с меткой sev:1
[2026-10-15 22:28:02] взята задача 49: paperless -> (CT 105)
[2026-10-15 22:34:30] задача 49 выполнена
[2026-10-15 22:36:01] взята задача 50: gitea -> (CT 140)
[2026-10-15 22:36:16] задача 50 выполнена
[2026-10-15 22:37:01] взята задача 51: authentik -> (CT 114)
[2026-10-15 22:37:45] задача 51 выполнена
[2026-10-16 03:00:02] отложенных переведено в одобренные: 1
[2026-10-16 03:01:01] отложенных переведено в одобренные: 1
[2026-10-16 03:02:01] отложенных переведено в одобренные: 1
[2026-10-16 03:03:01] отложенных переведено в одобренные: 1
[2026-10-16 03:04:01] отложенных переведено в одобренные: 1
[2026-10-16 03:05:02] отложенных переведено в одобренные: 1
[2026-10-16 03:05:02] отчёт отправлен: отложенных 0, успешно 27, ошибок 7, застряло 0
[2026-10-16 03:06:01] отложенных переведено в одобренные: 1
[2026-10-16 03:07:01] отложенных переведено в одобренные: 1
[2026-10-16 03:08:01] отложенных переведено в одобренные: 1
[2026-10-16 03:09:02] отложенных переведено в одобренные: 1
[2026-10-16 03:10:02] отложенных переведено в одобренные: 1
[2026-10-16 03:11:01] отложенных переведено в одобренные: 1
[2026-10-16 03:12:01] отложенных переведено в одобренные: 1
[2026-10-16 03:13:01] отложенных переведено в одобренные: 1
[2026-10-16 03:14:01] отложенных переведено в одобренные: 1
[2026-10-16 03:15:01] отложенных переведено в одобренные: 1
[2026-10-16 03:16:01] отложенных переведено в одобренные: 1
[2026-10-16 03:17:01] отложенных переведено в одобренные: 1
[2026-10-16 03:18:01] отложенных переведено в одобренные: 1
[2026-10-16 03:19:02] отложенных переведено в одобренные: 1
[2026-10-16 03:20:02] отложенных переведено в одобренные: 1
[2026-10-16 03:21:01] отложенных переведено в одобренные: 1
[2026-10-16 03:22:01] отложенных переведено в одобренные: 1
[2026-10-16 03:23:01] отложенных переведено в одобренные: 1
[2026-10-16 03:24:02] отложенных переведено в одобренные: 1
[2026-10-16 03:25:01] отложенных переведено в одобренные: 1
[2026-10-16 03:26:01] отложенных переведено в одобренные: 1
[2026-10-16 03:27:01] отложенных переведено в одобренные: 1
[2026-10-16 03:28:01] отложенных переведено в одобренные: 1
[2026-10-16 03:29:01] отложенных переведено в одобренные: 1
[2026-10-16 03:30:02] отложенных переведено в одобренные: 1
[2026-10-16 03:31:01] отложенных переведено в одобренные: 1
[2026-10-16 03:32:01] отложенных переведено в одобренные: 1
[2026-10-16 03:33:01] отложенных переведено в одобренные: 1
[2026-10-16 03:34:01] отложенных переведено в одобренные: 1
[2026-10-16 03:35:01] отложенных переведено в одобренные: 1
[2026-10-16 03:36:01] отложенных переведено в одобренные: 1
[2026-10-16 03:37:01] отложенных переведено в одобренные: 1
[2026-10-16 03:38:01] отложенных переведено в одобренные: 1
[2026-10-16 03:39:01] отложенных переведено в одобренные: 1
[2026-10-16 03:40:02] отложенных переведено в одобренные: 1
[2026-10-16 03:41:01] отложенных переведено в одобренные: 1
[2026-10-16 03:42:01] отложенных переведено в одобренные: 1
[2026-10-16 03:43:01] отложенных переведено в одобренные: 1
[2026-10-16 03:44:01] отложенных переведено в одобренные: 1
[2026-10-16 03:45:01] отложенных переведено в одобренные: 1
[2026-10-16 03:46:01] отложенных переведено в одобренные: 1
[2026-10-16 03:47:01] отложенных переведено в одобренные: 1
[2026-10-16 03:48:01] отложенных переведено в одобренные: 1
[2026-10-16 03:49:01] отложенных переведено в одобренные: 1
[2026-10-16 03:50:01] отложенных переведено в одобренные: 1
[2026-10-16 03:51:01] отложенных переведено в одобренные: 1
[2026-10-16 03:52:01] отложенных переведено в одобренные: 1
[2026-10-16 03:53:01] отложенных переведено в одобренные: 1
[2026-10-16 03:54:01] отложенных переведено в одобренные: 1
[2026-10-16 03:55:02] отложенных переведено в одобренные: 1
[2026-10-16 03:56:01] отложенных переведено в одобренные: 1
[2026-10-16 03:57:01] отложенных переведено в одобренные: 1
[2026-10-16 03:58:01] отложенных переведено в одобренные: 1
[2026-10-16 03:59:02] отложенных переведено в одобренные: 1
[2026-10-17 03:00:02] отложенных переведено в одобренные: 1
[2026-10-17 03:01:01] отложенных переведено в одобренные: 1
[2026-10-17 03:02:01] отложенных переведено в одобренные: 1
[2026-10-17 03:03:01] отложенных переведено в одобренные: 1
[2026-10-17 03:04:02] отложенных переведено в одобренные: 1
[2026-10-17 03:05:01] отложенных переведено в одобренные: 1
[2026-10-17 03:05:27] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0
[2026-10-17 03:06:01] отложенных переведено в одобренные: 1
[2026-10-17 03:07:01] отложенных переведено в одобренные: 1
[2026-10-17 03:08:01] отложенных переведено в одобренные: 1
[2026-10-17 03:09:01] отложенных переведено в одобренные: 1
[2026-10-17 03:10:02] отложенных переведено в одобренные: 1
[2026-10-17 03:11:01] отложенных переведено в одобренные: 1
[2026-10-17 03:12:01] отложенных переведено в одобренные: 1
[2026-10-17 03:13:01] отложенных переведено в одобренные: 1
[2026-10-17 03:14:02] отложенных переведено в одобренные: 1
[2026-10-17 03:15:01] отложенных переведено в одобренные: 1
[2026-10-17 03:16:01] отложенных переведено в одобренные: 1
[2026-10-17 03:17:01] отложенных переведено в одобренные: 1
[2026-10-17 03:18:01] отложенных переведено в одобренные: 1
[2026-10-17 03:19:01] отложенных переведено в одобренные: 1
[2026-10-17 03:20:02] отложенных переведено в одобренные: 1
[2026-10-17 03:21:01] отложенных переведено в одобренные: 1
[2026-10-17 03:22:01] отложенных переведено в одобренные: 1
[2026-10-17 03:23:01] отложенных переведено в одобренные: 1
[2026-10-17 03:24:02] отложенных переведено в одобренные: 1
[2026-10-17 03:25:01] отложенных переведено в одобренные: 1
[2026-10-17 03:26:02] отложенных переведено в одобренные: 1
[2026-10-17 03:27:01] отложенных переведено в одобренные: 1
[2026-10-17 03:28:01] отложенных переведено в одобренные: 1
[2026-10-17 03:29:01] отложенных переведено в одобренные: 1
[2026-10-17 03:30:02] отложенных переведено в одобренные: 1
[2026-10-17 03:31:01] отложенных переведено в одобренные: 1
[2026-10-17 03:32:01] отложенных переведено в одобренные: 1
[2026-10-17 03:33:01] отложенных переведено в одобренные: 1
[2026-10-17 03:34:01] отложенных переведено в одобренные: 1
[2026-10-17 03:35:01] отложенных переведено в одобренные: 1
[2026-10-17 03:36:01] отложенных переведено в одобренные: 1
[2026-10-17 03:37:01] отложенных переведено в одобренные: 1
[2026-10-17 03:38:01] отложенных переведено в одобренные: 1
[2026-10-17 03:39:01] отложенных переведено в одобренные: 1
[2026-10-17 03:40:01] отложенных переведено в одобренные: 1
[2026-10-17 03:41:01] отложенных переведено в одобренные: 1
[2026-10-17 03:42:01] отложенных переведено в одобренные: 1
[2026-10-17 03:43:01] отложенных переведено в одобренные: 1
[2026-10-17 03:44:01] отложенных переведено в одобренные: 1
[2026-10-17 03:45:01] отложенных переведено в одобренные: 1
[2026-10-17 03:46:01] отложенных переведено в одобренные: 1
[2026-10-17 03:47:01] отложенных переведено в одобренные: 1
[2026-10-17 03:48:01] отложенных переведено в одобренные: 1
[2026-10-17 03:49:01] отложенных переведено в одобренные: 1
[2026-10-17 03:50:02] отложенных переведено в одобренные: 1
[2026-10-17 03:51:01] отложенных переведено в одобренные: 1
[2026-10-17 03:52:01] отложенных переведено в одобренные: 1
[2026-10-17 03:53:01] отложенных переведено в одобренные: 1
[2026-10-17 03:54:01] отложенных переведено в одобренные: 1
[2026-10-17 03:55:01] отложенных переведено в одобренные: 1
[2026-10-17 03:56:01] отложенных переведено в одобренные: 1
[2026-10-17 03:57:01] отложенных переведено в одобренные: 1
[2026-10-17 03:58:01] отложенных переведено в одобренные: 1
[2026-10-17 03:59:01] отложенных переведено в одобренные: 1
[2026-10-17 07:54:02] взята задача 52: nextcloud -> (CT )
[2026-10-17 07:54:02] не удалось сопоставить 'nextcloud' с реестром
+26
View File
@@ -60,6 +60,11 @@ HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICE
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
@@ -147,6 +152,19 @@ if [ "$SERVICE_TYPE" = "docker" ]; then
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
# Если метки compose нет (контейнер создали вручную), искать службу
# надо в самом compose-файле по container_name. Иначе обновление
# одной службы пересоздаст весь проект вместе с соседями.
if [ -z "$COMPOSE_SVC" ] && [ -n "${CONTAINER:-}" ] && [ -n "$COMPOSE_DIR" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- bash -c "awk -v c='${CONTAINER}' '
/^ [a-z0-9_-]+:/ { svc=\$1; sub(\":\", \"\", svc) }
/container_name:/ && index(\$0, c) { print svc; exit }
' '${COMPOSE_DIR}/docker-compose.yml' 2>/dev/null" 2>/dev/null | tr -d '\r')
if [ -n "$COMPOSE_SVC" ]; then
log " служба определена по имени контейнера: $COMPOSE_SVC"
fi
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
@@ -252,7 +270,15 @@ fi
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
@@ -0,0 +1,344 @@
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi
@@ -0,0 +1,344 @@
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
# Окно ожидания из реестра (healthcheck.wait). Пусто — берётся общее.
SERVICE_WAIT=$(awk -v w="$SERVICE" '
/^ [a-z][a-z0-9-]*:/ { s=$1; sub(":", "", s) }
s == w && $1 == "wait:" { print $2 }' "$SERVICES_FILE" 2>/dev/null | tr -d "\r")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
# Окно ожидания готовности. По умолчанию 120 секунд, но для служб,
# которым нужно больше (Synapse, Paperless — приложения на Python с
# большой базой), значение берётся из реестра: healthcheck.wait.
# Без этого Synapse не успевал подняться и обновление откатывалось,
# хотя само обновление проходило успешно.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
if [ -n "${SERVICE_WAIT:-}" ]; then
HEALTH_WAIT="$SERVICE_WAIT"
fi
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi
+331
View File
@@ -0,0 +1,331 @@
#!/bin/bash
# ============================================================
# safe-update.sh v3 — обновление сервиса с откатом
# ============================================================
# Порядок: снимок → обновление → проверка здоровья → (успех: фиксация
# и удаление снимка | провал: остановка, откат, запуск).
#
# Что исправлено по сравнению с v1.2:
# 1. Версия определялась как «первый контейнер в списке», из-за чего
# vaultwarden числился как mariadb, а matrix как coturn. Теперь
# контейнер ищется по объявленному образу, затем по имени сервиса.
# 2. HTTP 403 считался успешной проверкой здоровья. Теперь коды 401/403
# принимаются только у сервисов, которым это разрешено явно
# (поле healthcheck.auth_required), иначе это признак поломки доступа.
# 3. После коммита не делался git push — фиксация оставалась только
# на сервере. Добавлен push.
# 4. Откат вызывал pct rollback на работающем контейнере, а Proxmox
# требует остановленный. Теперь контейнер останавливается, выполняется
# откат, контейнер запускается.
# 5. Снимок не удалялся после успешного обновления и оставался в пуле
# навсегда. Именно так накопились два снимка, удалённых 14.10.2026.
# Теперь снимок удаляется и при успехе, и после отката.
# 6. Не проверялось свободное место в пуле томов. Если пул заполнен,
# создание снимка добивает его и роняет все контейнеры. Добавлена
# проверка с отказом от обновления при заполнении выше порога.
#
# Запуск: safe-update.sh <имя-сервиса-из-реестра>
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
STATE_FILE="$REPO_ROOT/ops/state/stable-versions.json"
LOG_FILE="$REPO_ROOT/ops/update-manager/update.log"
POOL_LIMIT="${POOL_LIMIT:-75}" # процент заполнения пула, выше которого не обновляем
DEFAULT_ACCEPT_CODES="200 201 204 301 302"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
fail() { log "❌ $*"; exit 1; }
command -v yq >/dev/null 2>&1 || fail "нужен yq для чтения реестра сервисов"
if [ $# -lt 1 ]; then
echo "Использование: $0 <сервис>"
yq -r '.services | keys[]' "$SERVICES_FILE"
exit 1
fi
SERVICE="$1"
CT_ID=$(yq -r ".services.${SERVICE}.ct_id // \"\"" "$SERVICES_FILE")
[ -n "$CT_ID" ] || fail "сервис '$SERVICE' не найден в реестре $SERVICES_FILE"
IMAGE_HINT=$(yq -r ".services.${SERVICE}.image // \"\"" "$SERVICES_FILE")
COMPOSE_HINT=$(yq -r ".services.${SERVICE}.compose_path // \"\"" "$SERVICES_FILE")
DECLARED_CONTAINER=$(yq -r ".services.${SERVICE}.container // \"\"" "$SERVICES_FILE")
HEALTH_URL=$(yq -r ".services.${SERVICE}.healthcheck.url // \"\"" "$SERVICES_FILE")
HEALTH_TIMEOUT=$(yq -r ".services.${SERVICE}.healthcheck.timeout // 15" "$SERVICES_FILE")
HEALTH_RETRIES=$(yq -r ".services.${SERVICE}.healthcheck.retries // 3" "$SERVICES_FILE")
HEALTH_AUTH=$(yq -r ".services.${SERVICE}.healthcheck.auth_required // false" "$SERVICES_FILE")
ACCEPT_EXTRA=$(yq -r ".services.${SERVICE}.healthcheck.accept_codes // \"\"" "$SERVICES_FILE")
CRITICAL=$(yq -r ".services.${SERVICE}.critical // false" "$SERVICES_FILE")
SERVICE_TYPE=$(yq -r ".services.${SERVICE}.type // \"docker\"" "$SERVICES_FILE")
if [ "$HEALTH_AUTH" = "true" ]; then
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES 401 403}"
else
ACCEPT_CODES="${ACCEPT_EXTRA:-$DEFAULT_ACCEPT_CODES}"
fi
log "▶ Обновление: $SERVICE (CT $CT_ID, тип $SERVICE_TYPE, критичный: $CRITICAL)"
# ---------- Проверка места в пуле томов -------------------------------------
POOL_PCT=$(lvs --noheadings --nosuffix --units g -o data_percent 2>/dev/null \
| tr -d ' ' | head -1 | cut -d. -f1)
if [ -n "$POOL_PCT" ] && [ "$POOL_PCT" -ge "$POOL_LIMIT" ] 2>/dev/null; then
fail "пул томов заполнен на ${POOL_PCT}% (порог ${POOL_LIMIT}%). Обновление отменено: снимок может добить пул и уронить контейнеры."
fi
log " место в пуле: ${POOL_PCT:-?}%"
# ---------- Кто именно является сервисом ------------------------------------
# Порядок поиска важен. Проверка 14.10.2026 показала: поиск по вхождению
# имени в имя контейнера дал осечку — для сервиса dashy первым нашёлся
# oauth2-proxy-dashy, и версия была записана от прокси, а не от дашборда.
# Поэтому сначала берём контейнер, явно указанный в реестре, и только
# потом переходим к догадкам.
resolve_container() {
local list
list=$(pct exec "$CT_ID" -- docker ps --format '{{.Names}} {{.Image}}' 2>/dev/null)
[ -n "$list" ] || return 1
# 1. Контейнер, объявленный в реестре — единственный надёжный источник
if [ -n "$DECLARED_CONTAINER" ]; then
echo "$list" | awk -v c="$DECLARED_CONTAINER" '$1 == c {print $1; exit}'
return 0
fi
# 2. Точное совпадение имени контейнера с именем сервиса
local exact
exact=$(echo "$list" | awk -v s="$SERVICE" '$1 == s {print $1; exit}')
[ -n "$exact" ] && { echo "$exact"; return 0; }
# 3. Совпадение по имени образа
echo "$list" | awk -v s="$SERVICE" 'index(tolower($2), tolower(s)) {print $1; exit}'
}
CONTAINER=$(resolve_container)
[ -n "${CONTAINER:-}" ] || log "⚠️ контейнер сервиса не определён, версия будет записана из первого образа"
# ---------- Шаг 1: снимок ---------------------------------------------------
SNAPSHOT_NAME="pre-update-$(date +%Y%m%d-%H%M%S)"
log "📦 Снимок: $SNAPSHOT_NAME"
pct snapshot "$CT_ID" "$SNAPSHOT_NAME" --description "safe-update: $SERVICE" \
|| fail "не удалось создать снимок"
cleanup_snapshot() {
pct delsnapshot "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1 \
&& log " снимок удалён" || log " ⚠️ снимок удалить не удалось"
}
# ---------- Шаг 2: обновление ----------------------------------------------
if [ "$SERVICE_TYPE" = "docker" ]; then
# Каталог compose: сначала объявленный в реестре, затем поиск рядом.
COMPOSE_DIR=""
if [ -n "$COMPOSE_HINT" ] && pct exec "$CT_ID" -- test -f "${COMPOSE_HINT}/docker-compose.yml" 2>/dev/null; then
COMPOSE_DIR="$COMPOSE_HINT"
elif [ -n "${CONTAINER:-}" ]; then
COMPOSE_DIR=$(pct exec "$CT_ID" -- bash -c \
"docker inspect '${CONTAINER}' --format '{{index .Config.Labels \"com.docker.compose.project.working_dir\"}}'" 2>/dev/null)
[ "$COMPOSE_DIR" = "<no value>" ] && COMPOSE_DIR=""
fi
if [ -n "$COMPOSE_DIR" ]; then
# Правильный путь. `docker compose up -d` пересоздаёт контейнер из
# скачанного образа. Проверка 14.10.2026 показала, что `docker restart`
# этого не делает: контейнер поднимается из прежнего образа, а новый
# остаётся лежать в хранилище — обновление выглядит выполненным,
# но версия не меняется.
# ВАЖНО: служба указывается явно. Проект собрания может содержать
# несколько сервисов — например, в /opt/network-lxc живут и дашборд,
# и DNS-фильтр. Команда без указания службы пересоздала бы их все,
# то есть обновление одного сервиса уронило бы соседний.
COMPOSE_SVC=""
if [ -n "${CONTAINER:-}" ]; then
COMPOSE_SVC=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.service"}}' 2>/dev/null)
[ "$COMPOSE_SVC" = "<no value>" ] && COMPOSE_SVC=""
fi
if [ -n "$COMPOSE_SVC" ]; then
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба $COMPOSE_SVC)"
TARGET_ARG="$COMPOSE_SVC"
else
log "⬆️ Обновляем через compose: $COMPOSE_DIR (служба не определена — весь проект)"
TARGET_ARG=""
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose pull ${TARGET_ARG} 2>&1 | tail -3" \
|| log " ⚠️ скачивание образов не удалось"
# Контейнер мог быть создан вручную через `docker run` и не принадлежать
# проекту compose. Тогда `up -d` упрётся в занятое имя и обновление
# не пройдёт. Переименовываем такой контейнер: имя освобождается,
# а сам он остаётся точкой быстрого отката и будет убран уборщиком.
if [ -n "${CONTAINER:-}" ]; then
proj=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{index .Config.Labels "com.docker.compose.project"}}' 2>/dev/null)
if [ -z "$proj" ] || [ "$proj" = "<no value>" ]; then
log " контейнер не управляется compose — перевожу под управление"
pct exec "$CT_ID" -- docker stop -t 30 "$CONTAINER" >/dev/null 2>&1
# Остановку обязательно проверяем. Grafana не успевает завершиться
# за отведённое время, остаётся запущенной и продолжает держать
# порт: новый контейнер создать не удаётся, а проверка здоровья
# получает ответ от старого и сообщает об успехе.
stopped=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" \
--format '{{.State.Status}}' 2>/dev/null)
if [ "$stopped" = "running" ]; then
log " контейнер не остановился штатно — завершаю принудительно"
pct exec "$CT_ID" -- docker kill "$CONTAINER" >/dev/null 2>&1
sleep 3
fi
pct exec "$CT_ID" -- docker rename "$CONTAINER" \
"${CONTAINER}-old-$(date +%Y%m%d-%H%M%S)" >/dev/null 2>&1 \
&& log " старый контейнер сохранён под другим именем" \
|| log " ⚠️ переименовать не удалось — возможен конфликт имени"
fi
fi
pct exec "$CT_ID" -- bash -c "cd '${COMPOSE_DIR}' && docker compose up -d ${TARGET_ARG} 2>&1 | tail -5" \
|| log " ⚠️ пересоздание контейнеров не удалось"
elif [ -n "${CONTAINER:-}" ]; then
# Compose не найден. Скачать образ можем, а пересоздать контейнер
# с сохранением всех его параметров — нет. Поэтому честно сообщаем
# об этом, а не изображаем успешное обновление.
IMG=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
log " образ: $IMG"
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ образ не обновился"
log " ❌ Каталог compose не найден — пересоздать контейнер автоматически нельзя"
log " Образ скачан, но контейнер продолжит работать из прежнего."
else
log "⬆️ Обновляем образы по списку"
for IMG in $(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | sort -u); do
pct exec "$CT_ID" -- docker pull "$IMG" >/dev/null 2>&1 \
|| log " ⚠️ не удалось обновить $IMG"
done
pct exec "$CT_ID" -- bash -c 'docker restart $(docker ps -q)' >/dev/null 2>&1 \
|| log " ⚠️ перезапуск контейнеров не удался"
fi
else
log "⬆️ Нативный сервис: apt"
pct exec "$CT_ID" -- apt-get update -qq || log " ⚠️ apt update не удался"
pct exec "$CT_ID" -- apt-get install --only-upgrade -y "$SERVICE" >/dev/null 2>&1 \
|| log " ⚠️ apt upgrade не удался"
pct exec "$CT_ID" -- systemctl restart "$SERVICE" >/dev/null 2>&1 || true
fi
# ---------- Шаг 3: применился ли новый образ --------------------------------
# Главная проверка, которой раньше не было. Без неё обновление выглядело
# успешным, хотя контейнер продолжал работать из прежнего образа: проверка
# здоровья проходила (сервис-то жив), а версия не менялась.
sleep 5
IMAGE_APPLIED=true
if [ "$SERVICE_TYPE" = "docker" ] && [ -n "${CONTAINER:-}" ]; then
STATE_NOW=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.State.Status}}' 2>/dev/null)
IMG_NAME=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null)
RUNNING_ID=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Image}}' 2>/dev/null)
STORE_ID=$(pct exec "$CT_ID" -- docker images --no-trunc --format '{{.ID}}' "$IMG_NAME" 2>/dev/null | head -1)
# Отсутствие контейнера — это провал, а не повод пропустить проверку.
# Без этой ветки исполнитель сообщал об успехе, когда новый контейнер
# вообще не создался, а на порту отвечал старый.
if [ -z "$STATE_NOW" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не создан — обновление не применилось"
elif [ "$STATE_NOW" != "running" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер $CONTAINER не запущен (состояние: $STATE_NOW)"
elif [ -n "$RUNNING_ID" ] && [ -n "$STORE_ID" ] && [ "$RUNNING_ID" != "$STORE_ID" ]; then
IMAGE_APPLIED=false
log "❌ Контейнер работает из прежнего образа — обновление не применилось"
log " работает: ${RUNNING_ID:0:20}"
log " скачан: ${STORE_ID:0:20}"
else
log "✅ Контейнер $CONTAINER работает из актуального образа"
fi
fi
# ---------- Шаг 4: проверка здоровья ---------------------------------------
# Ожидание не фиксированное, а до готовности: одни сервисы поднимаются
# за пару секунд, другим (например, Grafana с большой базой) нужно больше
# минуты. Фиксированная пауза в 15 секунд приводила к ложным откатам.
HEALTH_WAIT="${HEALTH_WAIT:-120}"
HEALTH_OK=false
if [ -z "$HEALTH_URL" ]; then
log "🏥 Адрес проверки не задан — проверка пропущена"
HEALTH_OK=true
else
log "🏥 Проверка здоровья: $HEALTH_URL (успешные коды: $ACCEPT_CODES)"
deadline=$(( $(date +%s) + HEALTH_WAIT ))
attempt=0
while [ "$(date +%s)" -lt "$deadline" ]; do
attempt=$((attempt + 1))
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$HEALTH_TIMEOUT" "$HEALTH_URL" 2>/dev/null || echo 000)
for ok in $ACCEPT_CODES; do
if [ "$CODE" = "$ok" ]; then
HEALTH_OK=true
break 2
fi
done
if [ $((attempt % 3)) -eq 0 ]; then
log " ожидание готовности: попытка $attempt, код $CODE"
fi
sleep 5
done
[ "$HEALTH_OK" = true ] && log " сервис ответил на попытке $attempt"
fi
# ---------- Шаг 5: результат ------------------------------------------------
if [ "$HEALTH_OK" = true ] && [ "$IMAGE_APPLIED" = true ]; then
log "✅ Проверка пройдена"
if [ -n "${CONTAINER:-}" ]; then
NEW_VERSION=$(pct exec "$CT_ID" -- docker inspect "$CONTAINER" --format '{{.Config.Image}}' 2>/dev/null || echo unknown)
else
NEW_VERSION=$(pct exec "$CT_ID" -- docker ps --format '{{.Image}}' 2>/dev/null | head -1 || echo unknown)
fi
[ -f "$STATE_FILE" ] || echo '{}' > "$STATE_FILE"
TMP=$(mktemp)
jq --arg s "$SERVICE" --arg v "$NEW_VERSION" --arg d "$(date -Iseconds)" \
--arg ct "$CT_ID" --arg snap "$SNAPSHOT_NAME" \
'.[$s] = {image: $v, stable_tag: ($v | split(":") | last), ct: $ct, updated: $d, snapshot: $snap}' \
"$STATE_FILE" > "$TMP" && mv "$TMP" "$STATE_FILE"
cleanup_snapshot
cd "$REPO_ROOT"
git add ops/state/stable-versions.json ops/update-manager/update.log 2>/dev/null
git commit -m "chore(update): $SERVICE -> $NEW_VERSION (CT $CT_ID)" >/dev/null 2>&1 \
&& git push origin main >/dev/null 2>&1 \
&& log " ✅ зафиксировано в Git и отправлено" \
|| log " ⚠️ коммит или отправка не удались"
log "🎉 $SERVICE обновлён: $NEW_VERSION"
exit 0
else
if [ "$IMAGE_APPLIED" != true ]; then
log "🚨 Новый образ не применён — откат"
else
log "🚨 Проверка не пройдена — откат"
fi
pct stop "$CT_ID" --timeout 60 >/dev/null 2>&1 || pct stop "$CT_ID" >/dev/null 2>&1 || true
sleep 3
if pct rollback "$CT_ID" "$SNAPSHOT_NAME" >/dev/null 2>&1; then
log " откат выполнен"
else
log " ❌ откат не удался — контейнер остаётся в состоянии после обновления"
fi
pct start "$CT_ID" >/dev/null 2>&1 || log " ⚠️ не удалось запустить контейнер"
sleep 10
cleanup_snapshot
log "⚠️ Обновление $SERVICE отменено, сервис восстановлен из снимка"
exit 1
fi
+238
View File
@@ -16,6 +16,7 @@ services:
container: npm-app-1
authentik:
ct_id: 114
wait: 300
compose_path: /opt/authentik-security
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
@@ -26,6 +27,7 @@ services:
container: authentik-security-server-1
gitea:
ct_id: 140
wait: 300
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
@@ -46,6 +48,7 @@ services:
container: vaultwarden
matrix:
ct_id: 155
wait: 480
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/_matrix/client/versions
@@ -110,6 +113,7 @@ services:
# === FILES & DOCS ===
paperless:
ct_id: 105
wait: 480
compose_path: /opt/sync-lxc
healthcheck:
url: http://192.168.1.105:8000/api/status/
@@ -291,3 +295,237 @@ services:
critical: false
backup: snapshot
container: openclaw
# === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===
# Реестр покрывал 28 служб из 97 работающих контейнеров —
# поэтому обновление «не работало на многие».
homeassistant:
ct_id: 106
wait: 300
compose_path: /opt/smart-lxc
healthcheck:
url: http://192.168.1.106:8123/
timeout: 15
retries: 10
critical: true
backup: snapshot
container: homeassistant
mosquitto:
ct_id: 106
wait: 60
compose_path: /opt/smart-lxc
critical: false
backup: snapshot
container: mosquitto
zigbee2mqtt:
ct_id: 106
wait: 120
compose_path: /opt/smart-lxc
healthcheck:
url: http://192.168.1.106:8080/
timeout: 15
retries: 10
critical: false
backup: snapshot
container: zigbee2mqtt
adguard:
ct_id: 107
healthcheck:
url: http://192.168.1.107:3000/control/status
timeout: 15
retries: 10
auth_required: true
accept_codes: "200 302 401"
wait: 120
compose_path: /opt/network-lxc
critical: true
backup: snapshot
container: adguard
tg-admin-bot:
ct_id: 108
wait: 60
compose_path: /opt/automation-lxc/telegram-admin-bot
critical: false
backup: snapshot
container: tg-admin-bot
nextcloud:
ct_id: 109
wait: 300
compose_path: /opt/files-lxc
healthcheck:
url: http://192.168.1.109:8080/status.php
timeout: 15
retries: 10
accept_codes: "200 302"
critical: true
backup: snapshot
container: nextcloud
files_db:
ct_id: 109
wait: 120
compose_path: /opt/files-lxc
critical: true
backup: snapshot
container: files_db
firefly:
ct_id: 110
wait: 120
compose_path: /opt/lifestyle-lxc
healthcheck:
url: http://192.168.1.110:8080/
timeout: 15
retries: 10
accept_codes: "200 302"
critical: false
backup: snapshot
container: firefly
paperless_web:
ct_id: 110
healthcheck:
url: http://192.168.1.110:8000/api/status/
timeout: 15
retries: 10
auth_required: true
accept_codes: "200 302 401"
wait: 480
compose_path: /opt/lifestyle-lxc
critical: false
backup: snapshot
container: paperless_web
paperless_worker:
ct_id: 110
wait: 120
compose_path: /opt/lifestyle-lxc
critical: false
backup: snapshot
container: paperless_worker
paperless_redis_office:
ct_id: 110
wait: 60
compose_path: /opt/lifestyle-lxc
critical: false
backup: snapshot
container: paperless_redis
duplicati:
ct_id: 111
wait: 120
healthcheck:
url: http://192.168.1.111:8200/
timeout: 15
retries: 10
accept_codes: "200 302"
critical: true
backup: snapshot
container: duplicati
loki:
ct_id: 113
wait: 120
compose_path: /opt/loki
healthcheck:
url: http://192.168.1.113:3100/ready
timeout: 15
retries: 10
accept_codes: "200 404"
critical: false
backup: snapshot
container: loki
nats:
ct_id: 115
wait: 60
compose_path: /opt/swarm
healthcheck:
url: http://192.168.1.115:8222/healthz
timeout: 15
retries: 10
critical: true
backup: snapshot
container: nats
swarm-redis:
ct_id: 115
wait: 60
compose_path: /opt/swarm
critical: true
backup: snapshot
container: swarm-redis
alertmanager:
ct_id: 134
wait: 120
healthcheck:
url: http://192.168.1.134:9093/-/healthy
timeout: 15
retries: 10
critical: true
backup: snapshot
container: alertmanager
buryan-alert-webhook:
ct_id: 134
wait: 60
critical: false
backup: snapshot
container: buryan-alert-webhook
paperless_redis_files:
ct_id: 105
wait: 60
compose_path: /opt/sync-lxc
critical: false
backup: snapshot
container: paperless_redis
mautrix-telegram:
ct_id: 155
wait: 180
compose_path: /opt/mautrix-telegram
critical: false
backup: snapshot
container: mautrix-telegram
element-web:
ct_id: 155
wait: 120
compose_path: /opt/element
healthcheck:
url: http://192.168.1.155:8088/
timeout: 15
retries: 10
critical: false
backup: snapshot
container: element-web
livekit:
ct_id: 155
wait: 120
compose_path: /opt/livekit
healthcheck:
url: http://192.168.1.155:7880/
timeout: 15
retries: 10
critical: true
backup: snapshot
container: livekit
matrix-coturn:
ct_id: 155
wait: 120
compose_path: /opt/matrix
critical: true
backup: snapshot
container: matrix-coturn
@@ -0,0 +1,293 @@
# Реестр сервисов для Update Manager (полный спектр)
# Поле 'critical' определяет приоритет отката
# 'type': docker (по умолчанию) | native (apt/binary)
services:
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
npm:
ct_id: 101
compose_path: /opt/npm
healthcheck:
url: http://192.168.1.101:81/api/
timeout: 10
retries: 3
critical: true
backup: snapshot
container: npm-app-1
authentik:
ct_id: 114
compose_path: /opt/authentik-security
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
timeout: 15
retries: 3
critical: true
backup: snapshot
container: authentik-security-server-1
gitea:
ct_id: 140
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
timeout: 15
retries: 3
critical: true
backup: snapshot
container: gitea
vaultwarden:
ct_id: 109
compose_path: /opt/files-lxc
healthcheck:
url: http://192.168.1.109:8081/alive
timeout: 10
retries: 3
critical: true
backup: snapshot
container: vaultwarden
matrix:
ct_id: 155
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/health
timeout: 15
retries: 3
critical: true
backup: snapshot
container: matrix-synapse
# === АВТОМАТИЗАЦИЯ ===
n8n:
ct_id: 108
compose_path: /opt/automation-lxc
healthcheck:
url: http://192.168.1.108:5678/healthz
timeout: 15
retries: 3
critical: true
backup: snapshot
container: n8n
# === MONITORING & UTILS ===
prometheus:
ct_id: 134
compose_path: /opt/prometheus
healthcheck:
url: http://192.168.1.134:9090/-/healthy
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prometheus
grafana:
ct_id: 113
compose_path: /opt/grafana
healthcheck:
url: http://192.168.1.113:3000/api/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: grafana
uptime-kuma:
ct_id: 107
compose_path: /opt/network-lxc
healthcheck:
url: http://192.168.1.107:3001/api/entry-page
timeout: 10
retries: 3
critical: false
backup: snapshot
container: uptime_kuma
# === PORTAL & DASHBOARDS ===
dashy:
ct_id: 102
compose_path: /opt/dashy
healthcheck:
url: http://192.168.1.102:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: dashy
# === FILES & DOCS ===
paperless:
ct_id: 105
compose_path: /opt/sync-lxc
healthcheck:
url: http://192.168.1.105:8000/api/status/
timeout: 15
retries: 3
auth_required: true
critical: false
backup: snapshot
container: paperless
syncthing:
ct_id: 139
compose_path: /opt/syncthing
healthcheck:
url: http://192.168.1.139:8384/rest/system/version
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: syncthing
linkding:
ct_id: 127
compose_path: /opt/linkding
healthcheck:
url: http://192.168.1.127:3000/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: linkding
# === MEDIA STACK ===
jellyfin:
ct_id: 103
compose_path: /opt/jellyfin
healthcheck:
url: http://192.168.1.103:8096/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: jellyfin
plex:
ct_id: 116
compose_path: /opt/plex
healthcheck:
url: http://192.168.1.116:32400/identity
timeout: 10
retries: 3
critical: false
backup: snapshot
container: plex
sonarr:
ct_id: 117
compose_path: /opt/sonarr
healthcheck:
url: http://192.168.1.117:8989/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: sonarr
radarr:
ct_id: 118
compose_path: /opt/radarr
healthcheck:
url: http://192.168.1.118:7878/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: radarr
prowlarr:
ct_id: 119
compose_path: /opt/prowlarr
healthcheck:
url: http://192.168.1.119:9696/api/v1/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: prowlarr
bazarr:
ct_id: 120
compose_path: /opt/bazarr
healthcheck:
url: http://192.168.1.120:6767/api/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: bazarr
overseerr:
ct_id: 121
compose_path: /opt/overseerr
healthcheck:
url: http://192.168.1.121:5055/api/v1/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: overseerr
tautulli:
ct_id: 122
compose_path: /opt/tautulli
healthcheck:
url: http://192.168.1.122:8181/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: tautulli
navidrome:
ct_id: 125
compose_path: /opt/navidrome
healthcheck:
url: http://192.168.1.125:4533/ping
timeout: 10
retries: 3
critical: false
backup: snapshot
container: navidrome
# === READING & FINANCE ===
calibre:
ct_id: 111
compose_path: /opt/calibre-web
healthcheck:
url: http://192.168.1.111:8083/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: calibre-web
freshrss:
ct_id: 111
compose_path: /opt/freshrss
healthcheck:
url: http://192.168.1.111:8090/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: freshrss
mealie:
ct_id: 110
compose_path: /opt/lifestyle-lxc
healthcheck:
url: http://192.168.1.110:9925/api/app/about
timeout: 10
retries: 3
critical: false
backup: snapshot
container: mealie
# === NATIVE SERVICES (не Docker, apt-based) ===
postgres-rbac:
ct_id: 151
type: native
critical: true
backup: pgdump # pg_dump всей БД перед обновлением
headscale:
ct_id: 201
type: native
critical: false
backup: snapshot
# === EXPERIMENTAL ===
openclaw:
ct_id: 115
compose_path: /opt/openclaw
healthcheck:
timeout: 10
retries: 3
url: http://192.168.1.115:18789/healthz
critical: false
backup: snapshot
container: openclaw
@@ -0,0 +1,293 @@
# Реестр сервисов для Update Manager (полный спектр)
# Поле 'critical' определяет приоритет отката
# 'type': docker (по умолчанию) | native (apt/binary)
services:
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
npm:
ct_id: 101
compose_path: /opt/npm
healthcheck:
url: http://192.168.1.101:81/api/
timeout: 10
retries: 3
critical: true
backup: snapshot
container: npm-app-1
authentik:
ct_id: 114
compose_path: /opt/authentik-security
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
timeout: 15
retries: 3
critical: true
backup: snapshot
container: authentik-security-server-1
gitea:
ct_id: 140
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
timeout: 15
retries: 3
critical: true
backup: snapshot
container: gitea
vaultwarden:
ct_id: 109
compose_path: /opt/files-lxc
healthcheck:
url: http://192.168.1.109:8081/alive
timeout: 10
retries: 3
critical: true
backup: snapshot
container: vaultwarden
matrix:
ct_id: 155
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/health
timeout: 15
retries: 3
critical: true
backup: snapshot
container: matrix-synapse
# === АВТОМАТИЗАЦИЯ ===
n8n:
ct_id: 108
compose_path: /opt/automation-lxc
healthcheck:
url: http://192.168.1.108:5678/healthz
timeout: 15
retries: 3
critical: true
backup: snapshot
container: n8n
# === MONITORING & UTILS ===
prometheus:
ct_id: 134
compose_path: /opt/prometheus
healthcheck:
url: http://192.168.1.134:9090/-/healthy
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prometheus
grafana:
ct_id: 113
compose_path: /opt/grafana
healthcheck:
url: http://192.168.1.113:3000/api/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: grafana
uptime-kuma:
ct_id: 107
compose_path: /opt/network-lxc
healthcheck:
url: http://192.168.1.107:3001/api/entry-page
timeout: 10
retries: 3
critical: false
backup: snapshot
container: uptime_kuma
# === PORTAL & DASHBOARDS ===
dashy:
ct_id: 102
compose_path: /opt/dashy
healthcheck:
url: http://192.168.1.102:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: dashy
# === FILES & DOCS ===
paperless:
ct_id: 105
compose_path: /opt/sync-lxc
healthcheck:
url: http://192.168.1.105:8000/api/status/
timeout: 20
retries: 15
auth_required: true
critical: false
backup: snapshot
container: paperless
syncthing:
ct_id: 139
compose_path: /opt/syncthing
healthcheck:
url: http://192.168.1.139:8384/rest/system/version
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: syncthing
linkding:
ct_id: 127
compose_path: /opt/linkding
healthcheck:
url: http://192.168.1.127:3000/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: linkding
# === MEDIA STACK ===
jellyfin:
ct_id: 103
compose_path: /opt/jellyfin
healthcheck:
url: http://192.168.1.103:8096/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: jellyfin
plex:
ct_id: 116
compose_path: /opt/plex
healthcheck:
url: http://192.168.1.116:32400/identity
timeout: 10
retries: 3
critical: false
backup: snapshot
container: plex
sonarr:
ct_id: 117
compose_path: /opt/sonarr
healthcheck:
url: http://192.168.1.117:8989/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: sonarr
radarr:
ct_id: 118
compose_path: /opt/radarr
healthcheck:
url: http://192.168.1.118:7878/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: radarr
prowlarr:
ct_id: 119
compose_path: /opt/prowlarr
healthcheck:
url: http://192.168.1.119:9696/api/v1/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: prowlarr
bazarr:
ct_id: 120
compose_path: /opt/bazarr
healthcheck:
url: http://192.168.1.120:6767/api/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: bazarr
overseerr:
ct_id: 121
compose_path: /opt/overseerr
healthcheck:
url: http://192.168.1.121:5055/api/v1/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: overseerr
tautulli:
ct_id: 122
compose_path: /opt/tautulli
healthcheck:
url: http://192.168.1.122:8181/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: tautulli
navidrome:
ct_id: 125
compose_path: /opt/navidrome
healthcheck:
url: http://192.168.1.125:4533/ping
timeout: 10
retries: 3
critical: false
backup: snapshot
container: navidrome
# === READING & FINANCE ===
calibre:
ct_id: 111
compose_path: /opt/calibre-web
healthcheck:
url: http://192.168.1.111:8083/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: calibre-web
freshrss:
ct_id: 111
compose_path: /opt/freshrss
healthcheck:
url: http://192.168.1.111:8090/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: freshrss
mealie:
ct_id: 110
compose_path: /opt/lifestyle-lxc
healthcheck:
url: http://192.168.1.110:9925/api/app/about
timeout: 10
retries: 3
critical: false
backup: snapshot
container: mealie
# === NATIVE SERVICES (не Docker, apt-based) ===
postgres-rbac:
ct_id: 151
type: native
critical: true
backup: pgdump # pg_dump всей БД перед обновлением
headscale:
ct_id: 201
type: native
critical: false
backup: snapshot
# === EXPERIMENTAL ===
openclaw:
ct_id: 115
compose_path: /opt/openclaw
healthcheck:
timeout: 10
retries: 3
url: http://192.168.1.115:18789/healthz
critical: false
backup: snapshot
container: openclaw
@@ -0,0 +1,293 @@
# Реестр сервисов для Update Manager (полный спектр)
# Поле 'critical' определяет приоритет отката
# 'type': docker (по умолчанию) | native (apt/binary)
services:
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
npm:
ct_id: 101
compose_path: /opt/npm
healthcheck:
url: http://192.168.1.101:81/api/
timeout: 10
retries: 3
critical: true
backup: snapshot
container: npm-app-1
authentik:
ct_id: 114
compose_path: /opt/authentik-security
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
timeout: 15
retries: 3
critical: true
backup: snapshot
container: authentik-security-server-1
gitea:
ct_id: 140
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
timeout: 15
retries: 3
critical: true
backup: snapshot
container: gitea
vaultwarden:
ct_id: 109
compose_path: /opt/files-lxc
healthcheck:
url: http://192.168.1.109:8081/alive
timeout: 10
retries: 3
critical: true
backup: snapshot
container: vaultwarden
matrix:
ct_id: 155
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/_matrix/client/versions
timeout: 15
retries: 3
critical: true
backup: snapshot
container: matrix-synapse
# === АВТОМАТИЗАЦИЯ ===
n8n:
ct_id: 108
compose_path: /opt/automation-lxc
healthcheck:
url: http://192.168.1.108:5678/healthz
timeout: 15
retries: 3
critical: true
backup: snapshot
container: n8n
# === MONITORING & UTILS ===
prometheus:
ct_id: 134
compose_path: /opt/prometheus
healthcheck:
url: http://192.168.1.134:9090/-/healthy
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prometheus
grafana:
ct_id: 113
compose_path: /opt/grafana
healthcheck:
url: http://192.168.1.113:3000/api/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: grafana
uptime-kuma:
ct_id: 107
compose_path: /opt/network-lxc
healthcheck:
url: http://192.168.1.107:3001/api/entry-page
timeout: 10
retries: 3
critical: false
backup: snapshot
container: uptime_kuma
# === PORTAL & DASHBOARDS ===
dashy:
ct_id: 102
compose_path: /opt/dashy
healthcheck:
url: http://192.168.1.102:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: dashy
# === FILES & DOCS ===
paperless:
ct_id: 105
compose_path: /opt/sync-lxc
healthcheck:
url: http://192.168.1.105:8000/api/status/
timeout: 20
retries: 15
auth_required: true
critical: false
backup: snapshot
container: paperless
syncthing:
ct_id: 139
compose_path: /opt/syncthing
healthcheck:
url: http://192.168.1.139:8384/rest/system/version
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: syncthing
linkding:
ct_id: 127
compose_path: /opt/linkding
healthcheck:
url: http://192.168.1.127:3000/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: linkding
# === MEDIA STACK ===
jellyfin:
ct_id: 103
compose_path: /opt/jellyfin
healthcheck:
url: http://192.168.1.103:8096/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: jellyfin
plex:
ct_id: 116
compose_path: /opt/plex
healthcheck:
url: http://192.168.1.116:32400/identity
timeout: 10
retries: 3
critical: false
backup: snapshot
container: plex
sonarr:
ct_id: 117
compose_path: /opt/sonarr
healthcheck:
url: http://192.168.1.117:8989/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: sonarr
radarr:
ct_id: 118
compose_path: /opt/radarr
healthcheck:
url: http://192.168.1.118:7878/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: radarr
prowlarr:
ct_id: 119
compose_path: /opt/prowlarr
healthcheck:
url: http://192.168.1.119:9696/api/v1/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: prowlarr
bazarr:
ct_id: 120
compose_path: /opt/bazarr
healthcheck:
url: http://192.168.1.120:6767/api/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: bazarr
overseerr:
ct_id: 121
compose_path: /opt/overseerr
healthcheck:
url: http://192.168.1.121:5055/api/v1/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: overseerr
tautulli:
ct_id: 122
compose_path: /opt/tautulli
healthcheck:
url: http://192.168.1.122:8181/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: tautulli
navidrome:
ct_id: 125
compose_path: /opt/navidrome
healthcheck:
url: http://192.168.1.125:4533/ping
timeout: 10
retries: 3
critical: false
backup: snapshot
container: navidrome
# === READING & FINANCE ===
calibre:
ct_id: 111
compose_path: /opt/calibre-web
healthcheck:
url: http://192.168.1.111:8083/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: calibre-web
freshrss:
ct_id: 111
compose_path: /opt/freshrss
healthcheck:
url: http://192.168.1.111:8090/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: freshrss
mealie:
ct_id: 110
compose_path: /opt/lifestyle-lxc
healthcheck:
url: http://192.168.1.110:9925/api/app/about
timeout: 10
retries: 3
critical: false
backup: snapshot
container: mealie
# === NATIVE SERVICES (не Docker, apt-based) ===
postgres-rbac:
ct_id: 151
type: native
critical: true
backup: pgdump # pg_dump всей БД перед обновлением
headscale:
ct_id: 201
type: native
critical: false
backup: snapshot
# === EXPERIMENTAL ===
openclaw:
ct_id: 115
compose_path: /opt/openclaw
healthcheck:
timeout: 10
retries: 3
url: http://192.168.1.115:18789/healthz
critical: false
backup: snapshot
container: openclaw
@@ -0,0 +1,293 @@
# Реестр сервисов для Update Manager (полный спектр)
# Поле 'critical' определяет приоритет отката
# 'type': docker (по умолчанию) | native (apt/binary)
services:
# === КРИТИЧЕСКАЯ ИНФРАСТРУКТУРА ===
npm:
ct_id: 101
compose_path: /opt/npm
healthcheck:
url: http://192.168.1.101:81/api/
timeout: 10
retries: 3
critical: true
backup: snapshot
container: npm-app-1
authentik:
ct_id: 114
compose_path: /opt/authentik-security
healthcheck:
url: http://192.168.1.114:9000/-/health/live/
timeout: 15
retries: 3
critical: true
backup: snapshot
container: authentik-security-server-1
gitea:
ct_id: 140
compose_path: /opt/gitea
healthcheck:
url: http://192.168.1.140:3000/api/v1/version
timeout: 15
retries: 3
critical: true
backup: snapshot
container: gitea
vaultwarden:
ct_id: 109
compose_path: /opt/files-lxc
healthcheck:
url: http://192.168.1.109:8081/alive
timeout: 10
retries: 3
critical: true
backup: snapshot
container: vaultwarden
matrix:
ct_id: 155
compose_path: /opt/matrix
healthcheck:
url: http://192.168.1.155:8008/_matrix/client/versions
timeout: 15
retries: 3
critical: true
backup: snapshot
container: matrix-synapse
# === АВТОМАТИЗАЦИЯ ===
n8n:
ct_id: 108
compose_path: /opt/automation-lxc
healthcheck:
url: http://192.168.1.108:5678/healthz
timeout: 15
retries: 3
critical: true
backup: snapshot
container: n8n
# === MONITORING & UTILS ===
prometheus:
ct_id: 134
compose_path: /opt/prometheus
healthcheck:
url: http://192.168.1.134:9090/-/healthy
timeout: 10
retries: 3
critical: false
backup: snapshot
container: prometheus
grafana:
ct_id: 113
compose_path: /opt/grafana
healthcheck:
url: http://192.168.1.113:3000/api/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: grafana
uptime-kuma:
ct_id: 107
compose_path: /opt/network-lxc
healthcheck:
url: http://192.168.1.107:3001/api/entry-page
timeout: 10
retries: 3
critical: false
backup: snapshot
container: uptime_kuma
# === PORTAL & DASHBOARDS ===
dashy:
ct_id: 102
compose_path: /opt/dashy
healthcheck:
url: http://192.168.1.102:8080/
timeout: 10
retries: 3
critical: false
backup: snapshot
container: dashy
# === FILES & DOCS ===
paperless:
ct_id: 105
compose_path: /opt/sync-lxc
healthcheck:
url: http://192.168.1.105:8000/api/status/
timeout: 20
retries: 15
auth_required: true
critical: false
backup: snapshot
container: paperless
syncthing:
ct_id: 139
compose_path: /opt/syncthing
healthcheck:
url: http://192.168.1.139:8384/rest/system/version
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: syncthing
linkding:
ct_id: 127
compose_path: /opt/linkding
healthcheck:
url: http://192.168.1.127:3000/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: linkding
# === MEDIA STACK ===
jellyfin:
ct_id: 103
compose_path: /opt/jellyfin
healthcheck:
url: http://192.168.1.103:8096/health
timeout: 10
retries: 3
critical: false
backup: snapshot
container: jellyfin
plex:
ct_id: 116
compose_path: /opt/plex
healthcheck:
url: http://192.168.1.116:32400/identity
timeout: 10
retries: 3
critical: false
backup: snapshot
container: plex
sonarr:
ct_id: 117
compose_path: /opt/sonarr
healthcheck:
url: http://192.168.1.117:8989/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: sonarr
radarr:
ct_id: 118
compose_path: /opt/radarr
healthcheck:
url: http://192.168.1.118:7878/api/v3/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: radarr
prowlarr:
ct_id: 119
compose_path: /opt/prowlarr
healthcheck:
url: http://192.168.1.119:9696/api/v1/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: prowlarr
bazarr:
ct_id: 120
compose_path: /opt/bazarr
healthcheck:
url: http://192.168.1.120:6767/api/system/status
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: bazarr
overseerr:
ct_id: 121
compose_path: /opt/overseerr
healthcheck:
url: http://192.168.1.121:5055/api/v1/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: overseerr
tautulli:
ct_id: 122
compose_path: /opt/tautulli
healthcheck:
url: http://192.168.1.122:8181/status
timeout: 10
retries: 3
critical: false
backup: snapshot
container: tautulli
navidrome:
ct_id: 125
compose_path: /opt/navidrome
healthcheck:
url: http://192.168.1.125:4533/ping
timeout: 10
retries: 3
critical: false
backup: snapshot
container: navidrome
# === READING & FINANCE ===
calibre:
ct_id: 111
compose_path: /opt/calibre-web
healthcheck:
url: http://192.168.1.111:8083/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: calibre-web
freshrss:
ct_id: 111
compose_path: /opt/freshrss
healthcheck:
url: http://192.168.1.111:8090/
timeout: 10
retries: 3
auth_required: true
critical: false
backup: snapshot
container: freshrss
mealie:
ct_id: 110
compose_path: /opt/lifestyle-lxc
healthcheck:
url: http://192.168.1.110:9925/api/app/about
timeout: 10
retries: 3
critical: false
backup: snapshot
container: mealie
# === NATIVE SERVICES (не Docker, apt-based) ===
postgres-rbac:
ct_id: 151
type: native
critical: true
backup: pgdump # pg_dump всей БД перед обновлением
headscale:
ct_id: 201
type: native
critical: false
backup: snapshot
# === EXPERIMENTAL ===
openclaw:
ct_id: 115
compose_path: /opt/openclaw
healthcheck:
timeout: 10
retries: 3
url: http://192.168.1.115:18789/healthz
critical: false
backup: snapshot
container: openclaw
+39 -8
View File
@@ -27,6 +27,7 @@ PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
NOTIFY_URL="${NOTIFY_URL:-http://192.168.1.10:8099}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
@@ -72,14 +73,22 @@ resolve_service() {
}
notify() { # $1 = текст сообщения
# Уведомления идут через ОБЩИЙ СЛОЙ: Matrix — основной канал,
# Telegram — зеркало. Раньше отсюда шли напрямую в Telegram, и в
# Matrix ничего не приходило, хотя весь смысл перевода был в этом.
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
if [ -n "$token" ]; then
# Точка приёма понимает формат Telegram, прокси не нужен: она
# в локальной сети. Она же отправит зеркало в Telegram.
curl -s -m 25 -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"${NOTIFY_URL}/bot${token}/sendMessage" >/dev/null 2>&1 || true
else
log "нет токена бота алертов — уведомление не отправлено"
fi
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
@@ -127,8 +136,13 @@ create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 =
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
# и давал десятки одинаковых записей в журнале.
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred' RETURNING id" | wc -l)
WHERE status='deferred'
AND (decided_at IS NULL OR decided_at::date < current_date)
RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
@@ -153,6 +167,16 @@ q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
# Ищем по полю container в реестре.
if [ -z "$TARGET" ]; then
TARGET=$(awk -v c="$service" '
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
$1 == "container:" && $2 == c { print svc; exit }
' "$SERVICES_FILE")
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
fi
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
@@ -179,7 +203,14 @@ if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
# Версию берём из вывода safe-update.sh: он её знает, но раньше
# никуда не записывал — поэтому в уведомлении было «обновлён до»
# без числа. Если версии нет, честно пишем «текущая».
if [ -z "$newver" ] && [ -n "${res:-}" ]; then
newver=$(printf '%s' "$res" | grep -oE 'обновлён: [^ ]+' | tail -1 | sed 's/обновлён: //')
fi
[ -n "$newver" ] && q "UPDATE update_queue SET new_version='$newver' WHERE id=$id" >/dev/null
notify "✅ <b>$service</b> обновлён до <code>${newver:-текущая версия}</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
+191
View File
@@ -0,0 +1,191 @@
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred' RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
create_rollback_issue "$service" "$newver" "$ct" "$res"
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
fi
exit 0
+206
View File
@@ -0,0 +1,206 @@
#!/bin/bash
# ============================================================
# update-runner.sh — исполняет одобренные обновления (задача F6-4)
# ============================================================
# Запускается по расписанию раз в минуту на pve.
#
# Что делает:
# 1. В 03:xx переводит отложенные задачи в одобренные.
# 2. Забирает одну одобренную задачу из update_queue.
# 3. Помечает её выполняющейся, вызывает safe-update.sh.
# 4. Записывает результат и уведомляет в Telegram.
#
# Одновременно выполняется только одна задача: параллельные обновления
# двух сервисов на одном хосте мешают друг другу и портят измерения
# healthcheck. Блокировка flock защищает от наложения запусков.
#
# Результат пишется в базу, поэтому историю видно без разбора журналов.
# ============================================================
set -uo pipefail
REPO_ROOT="/root/buryan-infra"
SAFE_UPDATE="$REPO_ROOT/ops/update-manager/safe-update.sh"
SERVICES_FILE="$REPO_ROOT/ops/update-manager/services.yaml"
LOG_FILE="$REPO_ROOT/ops/update-manager/runner.log"
PG_HOST="${PG_HOST:-192.168.1.151}"
PG_DB="${PG_DB:-buryan_monitoring}"
PG_USER="${PG_USER:-buryan_monitor}"
TG_PROXY="${TG_PROXY:-http://192.168.1.10:10888}"
ALERT_CHAT_ID="${ALERT_CHAT_ID:-273442500}"
DEFER_HOUR="${DEFER_HOUR:-03}"
GITEA_URL="${GITEA_URL:-http://192.168.1.140:3000}"
GITEA_REPO="${GITEA_REPO:-agent-qwen/buryan-infra}"
mkdir -p "$(dirname "$LOG_FILE")"
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# Пароль базы и токен бота — из защищённых файлов, не из командной строки
[ -f /root/.buryan-monitor.env ] && . /root/.buryan-monitor.env
[ -z "${PGPASSWORD:-}" ] && { log "нет пароля базы в /root/.buryan-monitor.env"; exit 1; }
export PGPASSWORD
# Единственный экземпляр
exec 9>/var/lock/update-runner.lock
flock -n 9 || exit 0
q() { # $1 = SQL, печатает результат
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc "$1" 2>>"$LOG_FILE"
}
q_finish() { # $1 = id задачи, $2 = итоговый статус, $3 = текст результата
# Подстановка :'res' не работает при одиночном запросе (-c), поэтому
# текст экранируется вручную и подставляется прямо в строку.
local txt="${3//\'/\'\'}"
psql -h "$PG_HOST" -U "$PG_USER" -d "$PG_DB" -tAc \
"UPDATE update_queue SET status='$2', finished_at=now(), result='$txt' WHERE id=$1" \
2>>"$LOG_FILE"
}
resolve_service() {
# Уведомления приходят с именами контейнеров, а реестр оперирует именами
# сервисов. Переводим одно в другое: сначала проверяем прямое совпадение,
# затем ищем сервис, у которого этот контейнер указан в поле container.
local name="$1"
if yq -e ".services.${name}" "$SERVICES_FILE" >/dev/null 2>&1; then
echo "$name"
return 0
fi
yq -r --arg c "$name" \
'.services | to_entries[] | select(.value.container == $c) | .key' \
"$SERVICES_FILE" 2>/dev/null | head -1
}
notify() { # $1 = текст сообщения
local token
token=$(grep -m1 '^ALERT_TOKEN=' /root/bots-tokens.env 2>/dev/null | cut -d= -f2-)
[ -n "$token" ] || { log "нет токена бота алертов — уведомление не отправлено"; return 0; }
curl -s -m 25 -x "$TG_PROXY" -X POST \
--data-urlencode "chat_id=${ALERT_CHAT_ID}" \
--data-urlencode "text=$1" \
--data-urlencode "parse_mode=HTML" \
"https://api.telegram.org/bot${token}/sendMessage" >/dev/null 2>&1 || true
}
create_rollback_issue() { # $1 = сервис, $2 = версия, $3 = CT, $4 = текст результата
# Требование приёмки F6-5: при откате в Gitea создаётся задача с меткой sev:1.
#
# Две ловушки, на которых это уже ломалось:
# 1. Gitea принимает метки только по номеру. Передача имени ["sev:1"]
# возвращает 422 «cannot unmarshal ... of type int64». Поэтому номер
# метки сначала запрашивается.
# 2. curl возвращает код 0 даже при ошибке сервера, поэтому судить об
# успехе по нему нельзя — проверяется код ответа HTTP.
local token label_id body code num
token=$(cat /root/.gitea_api 2>/dev/null)
[ -n "$token" ] || { log "нет токена Gitea — задача об откате не создана"; return 0; }
label_id=$(curl -s -m 20 -H "Authorization: token $token" \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/labels" 2>/dev/null \
| jq -r '.[] | select(.name == "sev:1") | .id' 2>/dev/null | head -1)
body=$(printf 'Обновление сервиса **%s** не прошло проверку здоровья.\n\nВыполнен автоматический откат из снимка.\n\n- Новая версия: %s\n- CT: %s\n\nРезультат:\n```\n%s\n```\n\nСоздано автоматически потоком обновлений (F6-4).' \
"$1" "$2" "$3" "$4")
if [ -n "$label_id" ]; then
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" --argjson l "[$label_id]" \
'{title:$t, body:$b, labels:$l}' > /tmp/update-issue.json
else
log "метка sev:1 не найдена — задача будет создана без метки"
jq -n --arg t "🚨 Откат обновления: $1" --arg b "$body" \
'{title:$t, body:$b}' > /tmp/update-issue.json
fi
code=$(curl -s -m 25 -o /tmp/issue-resp.json -w '%{http_code}' -X POST \
-H "Authorization: token $token" \
-H 'Content-Type: application/json' \
--data-binary @/tmp/update-issue.json \
"${GITEA_URL}/api/v1/repos/${GITEA_REPO}/issues")
if [ "$code" = "201" ]; then
num=$(jq -r '.number' /tmp/issue-resp.json 2>/dev/null)
log "создана задача в Gitea №${num} с меткой sev:1"
else
log "не удалось создать задачу в Gitea, код ответа ${code}"
fi
}
# --- 1. Отложенные задачи: ночью становятся одобренными ----------------------
if [ "$(date +%H)" = "$DEFER_HOUR" ]; then
# Переводим ТОЛЬКО те отложенные задачи, что ещё не переводились
# сегодня. Без этого условия блок выполнялся каждую минуту весь час
# и давал десятки одинаковых записей в журнале.
moved=$(q "UPDATE update_queue SET status='approved', decided_at=now()
WHERE status='deferred'
AND (decided_at IS NULL OR decided_at::date < current_date)
RETURNING id" | wc -l)
[ "$moved" -gt 0 ] && log "отложенных переведено в одобренные: $moved"
fi
# --- 2. Берём одну одобренную задачу ----------------------------------------
row=$(q "SELECT id || '|' || service || '|' || coalesce(new_version,'') || '|' || coalesce(ct_id,'')
FROM update_queue
WHERE status = 'approved'
ORDER BY decided_at NULLS LAST, id
LIMIT 1")
if [ -z "$row" ]; then
exit 0
fi
id="${row%%|*}"; rest="${row#*|}"
service="${rest%%|*}"; rest="${rest#*|}"
newver="${rest%%|*}"; ct="${rest#*|}"
log "взята задача $id: $service -> $newver (CT $ct)"
q "UPDATE update_queue SET status='running', started_at=now(), attempts=attempts+1 WHERE id=$id" >/dev/null
# Уведомления приходят с именем контейнера — переводим в имя сервиса реестра
TARGET=$(resolve_service "$service")
# Запасной поиск: заявка может прийти с именем КОНТЕЙНЕРА, а в реестре
# служба названа иначе (например, заявка `matrix-synapse`, служба `matrix`).
# Ищем по полю container в реестре.
if [ -z "$TARGET" ]; then
TARGET=$(awk -v c="$service" '
/^ [a-z][a-z0-9-]*:/ { svc=$1; sub(":", "", svc) }
$1 == "container:" && $2 == c { print svc; exit }
' "$SERVICES_FILE")
[ -n "$TARGET" ] && log "служба '$service' найдена по имени контейнера: '$TARGET'"
fi
if [ -z "$TARGET" ]; then
q_finish "$id" failed "сервис '$service' не найден в реестре обновлений"
notify "🚨 Обновление <b>$service</b>: сервис не найден в реестре обновлений. Добавьте его в <code>services.yaml</code>."
log "не удалось сопоставить '$service' с реестром"
exit 1
fi
if [ "$TARGET" != "$service" ]; then
log "сервис '$service' сопоставлен с реестровой записью '$TARGET'"
fi
if [ ! -x "$SAFE_UPDATE" ]; then
q_finish "$id" failed "не найден safe-update.sh"
notify "🚨 Обновление <b>$service</b> не запущено: не найден safe-update.sh"
log "нет $SAFE_UPDATE"
exit 1
fi
# --- 3. Выполняем -----------------------------------------------------------
out=$("$SAFE_UPDATE" "$TARGET" 2>&1)
rc=$?
if [ "$rc" -eq 0 ]; then
res=$(echo "$out" | tail -3 | tr '\n' ' ')
q_finish "$id" done "$res"
log "задача $id выполнена"
notify "✅ <b>$service</b> обновлён до <code>$newver</code>"
else
res=$(echo "$out" | tail -6 | tr '\n' ' ')
q_finish "$id" failed "$res"
log "задача $id провалена"
create_rollback_issue "$service" "$newver" "$ct" "$res"
notify "🚨 <b>$service</b> — обновление не удалось, выполнен откат. Создана задача в Gitea с меткой sev:1."
fi
exit 0
+2
View File
@@ -851,3 +851,5 @@ unknown
[2026-10-15 22:37:44] сервис ответил на попытке 1
[2026-10-15 22:37:44] ✅ Проверка пройдена
[2026-10-15 22:37:45] снимок удалён
[2026-10-15 22:37:45] ✅ зафиксировано в Git и отправлено
[2026-10-15 22:37:45] 🎉 authentik обновлён: ghcr.io/goauthentik/server:latest
+89
View File
@@ -0,0 +1,89 @@
#!/bin/bash
# ============================================================
# validate-registry.sh — проверка: все ли службы реально обновляемы
# ============================================================
# Для каждой службы в реестре проверяю то, что нужно скрипту:
# 1. контейнер существует в указанном CT;
# 2. каталог compose существует (если указан);
# 3. адрес проверки здоровья отвечает ожидаемым кодом.
# Ничего не меняю — только показываю, где обновление не сработает.
# ============================================================
set -uo pipefail
Y=/root/buryan-infra/ops/update-manager/services.yaml
printf ' %-24s %-5s %-10s %-10s %s\n' "служба" "CT" "контейнер" "compose" "проверка"
echo " --------------------------------------------------------------------------------------------"
ok=0; bad=0
for svc in $(yq -r '.services | keys[]' "$Y" 2>/dev/null); do
type=$(yq -r ".services.${svc}.type // \"docker\"" "$Y")
ct=$(yq -r ".services.${svc}.ct_id // \"\"" "$Y")
if [ "$type" = "native" ]; then
# нативные: проверяю, что CT существует
if pct status "$ct" >/dev/null 2>&1; then
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "native, CT есть"
ok=$((ok+1))
else
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "—" "—" "CT НЕ НАЙДЕН"
bad=$((bad+1))
fi
continue
fi
cont=$(yq -r ".services.${svc}.container // \"\"" "$Y")
path=$(yq -r ".services.${svc}.compose_path // \"\"" "$Y")
url=$(yq -r ".services.${svc}.healthcheck.url // \"\"" "$Y")
codes=$(yq -r ".services.${svc}.healthcheck.accept_codes // \"\"" "$Y")
auth=$(yq -r ".services.${svc}.healthcheck.auth_required // false" "$Y")
# ВАЖНО: службы с паролем отвечают 401/403 — это признак ЖИВОЙ службы,
# а не сбоя. Скрипт обновления учитывает это через auth_required.
# Моя первая версия проверки этого не знала и дала 6 ложных тревог.
if [ -z "$codes" ]; then
if [ "$auth" = "true" ]; then codes="200 201 204 301 302 401 403"
else codes="200 201 204 301 302"; fi
fi
# 1. контейнер
cstate="?"
if [ -n "$cont" ]; then
if pct exec "$ct" -- bash -c "docker ps -a --format '{{.Names}}' 2>/dev/null | grep -qx '$cont'" 2>/dev/null; then
cstate="есть"
else
cstate="НЕТ"
fi
else
cstate="не указан"
fi
# 2. compose
pstate="—"
if [ -n "$path" ]; then
if pct exec "$ct" -- test -d "$path" 2>/dev/null; then
pstate="есть"
else
pstate="НЕТ"
fi
fi
# 3. здоровье
hstate="—"
if [ -n "$url" ]; then
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 "$url" 2>/dev/null)
match=0
for okc in $codes; do [ "$code" = "$okc" ] && match=1; done
if [ "$match" -eq 1 ]; then hstate="ok($code)"; else hstate="СБОЙ($code)"; fi
fi
printf ' %-24s %-5s %-10s %-10s %s\n' "$svc" "$ct" "$cstate" "$pstate" "$hstate"
if [ "$cstate" = "есть" ] && [ "$pstate" != "НЕТ" ] && [[ "$hstate" != СБОЙ* ]]; then
ok=$((ok+1))
else
bad=$((bad+1))
fi
done
echo " --------------------------------------------------------------------------------------------"
echo " обновляемы: $ok"
echo " есть проблемы: $bad"