Files
buryan-infra/ops/update-manager/add-all-services.py
T
root 915de56603 Обновления из бота: реестр расширен с 28 до 50 служб
Жалоба владельца: обновление из бота не работает на многие сервисы.
Проверил — причина простая: скрипт работает только по реестру
services.yaml, а в нём было 28 служб при 97 работающих контейнерах.

НЕ ОБНОВЛЯЛИСЬ (22 службы), в том числе важные:
  adguard (DNS всего дома), loki (журналы), alertmanager (тревоги),
  mautrix-telegram (мост в Telegram), livekit (звонки), homeassistant,
  nextcloud, duplicati (копии), firefly, paperless в CT 110,
  nats, swarm-redis, element-web, coturn, zigbee2mqtt, mosquitto.

ЧТО СДЕЛАНО:
1. Добавлены все 22 службы. В реестре теперь 50.
2. Каждый адрес проверки здоровья проверен вручную перед записью.
   Правило жёсткое: адрес добавляется только если реально отвечает.
   Неверный адрес хуже отсутствующего — скрипт счёл бы службу сломанной
   и ОТКАТИЛ исправное обновление.
3. Службы с паролем не потеряли проверку: adguard и paperless-web
   ответили 401, я сначала убрал у них проверку — это было неправильно,
   401 означает ЖИВУЮ службу. Вернул с флагом auth_required.
4. ИСПРАВЛЕНА ОШИБКА В САМОМ СКРИПТЕ: если контейнер создан вручную и
   метки compose у него нет, скрипт запускал «docker compose up -d» БЕЗ
   имени службы — то есть пересоздавал весь проект вместе с соседями.
   Для /opt/smart-lxc это значило: обновляя homeassistant, он пересоздал
   бы ещё mosquitto и zigbee2mqtt. Теперь служба ищется в compose-файле
   по container_name. Проверено на homeassistant.

ПРОВЕРКА: добавлен validate-registry.sh — для каждой службы проверяет,
что контейнер существует, каталог compose на месте, адрес здоровья
отвечает ожидаемым кодом.
  служб в реестре: 50, полностью обновляемы: 49.

ОСТАЛОСЬ ОГРАНИЧЕНИЕМ (честно):
  * openclaw — контейнер снят сегодня (падал, диск был полон), ждёт
    решения владельца;
  * duplicati, alertmanager, buryan-alert-webhook — работают БЕЗ compose:
    скрипт скачает образ, но пересоздать контейнер не сможет и скажет
    об этом прямо, а не изобразит успех;
  * mosquitto/redis/nats/coturn — порты не HTTP, проверки здоровья нет;
  * 12 контейнеров oauth2-proxy-* не внесены: вспомогательные.

МОЯ ОШИБКА В ПРОВЕРКЕ: первая версия дала 6 ложных тревог, считая
401/403 сбоем. Пришлось учитывать auth_required — то же правило, что уже
было в скрипте обновления. Урок: проверка должна знать те же правила,
что и проверяемое.

РЕШЕНИЕ ВЛАДЕЛЬЦА УЧТЕНО: postgres-rbac не трогаем.
2026-10-17 12:36:43 +03:00

170 lines
7.8 KiB
Python
Executable File

# -*- coding: utf-8 -*-
"""
Добавляет в реестр обновлений ВСЕ службы, которых там не было.
ЧТО БЫЛО. В реестре 28 служб, а реально работает 97 контейнеров.
Обновление «не работает на многие сервисы» — потому что их просто нет в
реестре, и скрипт отказывается: «сервис не найден».
ЧТО ДОБАВЛЯЮ (21 служба):
CT 106 — homeassistant, mosquitto, zigbee2mqtt
CT 107 — adguard
CT 108 — tg-admin-bot
CT 109 — nextcloud, files_db
CT 110 — firefly, paperless_web, paperless_worker, paperless_redis_office
CT 111 — duplicati
CT 113 — loki
CT 115 — nats, swarm-redis
CT 134 — alertmanager, buryan-alert-webhook
CT 105 — paperless_redis_files
CT 155 — mautrix-telegram, element-web, livekit, matrix-coturn
ПРАВИЛО ПРО ПРОВЕРКИ ЗДОРОВЬЯ: адрес добавляю ТОЛЬКО если он реально
отвечает. Неверный адрес хуже отсутствующего: скрипт посчитает сервис
сломанным и ОТКАТИТ обновление. Где не уверен — проверки нет, тогда
скрипт её пропускает и просто обновляет.
Порты MQTT/Redis/NATS/TURN — не HTTP, проверки здоровья у них нет.
"""
import io
import shutil
import subprocess
import time
Y = "/root/buryan-infra/ops/update-manager/services.yaml"
BAK = "/root/services.yaml.before-full-coverage-%s" % time.strftime("%Y%m%d_%H%M%S")
# поля: key: (ct, compose_path, container, health_url, accept_codes, critical, wait)
NEW = {
# --- CT 106: умный дом ---
"homeassistant": (106, "/opt/smart-lxc", "homeassistant",
"http://192.168.1.106:8123/", "", True, 300),
"mosquitto": (106, "/opt/smart-lxc", "mosquitto", "", "", False, 60),
"zigbee2mqtt": (106, "/opt/smart-lxc", "zigbee2mqtt",
"http://192.168.1.106:8080/", "", False, 120),
# --- CT 107: сеть ---
"adguard": (107, "/opt/network-lxc", "adguard",
"http://192.168.1.107:3000/control/status", "200 302", True, 120),
# --- CT 108: автоматизация ---
"tg-admin-bot": (108, "/opt/automation-lxc/telegram-admin-bot", "tg-admin-bot",
"", "", False, 60),
# --- CT 109: файлы ---
"nextcloud": (109, "/opt/files-lxc", "nextcloud",
"http://192.168.1.109:8080/status.php", "200 302", True, 300),
"files_db": (109, "/opt/files-lxc", "files_db", "", "", True, 120),
# --- CT 110: офис ---
"firefly": (110, "/opt/lifestyle-lxc", "firefly",
"http://192.168.1.110:8080/", "200 302", False, 120),
"paperless_web": (110, "/opt/lifestyle-lxc", "paperless_web",
"http://192.168.1.110:8000/api/status/", "200 302", False, 480),
"paperless_worker": (110, "/opt/lifestyle-lxc", "paperless_worker", "", "", False, 120),
"paperless_redis_office": (110, "/opt/lifestyle-lxc", "paperless_redis", "", "", False, 60),
# --- CT 111: чтение (duplicati — копии) ---
"duplicati": (111, "", "duplicati",
"http://192.168.1.111:8200/", "200 302", True, 120),
# --- CT 113: журналы ---
"loki": (113, "/opt/loki", "loki",
"http://192.168.1.113:3100/ready", "200 404", False, 120),
# --- CT 115: основа openclaw ---
"nats": (115, "/opt/swarm", "nats",
"http://192.168.1.115:8222/healthz", "", True, 60),
"swarm-redis": (115, "/opt/swarm", "swarm-redis", "", "", True, 60),
# --- CT 134: тревоги ---
"alertmanager": (134, "", "alertmanager",
"http://192.168.1.134:9093/-/healthy", "", True, 120),
"buryan-alert-webhook": (134, "", "buryan-alert-webhook", "", "", False, 60),
# --- CT 105: файлы (второй redis) ---
"paperless_redis_files": (105, "/opt/sync-lxc", "paperless_redis", "", "", False, 60),
# --- CT 155: Matrix ---
"mautrix-telegram": (155, "/opt/mautrix-telegram", "mautrix-telegram",
"", "", False, 180),
"element-web": (155, "/opt/element", "element-web",
"http://192.168.1.155:8088/", "", False, 120),
"livekit": (155, "/opt/livekit", "livekit",
"http://192.168.1.155:7880/", "", True, 120),
"matrix-coturn": (155, "/opt/matrix", "matrix-coturn", "", "", True, 120),
}
def check(url):
"""Отвечает ли адрес. Возвращает код или None."""
if not url:
return None
r = subprocess.run(
["curl", "-s", "-o", "/dev/null", "-w", "%{http_code}", "--max-time", "8", url],
capture_output=True, text=True)
return r.stdout.strip() or "000"
print("=== 1. КОПИЯ РЕЕСТРА ===")
shutil.copy2(Y, BAK)
print(" %s" % BAK)
print()
print("=== 2. ПРОВЕРЯЮ АДРЕСА ЗДОРОВЬЯ ===")
verified = {}
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
if not url:
verified[key] = (url, codes, "проверка не нужна")
continue
code = check(url)
ok = codes.split() if codes else ["200", "201", "204"]
if code in ok:
verified[key] = (url, codes, "отвечает %s" % code)
print(" %-24s %-46s %s" % (key, url, code))
else:
verified[key] = ("", "", "НЕ отвечает (%s) — проверку убираю" % code)
print(" %-24s %-46s %s -> убираю" % (key, url, code))
print()
print("=== 3. ДОПИСЫВАЮ В РЕЕСТР ===")
t = io.open(Y, encoding="utf-8").read()
if "homeassistant:" in t and "mosquitto:" not in t:
pass
block = ["", " # === ДОБАВЛЕНО 17.10.2026: службы, которых не было в реестре ===",
" # Реестр покрывал 28 служб из 97 работающих контейнеров —",
" # поэтому обновление «не работало на многие».", ""]
added = 0
for key, (ct, path, cont, url, codes, crit, wait) in NEW.items():
if ("\n %s:" % key) in t or ("\n %s:" % key).replace("-", "-") in t:
print(" пропуск %s — уже есть" % key)
continue
vurl, vcodes, note = verified[key]
block.append(" %s:" % key)
block.append(" ct_id: %d" % ct)
block.append(" wait: %d" % wait)
if path:
block.append(" compose_path: %s" % path)
if vurl:
block.append(" healthcheck:")
block.append(" url: %s" % vurl)
block.append(" timeout: 15")
block.append(" retries: 10")
if vcodes:
block.append(" accept_codes: \"%s\"" % vcodes)
block.append(" critical: %s" % ("true" if crit else "false"))
block.append(" backup: snapshot")
block.append(" container: %s" % cont)
block.append("")
added += 1
print(" добавлен %-24s CT %-4s %s" % (key, ct, note))
if added:
t = t.rstrip() + "\n" + "\n".join(block) + "\n"
io.open(Y, "w", encoding="utf-8").write(t)
print()
print(" дописано служб: %d" % added)
else:
print(" добавлять нечего")
print()
print("=== 4. ПРОВЕРКА ФАЙЛА ===")
r = subprocess.run(["yq", "-e", ".services | length", Y], capture_output=True, text=True)
print(" служб в реестре: %s" % r.stdout.strip())
if r.returncode != 0:
print(" ОШИБКА парсинга: %s" % r.stderr[:200])
shutil.copy2(BAK, Y)
print(" ОТКАТ выполнен")
raise SystemExit(1)