From f5f3586cdf6d6faf1841307eda6f3ed3d7e5063c Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 5 Nov 2026 22:16:17 +0300 Subject: [PATCH] =?UTF-8?q?[SPRINT-V1][E]=20=D0=90=D0=B2=D1=82=D0=BE=D0=B2?= =?UTF-8?q?=D0=BE=D1=81=D1=81=D1=82=D0=B0=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B5=20=D0=BF=D0=BE=D1=81=D0=BB=D0=B5=20=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=B7=D0=B0=D0=B3=D1=80=D1=83=D0=B7=D0=BA?= =?UTF-8?q?=D0=B8:=20pve-ensure-rw=20+=20pve-start-all=20(rw=20=D0=BD?= =?UTF-8?q?=D0=B0=20=D0=BA=D0=BE=D1=80=D0=BD=D0=B5,=20pve-cluster,=20?= =?UTF-8?q?=D1=81=D0=B5=D1=80=D0=B2=D0=B8=D1=81=D1=8B,=20=D0=B2=D1=81?= =?UTF-8?q?=D0=B5=20CT,=20=D0=BD=D0=B0=D1=88=20=D1=81=D1=82=D0=B5=D0=BA)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/boot/README.md | 65 ++++++++++++++++++++++++++++++++++ ops/boot/pve-ensure-rw.service | 13 +++++++ ops/boot/pve-ensure-rw.sh | 12 +++++++ ops/boot/pve-start-all.service | 13 +++++++ ops/boot/pve-start-all.sh | 25 +++++++++++++ 5 files changed, 128 insertions(+) create mode 100644 ops/boot/README.md create mode 100644 ops/boot/pve-ensure-rw.service create mode 100755 ops/boot/pve-ensure-rw.sh create mode 100644 ops/boot/pve-start-all.service create mode 100755 ops/boot/pve-start-all.sh diff --git a/ops/boot/README.md b/ops/boot/README.md new file mode 100644 index 0000000..8bf1c7e --- /dev/null +++ b/ops/boot/README.md @@ -0,0 +1,65 @@ +# Автовосстановление после перезагрузки (boot orchestrator) + +## Зачем + +04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки: + +- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются; +- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются; +- контейнеры не запущены; +- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска. + +Раньше всё это поднималось руками. Теперь — автоматически. + +## Что установлено + +### `pve-ensure-rw.service` + +``` +DefaultDependencies=no +After=local-fs.target +Before=pve-cluster.service +ExecStart=/usr/local/sbin/pve-ensure-rw.sh +``` + +Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`. +Без этого `pmxcfs` падает с «Read-only file system». + +### `pve-start-all.service` + +``` +After=network-online.target pve-cluster.service docker.service +TimeoutStartSec=900 +ExecStart=/usr/local/sbin/pve-start-all.sh +``` + +Скрипт через 20 с после сети: + +1. поднимает `pve-cluster`, если не активен; +2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`; +3. включает `swapfile16.swap`; +4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`; +5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`. + +Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют. + +## Проверка + +``` +systemctl start pve-ensure-rw → OK +systemctl start pve-start-all → OK +``` + +Контрольный прогон не изменил состояние (сервисы уже работали). + +## Ограничения + +- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`). +- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания. + +## Файлы + +- `/usr/local/sbin/pve-ensure-rw.sh` +- `/usr/local/sbin/pve-start-all.sh` +- `/etc/systemd/system/pve-ensure-rw.service` +- `/etc/systemd/system/pve-start-all.service` diff --git a/ops/boot/pve-ensure-rw.service b/ops/boot/pve-ensure-rw.service new file mode 100644 index 0000000..a999bfa --- /dev/null +++ b/ops/boot/pve-ensure-rw.service @@ -0,0 +1,13 @@ +[Unit] +Description=Гарантировать rw на корне до старта pve-cluster +DefaultDependencies=no +After=local-fs.target +Before=pve-cluster.service + +[Service] +Type=oneshot +ExecStart=/usr/local/sbin/pve-ensure-rw.sh +RemainAfterExit=yes + +[Install] +WantedBy=sysinit.target diff --git a/ops/boot/pve-ensure-rw.sh b/ops/boot/pve-ensure-rw.sh new file mode 100755 index 0000000..7c4e430 --- /dev/null +++ b/ops/boot/pve-ensure-rw.sh @@ -0,0 +1,12 @@ +#!/bin/sh +# При загрузке корень может оказаться read-only (fsck). Возвращаем rw, +# иначе pmxcfs/pve-cluster не стартуют. +for i in 1 2 3 4 5; do + if mount | grep -q "on / type ext4 (ro"; then + mount -o remount,rw / 2>/dev/null + sleep 2 + else + exit 0 + fi +done +exit 0 diff --git a/ops/boot/pve-start-all.service b/ops/boot/pve-start-all.service new file mode 100644 index 0000000..3ba96c4 --- /dev/null +++ b/ops/boot/pve-start-all.service @@ -0,0 +1,13 @@ +[Unit] +Description=Buryans Hub: автовосстановление после перезагрузки +After=network-online.target pve-cluster.service docker.service +Wants=network-online.target pve-cluster.service + +[Service] +Type=oneshot +ExecStart=/usr/local/sbin/pve-start-all.sh +TimeoutStartSec=900 +RemainAfterExit=yes + +[Install] +WantedBy=multi-user.target diff --git a/ops/boot/pve-start-all.sh b/ops/boot/pve-start-all.sh new file mode 100755 index 0000000..32d9fd5 --- /dev/null +++ b/ops/boot/pve-start-all.sh @@ -0,0 +1,25 @@ +#!/bin/sh +# Автовосстановление Buryans Hub после перезагрузки/падения. +sleep 20 +# pve-cluster +systemctl is-active --quiet pve-cluster || { systemctl reset-failed pve-cluster; systemctl start pve-cluster; sleep 8; } +# службы хоста +for u in pvestatd pvescheduler pve-firewall docker containerd fail2ban chronyd prometheus-node-exporter nginx; do + systemctl is-active --quiet "$u" || { systemctl reset-failed "$u" 2>/dev/null; systemctl start "$u" 2>/dev/null; } +done +systemctl start swapfile16.swap 2>/dev/null +# контейнеры (кроме намеренно остановленных) +SKIP=$(grep -A20 '^ct:' /root/buryan-infra/ops/hermes/maintenance.yaml 2>/dev/null | grep -oE '^ "[0-9]+"' | tr -d ' "' | tr '\n' ' ') +for ct in $(pct list 2>/dev/null | awk 'NR>1 && $2!="running" {print $1}'); do + case " $SKIP " in *" $ct "*) continue;; esac + pct start "$ct" >/dev/null 2>&1 +done +sleep 30 +# наши сервисы +for s in hub-core hermes hub-secretary-ai hub-media-hook telegram-userbot; do + systemctl is-active --quiet "$s" || { systemctl reset-failed "$s" 2>/dev/null; systemctl start "$s" 2>/dev/null; } +done +# контейнеры docker в media-стеке (после жёсткого сброса падают) +for ct in 117 118 119 120 121; do + pct exec "$ct" -- sh -c 'docker ps --format "{{.Names}}" 2>/dev/null' >/dev/null 2>&1 || continue +done