diff --git a/ops/boot/README.md b/ops/boot/README.md new file mode 100644 index 0000000..8bf1c7e --- /dev/null +++ b/ops/boot/README.md @@ -0,0 +1,65 @@ +# Автовосстановление после перезагрузки (boot orchestrator) + +## Зачем + +04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки: + +- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются; +- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются; +- контейнеры не запущены; +- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска. + +Раньше всё это поднималось руками. Теперь — автоматически. + +## Что установлено + +### `pve-ensure-rw.service` + +``` +DefaultDependencies=no +After=local-fs.target +Before=pve-cluster.service +ExecStart=/usr/local/sbin/pve-ensure-rw.sh +``` + +Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`. +Без этого `pmxcfs` падает с «Read-only file system». + +### `pve-start-all.service` + +``` +After=network-online.target pve-cluster.service docker.service +TimeoutStartSec=900 +ExecStart=/usr/local/sbin/pve-start-all.sh +``` + +Скрипт через 20 с после сети: + +1. поднимает `pve-cluster`, если не активен; +2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`; +3. включает `swapfile16.swap`; +4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`; +5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`. + +Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют. + +## Проверка + +``` +systemctl start pve-ensure-rw → OK +systemctl start pve-start-all → OK +``` + +Контрольный прогон не изменил состояние (сервисы уже работали). + +## Ограничения + +- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`). +- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания. + +## Файлы + +- `/usr/local/sbin/pve-ensure-rw.sh` +- `/usr/local/sbin/pve-start-all.sh` +- `/etc/systemd/system/pve-ensure-rw.service` +- `/etc/systemd/system/pve-start-all.service` diff --git a/ops/boot/pve-ensure-rw.service b/ops/boot/pve-ensure-rw.service new file mode 100644 index 0000000..a999bfa --- /dev/null +++ b/ops/boot/pve-ensure-rw.service @@ -0,0 +1,13 @@ +[Unit] +Description=Гарантировать rw на корне до старта pve-cluster +DefaultDependencies=no +After=local-fs.target +Before=pve-cluster.service + +[Service] +Type=oneshot +ExecStart=/usr/local/sbin/pve-ensure-rw.sh +RemainAfterExit=yes + +[Install] +WantedBy=sysinit.target diff --git a/ops/boot/pve-ensure-rw.sh b/ops/boot/pve-ensure-rw.sh new file mode 100755 index 0000000..7c4e430 --- /dev/null +++ b/ops/boot/pve-ensure-rw.sh @@ -0,0 +1,12 @@ +#!/bin/sh +# При загрузке корень может оказаться read-only (fsck). Возвращаем rw, +# иначе pmxcfs/pve-cluster не стартуют. +for i in 1 2 3 4 5; do + if mount | grep -q "on / type ext4 (ro"; then + mount -o remount,rw / 2>/dev/null + sleep 2 + else + exit 0 + fi +done +exit 0 diff --git a/ops/boot/pve-start-all.service b/ops/boot/pve-start-all.service new file mode 100644 index 0000000..3ba96c4 --- /dev/null +++ b/ops/boot/pve-start-all.service @@ -0,0 +1,13 @@ +[Unit] +Description=Buryans Hub: автовосстановление после перезагрузки +After=network-online.target pve-cluster.service docker.service +Wants=network-online.target pve-cluster.service + +[Service] +Type=oneshot +ExecStart=/usr/local/sbin/pve-start-all.sh +TimeoutStartSec=900 +RemainAfterExit=yes + +[Install] +WantedBy=multi-user.target diff --git a/ops/boot/pve-start-all.sh b/ops/boot/pve-start-all.sh new file mode 100755 index 0000000..32d9fd5 --- /dev/null +++ b/ops/boot/pve-start-all.sh @@ -0,0 +1,25 @@ +#!/bin/sh +# Автовосстановление Buryans Hub после перезагрузки/падения. +sleep 20 +# pve-cluster +systemctl is-active --quiet pve-cluster || { systemctl reset-failed pve-cluster; systemctl start pve-cluster; sleep 8; } +# службы хоста +for u in pvestatd pvescheduler pve-firewall docker containerd fail2ban chronyd prometheus-node-exporter nginx; do + systemctl is-active --quiet "$u" || { systemctl reset-failed "$u" 2>/dev/null; systemctl start "$u" 2>/dev/null; } +done +systemctl start swapfile16.swap 2>/dev/null +# контейнеры (кроме намеренно остановленных) +SKIP=$(grep -A20 '^ct:' /root/buryan-infra/ops/hermes/maintenance.yaml 2>/dev/null | grep -oE '^ "[0-9]+"' | tr -d ' "' | tr '\n' ' ') +for ct in $(pct list 2>/dev/null | awk 'NR>1 && $2!="running" {print $1}'); do + case " $SKIP " in *" $ct "*) continue;; esac + pct start "$ct" >/dev/null 2>&1 +done +sleep 30 +# наши сервисы +for s in hub-core hermes hub-secretary-ai hub-media-hook telegram-userbot; do + systemctl is-active --quiet "$s" || { systemctl reset-failed "$s" 2>/dev/null; systemctl start "$s" 2>/dev/null; } +done +# контейнеры docker в media-стеке (после жёсткого сброса падают) +for ct in 117 118 119 120 121; do + pct exec "$ct" -- sh -c 'docker ps --format "{{.Names}}" 2>/dev/null' >/dev/null 2>&1 || continue +done