[SPRINT-V1][E] Автовосстановление после перезагрузки: pve-ensure-rw + pve-start-all (rw на корне, pve-cluster, сервисы, все CT, наш стек)
This commit is contained in:
1 parent
ccb26e16db
commit
f5f3586cdf
5 files changed
+128
No files matched your search
@@ -0,0 +1,65 @@
|
||||
# Автовосстановление после перезагрузки (boot orchestrator)
|
||||
|
||||
## Зачем
|
||||
|
||||
04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:
|
||||
|
||||
- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются;
|
||||
- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются;
|
||||
- контейнеры не запущены;
|
||||
- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.
|
||||
|
||||
Раньше всё это поднималось руками. Теперь — автоматически.
|
||||
|
||||
## Что установлено
|
||||
|
||||
### `pve-ensure-rw.service`
|
||||
|
||||
```
|
||||
DefaultDependencies=no
|
||||
After=local-fs.target
|
||||
Before=pve-cluster.service
|
||||
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
|
||||
```
|
||||
|
||||
Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`.
|
||||
Без этого `pmxcfs` падает с «Read-only file system».
|
||||
|
||||
### `pve-start-all.service`
|
||||
|
||||
```
|
||||
After=network-online.target pve-cluster.service docker.service
|
||||
TimeoutStartSec=900
|
||||
ExecStart=/usr/local/sbin/pve-start-all.sh
|
||||
```
|
||||
|
||||
Скрипт через 20 с после сети:
|
||||
|
||||
1. поднимает `pve-cluster`, если не активен;
|
||||
2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`;
|
||||
3. включает `swapfile16.swap`;
|
||||
4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`;
|
||||
5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`.
|
||||
|
||||
Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.
|
||||
|
||||
## Проверка
|
||||
|
||||
```
|
||||
systemctl start pve-ensure-rw → OK
|
||||
systemctl start pve-start-all → OK
|
||||
```
|
||||
|
||||
Контрольный прогон не изменил состояние (сервисы уже работали).
|
||||
|
||||
## Ограничения
|
||||
|
||||
- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`).
|
||||
- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.
|
||||
|
||||
## Файлы
|
||||
|
||||
- `/usr/local/sbin/pve-ensure-rw.sh`
|
||||
- `/usr/local/sbin/pve-start-all.sh`
|
||||
- `/etc/systemd/system/pve-ensure-rw.service`
|
||||
- `/etc/systemd/system/pve-start-all.service`
|
||||
@@ -0,0 +1,13 @@
|
||||
[Unit]
|
||||
Description=Гарантировать rw на корне до старта pve-cluster
|
||||
DefaultDependencies=no
|
||||
After=local-fs.target
|
||||
Before=pve-cluster.service
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
|
||||
RemainAfterExit=yes
|
||||
|
||||
[Install]
|
||||
WantedBy=sysinit.target
|
||||
Executable
+12
@@ -0,0 +1,12 @@
|
||||
#!/bin/sh
|
||||
# При загрузке корень может оказаться read-only (fsck). Возвращаем rw,
|
||||
# иначе pmxcfs/pve-cluster не стартуют.
|
||||
for i in 1 2 3 4 5; do
|
||||
if mount | grep -q "on / type ext4 (ro"; then
|
||||
mount -o remount,rw / 2>/dev/null
|
||||
sleep 2
|
||||
else
|
||||
exit 0
|
||||
fi
|
||||
done
|
||||
exit 0
|
||||
@@ -0,0 +1,13 @@
|
||||
[Unit]
|
||||
Description=Buryans Hub: автовосстановление после перезагрузки
|
||||
After=network-online.target pve-cluster.service docker.service
|
||||
Wants=network-online.target pve-cluster.service
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
ExecStart=/usr/local/sbin/pve-start-all.sh
|
||||
TimeoutStartSec=900
|
||||
RemainAfterExit=yes
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
Executable
+25
@@ -0,0 +1,25 @@
|
||||
#!/bin/sh
|
||||
# Автовосстановление Buryans Hub после перезагрузки/падения.
|
||||
sleep 20
|
||||
# pve-cluster
|
||||
systemctl is-active --quiet pve-cluster || { systemctl reset-failed pve-cluster; systemctl start pve-cluster; sleep 8; }
|
||||
# службы хоста
|
||||
for u in pvestatd pvescheduler pve-firewall docker containerd fail2ban chronyd prometheus-node-exporter nginx; do
|
||||
systemctl is-active --quiet "$u" || { systemctl reset-failed "$u" 2>/dev/null; systemctl start "$u" 2>/dev/null; }
|
||||
done
|
||||
systemctl start swapfile16.swap 2>/dev/null
|
||||
# контейнеры (кроме намеренно остановленных)
|
||||
SKIP=$(grep -A20 '^ct:' /root/buryan-infra/ops/hermes/maintenance.yaml 2>/dev/null | grep -oE '^ "[0-9]+"' | tr -d ' "' | tr '\n' ' ')
|
||||
for ct in $(pct list 2>/dev/null | awk 'NR>1 && $2!="running" {print $1}'); do
|
||||
case " $SKIP " in *" $ct "*) continue;; esac
|
||||
pct start "$ct" >/dev/null 2>&1
|
||||
done
|
||||
sleep 30
|
||||
# наши сервисы
|
||||
for s in hub-core hermes hub-secretary-ai hub-media-hook telegram-userbot; do
|
||||
systemctl is-active --quiet "$s" || { systemctl reset-failed "$s" 2>/dev/null; systemctl start "$s" 2>/dev/null; }
|
||||
done
|
||||
# контейнеры docker в media-стеке (после жёсткого сброса падают)
|
||||
for ct in 117 118 119 120 121; do
|
||||
pct exec "$ct" -- sh -c 'docker ps --format "{{.Names}}" 2>/dev/null' >/dev/null 2>&1 || continue
|
||||
done
|
||||
Reference in new issue
Block a user