[SPRINT-V1][E] Автовосстановление после перезагрузки: pve-ensure-rw + pve-start-all (rw на корне, pve-cluster, сервисы, все CT, наш стек)

This commit is contained in:
root committed 2026-11-05 22:16:17 +03:00
1 parent ccb26e16db
commit f5f3586cdf
5 files changed
+128

No files matched your search

+65
View File
@@ -0,0 +1,65 @@
# Автовосстановление после перезагрузки (boot orchestrator)
## Зачем
04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:
- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются;
- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются;
- контейнеры не запущены;
- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.
Раньше всё это поднималось руками. Теперь — автоматически.
## Что установлено
### `pve-ensure-rw.service`
```
DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
```
Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`.
Без этого `pmxcfs` падает с «Read-only file system».
### `pve-start-all.service`
```
After=network-online.target pve-cluster.service docker.service
TimeoutStartSec=900
ExecStart=/usr/local/sbin/pve-start-all.sh
```
Скрипт через 20 с после сети:
1. поднимает `pve-cluster`, если не активен;
2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`;
3. включает `swapfile16.swap`;
4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`;
5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`.
Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.
## Проверка
```
systemctl start pve-ensure-rw → OK
systemctl start pve-start-all → OK
```
Контрольный прогон не изменил состояние (сервисы уже работали).
## Ограничения
- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`).
- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.
## Файлы
- `/usr/local/sbin/pve-ensure-rw.sh`
- `/usr/local/sbin/pve-start-all.sh`
- `/etc/systemd/system/pve-ensure-rw.service`
- `/etc/systemd/system/pve-start-all.service`
+13
View File
@@ -0,0 +1,13 @@
[Unit]
Description=Гарантировать rw на корне до старта pve-cluster
DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
RemainAfterExit=yes
[Install]
WantedBy=sysinit.target
+12
View File
@@ -0,0 +1,12 @@
#!/bin/sh
# При загрузке корень может оказаться read-only (fsck). Возвращаем rw,
# иначе pmxcfs/pve-cluster не стартуют.
for i in 1 2 3 4 5; do
if mount | grep -q "on / type ext4 (ro"; then
mount -o remount,rw / 2>/dev/null
sleep 2
else
exit 0
fi
done
exit 0
+13
View File
@@ -0,0 +1,13 @@
[Unit]
Description=Buryans Hub: автовосстановление после перезагрузки
After=network-online.target pve-cluster.service docker.service
Wants=network-online.target pve-cluster.service
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/pve-start-all.sh
TimeoutStartSec=900
RemainAfterExit=yes
[Install]
WantedBy=multi-user.target
+25
View File
@@ -0,0 +1,25 @@
#!/bin/sh
# Автовосстановление Buryans Hub после перезагрузки/падения.
sleep 20
# pve-cluster
systemctl is-active --quiet pve-cluster || { systemctl reset-failed pve-cluster; systemctl start pve-cluster; sleep 8; }
# службы хоста
for u in pvestatd pvescheduler pve-firewall docker containerd fail2ban chronyd prometheus-node-exporter nginx; do
systemctl is-active --quiet "$u" || { systemctl reset-failed "$u" 2>/dev/null; systemctl start "$u" 2>/dev/null; }
done
systemctl start swapfile16.swap 2>/dev/null
# контейнеры (кроме намеренно остановленных)
SKIP=$(grep -A20 '^ct:' /root/buryan-infra/ops/hermes/maintenance.yaml 2>/dev/null | grep -oE '^ "[0-9]+"' | tr -d ' "' | tr '\n' ' ')
for ct in $(pct list 2>/dev/null | awk 'NR>1 && $2!="running" {print $1}'); do
case " $SKIP " in *" $ct "*) continue;; esac
pct start "$ct" >/dev/null 2>&1
done
sleep 30
# наши сервисы
for s in hub-core hermes hub-secretary-ai hub-media-hook telegram-userbot; do
systemctl is-active --quiet "$s" || { systemctl reset-failed "$s" 2>/dev/null; systemctl start "$s" 2>/dev/null; }
done
# контейнеры docker в media-стеке (после жёсткого сброса падают)
for ct in 117 118 119 120 121; do
pct exec "$ct" -- sh -c 'docker ps --format "{{.Names}}" 2>/dev/null' >/dev/null 2>&1 || continue
done