Автовосстановление после перезагрузки (boot orchestrator)
Зачем
04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:
- корень смонтирован read-only (fsck) →
pmxcfsне стартует → нет/etc/pve→ контейнеры не поднимаются; pvestatd,pvescheduler,pve-firewall,docker,fail2banв состоянии failed и сами не поднимаются;- контейнеры не запущены;
- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.
Раньше всё это поднималось руками. Теперь — автоматически.
Что установлено
pve-ensure-rw.service
DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
Скрипт проверяет, не смонтирован ли корень ro, и делает remount,rw до старта pve-cluster.
Без этого pmxcfs падает с «Read-only file system».
pve-start-all.service
After=network-online.target pve-cluster.service docker.service
TimeoutStartSec=900
ExecStart=/usr/local/sbin/pve-start-all.sh
Скрипт через 20 с после сети:
- поднимает
pve-cluster, если не активен; - поднимает
pvestatd,pvescheduler,pve-firewall,docker,containerd,fail2ban,chronyd,prometheus-node-exporter,nginx; - включает
swapfile16.swap; - стартует все остановленные CT, кроме перечисленных в
maintenance.yaml; - поднимает наш стек:
hub-core,hermes,hub-secretary-ai,hub-media-hook,telegram-userbot.
Оба юнита enabled — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.
Проверка
systemctl start pve-ensure-rw → OK
systemctl start pve-start-all → OK
Контрольный прогон не изменил состояние (сервисы уже работали).
Ограничения
- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает
hygiene/actions.py(docker_start). - Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.
Файлы
/usr/local/sbin/pve-ensure-rw.sh/usr/local/sbin/pve-start-all.sh/etc/systemd/system/pve-ensure-rw.service/etc/systemd/system/pve-start-all.service
Обновление 06.11
pve-start-all.serviceотключён: дублировалhub-boot-recoverи вместе с ним держал загрузку 9 минут, из-за чего systemd выбрасывалssh,chrony,dbus.hub-boot-recoverпереведён на таймер (hub-boot-recover.timer,OnBootSec=60s): контейнеры поднимаются после загрузки, но не блокируют её.- VM больше не пропускаются:
VM104 (immich-prod)получилonboot: 1, проверкаcheck_onbootв гигиене теперь смотрит иqm list. - Журнал сделан постоянным (
/var/log/journal) — до этого прошлые загрузки не сохранялись и причину сбоя было не видно.