# Автовосстановление после перезагрузки (boot orchestrator) ## Зачем 04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки: - корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются; - `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются; - контейнеры не запущены; - Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска. Раньше всё это поднималось руками. Теперь — автоматически. ## Что установлено ### `pve-ensure-rw.service` ``` DefaultDependencies=no After=local-fs.target Before=pve-cluster.service ExecStart=/usr/local/sbin/pve-ensure-rw.sh ``` Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`. Без этого `pmxcfs` падает с «Read-only file system». ### `pve-start-all.service` ``` After=network-online.target pve-cluster.service docker.service TimeoutStartSec=900 ExecStart=/usr/local/sbin/pve-start-all.sh ``` Скрипт через 20 с после сети: 1. поднимает `pve-cluster`, если не активен; 2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`; 3. включает `swapfile16.swap`; 4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`; 5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`. Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют. ## Проверка ``` systemctl start pve-ensure-rw → OK systemctl start pve-start-all → OK ``` Контрольный прогон не изменил состояние (сервисы уже работали). ## Ограничения - Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`). - Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания. ## Файлы - `/usr/local/sbin/pve-ensure-rw.sh` - `/usr/local/sbin/pve-start-all.sh` - `/etc/systemd/system/pve-ensure-rw.service` - `/etc/systemd/system/pve-start-all.service`