Files

Автовосстановление после перезагрузки (boot orchestrator)

Зачем

04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:

  • корень смонтирован read-only (fsck) → pmxcfs не стартует → нет /etc/pve → контейнеры не поднимаются;
  • pvestatd, pvescheduler, pve-firewall, docker, fail2ban в состоянии failed и сами не поднимаются;
  • контейнеры не запущены;
  • Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.

Раньше всё это поднималось руками. Теперь — автоматически.

Что установлено

pve-ensure-rw.service

DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
ExecStart=/usr/local/sbin/pve-ensure-rw.sh

Скрипт проверяет, не смонтирован ли корень ro, и делает remount,rw до старта pve-cluster. Без этого pmxcfs падает с «Read-only file system».

pve-start-all.service

After=network-online.target pve-cluster.service docker.service
TimeoutStartSec=900
ExecStart=/usr/local/sbin/pve-start-all.sh

Скрипт через 20 с после сети:

  1. поднимает pve-cluster, если не активен;
  2. поднимает pvestatd, pvescheduler, pve-firewall, docker, containerd, fail2ban, chronyd, prometheus-node-exporter, nginx;
  3. включает swapfile16.swap;
  4. стартует все остановленные CT, кроме перечисленных в maintenance.yaml;
  5. поднимает наш стек: hub-core, hermes, hub-secretary-ai, hub-media-hook, telegram-userbot.

Оба юнита enabled — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.

Проверка

systemctl start pve-ensure-rw   → OK
systemctl start pve-start-all   → OK

Контрольный прогон не изменил состояние (сервисы уже работали).

Ограничения

  • Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает hygiene/actions.py (docker_start).
  • Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.

Файлы

  • /usr/local/sbin/pve-ensure-rw.sh
  • /usr/local/sbin/pve-start-all.sh
  • /etc/systemd/system/pve-ensure-rw.service
  • /etc/systemd/system/pve-start-all.service

Обновление 06.11

  • pve-start-all.service отключён: дублировал hub-boot-recover и вместе с ним держал загрузку 9 минут, из-за чего systemd выбрасывал ssh, chrony, dbus.
  • hub-boot-recover переведён на таймер (hub-boot-recover.timer, OnBootSec=60s): контейнеры поднимаются после загрузки, но не блокируют её.
  • VM больше не пропускаются: VM104 (immich-prod) получил onboot: 1, проверка check_onboot в гигиене теперь смотрит и qm list.
  • Журнал сделан постоянным (/var/log/journal) — до этого прошлые загрузки не сохранялись и причину сбоя было не видно.