Files
buryan-infra/ops/boot/README.md
T

2.9 KiB
Raw Blame History

Автовосстановление после перезагрузки (boot orchestrator)

Зачем

04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:

  • корень смонтирован read-only (fsck) → pmxcfs не стартует → нет /etc/pve → контейнеры не поднимаются;
  • pvestatd, pvescheduler, pve-firewall, docker, fail2ban в состоянии failed и сами не поднимаются;
  • контейнеры не запущены;
  • Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.

Раньше всё это поднималось руками. Теперь — автоматически.

Что установлено

pve-ensure-rw.service

DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
ExecStart=/usr/local/sbin/pve-ensure-rw.sh

Скрипт проверяет, не смонтирован ли корень ro, и делает remount,rw до старта pve-cluster. Без этого pmxcfs падает с «Read-only file system».

pve-start-all.service

After=network-online.target pve-cluster.service docker.service
TimeoutStartSec=900
ExecStart=/usr/local/sbin/pve-start-all.sh

Скрипт через 20 с после сети:

  1. поднимает pve-cluster, если не активен;
  2. поднимает pvestatd, pvescheduler, pve-firewall, docker, containerd, fail2ban, chronyd, prometheus-node-exporter, nginx;
  3. включает swapfile16.swap;
  4. стартует все остановленные CT, кроме перечисленных в maintenance.yaml;
  5. поднимает наш стек: hub-core, hermes, hub-secretary-ai, hub-media-hook, telegram-userbot.

Оба юнита enabled — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.

Проверка

systemctl start pve-ensure-rw   → OK
systemctl start pve-start-all   → OK

Контрольный прогон не изменил состояние (сервисы уже работали).

Ограничения

  • Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает hygiene/actions.py (docker_start).
  • Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.

Файлы

  • /usr/local/sbin/pve-ensure-rw.sh
  • /usr/local/sbin/pve-start-all.sh
  • /etc/systemd/system/pve-ensure-rw.service
  • /etc/systemd/system/pve-start-all.service