77 lines
3.8 KiB
Markdown
77 lines
3.8 KiB
Markdown
# Автовосстановление после перезагрузки (boot orchestrator)
|
||
|
||
## Зачем
|
||
|
||
04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:
|
||
|
||
- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются;
|
||
- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются;
|
||
- контейнеры не запущены;
|
||
- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.
|
||
|
||
Раньше всё это поднималось руками. Теперь — автоматически.
|
||
|
||
## Что установлено
|
||
|
||
### `pve-ensure-rw.service`
|
||
|
||
```
|
||
DefaultDependencies=no
|
||
After=local-fs.target
|
||
Before=pve-cluster.service
|
||
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
|
||
```
|
||
|
||
Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`.
|
||
Без этого `pmxcfs` падает с «Read-only file system».
|
||
|
||
### `pve-start-all.service`
|
||
|
||
```
|
||
After=network-online.target pve-cluster.service docker.service
|
||
TimeoutStartSec=900
|
||
ExecStart=/usr/local/sbin/pve-start-all.sh
|
||
```
|
||
|
||
Скрипт через 20 с после сети:
|
||
|
||
1. поднимает `pve-cluster`, если не активен;
|
||
2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`;
|
||
3. включает `swapfile16.swap`;
|
||
4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`;
|
||
5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`.
|
||
|
||
Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.
|
||
|
||
## Проверка
|
||
|
||
```
|
||
systemctl start pve-ensure-rw → OK
|
||
systemctl start pve-start-all → OK
|
||
```
|
||
|
||
Контрольный прогон не изменил состояние (сервисы уже работали).
|
||
|
||
## Ограничения
|
||
|
||
- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`).
|
||
- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.
|
||
|
||
## Файлы
|
||
|
||
- `/usr/local/sbin/pve-ensure-rw.sh`
|
||
- `/usr/local/sbin/pve-start-all.sh`
|
||
- `/etc/systemd/system/pve-ensure-rw.service`
|
||
- `/etc/systemd/system/pve-start-all.service`
|
||
|
||
## Обновление 06.11
|
||
|
||
- `pve-start-all.service` **отключён**: дублировал `hub-boot-recover` и вместе с ним
|
||
держал загрузку 9 минут, из-за чего systemd выбрасывал `ssh`, `chrony`, `dbus`.
|
||
- `hub-boot-recover` переведён на **таймер** (`hub-boot-recover.timer`, `OnBootSec=60s`):
|
||
контейнеры поднимаются после загрузки, но не блокируют её.
|
||
- **VM больше не пропускаются**: `VM104 (immich-prod)` получил `onboot: 1`,
|
||
проверка `check_onboot` в гигиене теперь смотрит и `qm list`.
|
||
- Журнал сделан постоянным (`/var/log/journal`) — до этого прошлые загрузки
|
||
не сохранялись и причину сбоя было не видно.
|