Files
buryan-infra/ops/boot/README.md

77 lines
3.8 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Автовосстановление после перезагрузки (boot orchestrator)
## Зачем
04.11 и 05.11 хост дважды уходил в перезагрузку. Каждый раз после загрузки:
- корень смонтирован **read-only** (fsck) → `pmxcfs` не стартует → нет `/etc/pve` → контейнеры не поднимаются;
- `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `fail2ban` в состоянии **failed** и сами не поднимаются;
- контейнеры не запущены;
- Sonarr/Radarr после жёсткого сброса падают с «Non-recoverable failure» и требуют ручного перезапуска.
Раньше всё это поднималось руками. Теперь — автоматически.
## Что установлено
### `pve-ensure-rw.service`
```
DefaultDependencies=no
After=local-fs.target
Before=pve-cluster.service
ExecStart=/usr/local/sbin/pve-ensure-rw.sh
```
Скрипт проверяет, не смонтирован ли корень `ro`, и делает `remount,rw` до старта `pve-cluster`.
Без этого `pmxcfs` падает с «Read-only file system».
### `pve-start-all.service`
```
After=network-online.target pve-cluster.service docker.service
TimeoutStartSec=900
ExecStart=/usr/local/sbin/pve-start-all.sh
```
Скрипт через 20 с после сети:
1. поднимает `pve-cluster`, если не активен;
2. поднимает `pvestatd`, `pvescheduler`, `pve-firewall`, `docker`, `containerd`, `fail2ban`, `chronyd`, `prometheus-node-exporter`, `nginx`;
3. включает `swapfile16.swap`;
4. стартует **все остановленные CT**, кроме перечисленных в `maintenance.yaml`;
5. поднимает наш стек: `hub-core`, `hermes`, `hub-secretary-ai`, `hub-media-hook`, `telegram-userbot`.
Оба юнита `enabled` — срабатывают при каждой загрузке. Идемпотентны: если всё уже работает, ничего не меняют.
## Проверка
```
systemctl start pve-ensure-rw → OK
systemctl start pve-start-all → OK
```
Контрольный прогон не изменил состояние (сервисы уже работали).
## Ограничения
- Не перезапускает упавшие docker-контейнеры внутри CT, если сам CT жив (Sonarr/Radarr после жёсткого сброса) — это делает `hygiene`/`actions.py` (`docker_start`).
- Не лечит причину падений: два краша за два дня → нужна диагностика памяти/питания.
## Файлы
- `/usr/local/sbin/pve-ensure-rw.sh`
- `/usr/local/sbin/pve-start-all.sh`
- `/etc/systemd/system/pve-ensure-rw.service`
- `/etc/systemd/system/pve-start-all.service`
## Обновление 06.11
- `pve-start-all.service` **отключён**: дублировал `hub-boot-recover` и вместе с ним
держал загрузку 9 минут, из-за чего systemd выбрасывал `ssh`, `chrony`, `dbus`.
- `hub-boot-recover` переведён на **таймер** (`hub-boot-recover.timer`, `OnBootSec=60s`):
контейнеры поднимаются после загрузки, но не блокируют её.
- **VM больше не пропускаются**: `VM104 (immich-prod)` получил `onboot: 1`,
проверка `check_onboot` в гигиене теперь смотрит и `qm list`.
- Журнал сделан постоянным (`/var/log/journal`) — до этого прошлые загрузки
не сохранялись и причину сбоя было не видно.