docs: add DR plan v1 (4 scenarios: CT155, CT151, VPS, pve)

This commit is contained in:
root committed 2026-09-25 20:17:00 +03:00
1 parent 21719d5dfa
commit 16f6c0484c
1 file changed
+295
+295
View File
@@ -0,0 +1,295 @@
# Disaster Recovery Plan — Matrix / buryan-hub
**Дата:** 2026-09-25
**Область:** Matrix (Synapse, Element, Coturn, LiveKit) + Postgres CT 151
**Статус:** Черновик v1 (покрывает 4 сценария отказа)
---
## 1. Область применения
План описывает восстановление **Matrix-стека** после отказов разного масштаба — от падения одного контейнера до смерти всего pve-хоста.
**Что покрыто:**
- CT 155 (Synapse, Element, Coturn, LiveKit)
- CT 151 (Postgres `matrix_db`)
- VPS (nginx, edge)
- pve-хост целиком
**Что НЕ покрыто (отдельные DR-планы в бэклоге):**
- Authentik (CT 114) — SSO для Matrix критичен, но план отдельный
- Gitea (CT 140), n8n (CT 108), Vaultwarden (CT 109) — не блокируют Matrix
- Headscale — VPN, восстановление отдельно
---
## 2. Целевые RTO / RPO
| Метрика | Цель | Комментарий |
|---|---|---|
| **RTO** (Recovery Time Objective) | 2 часа | За это время Matrix должен снова работать |
| **RPO** (Recovery Point Objective) | 24 часа | Допустима потеря до суток переписки (бэкап раз в сутки в 03:30) |
**Обоснование RPO:** локальный pg_dump раз в сутки + offsite restic раз в сутки. Более частый бэкап — в бэклоге (по мере роста нагрузки).
---
## 3. Сценарий A — CT 155 (Synapse) упал
**Приоритет:** 🔴 самый частый
**Симптомы:**
- Element не подключается к `matrix.buryans.ru` (502/503 от nginx)
- `pct status 155` → `stopped`
- `docker ps` в CT 155 пуст или контейнеры в `Restarting`
- В логах Synapse — `FATAL`, `OOM`, `database connection refused`
### Диагностика (5–10 мин)
# 1. Статус контейнера
pct status 155
# 2. Если running — что с Docker
pct exec 155 -- docker ps -a
pct exec 155 -- docker logs --tail 100 matrix-synapse
# 3. Если stopped — почему
pct exec 155 -- journalctl -n 100 --no-pager 2>/dev/null
pct list | grep 155
# 4. Место на диске
pct exec 155 -- df -h
# 5. Доступность Postgres
pct exec 155 -- nc -zv 192.168.1.151 5432
### Восстановление
**A1. Контейнер running, но Synapse в рестарте:**
pct exec 155 -- docker logs --tail 200 matrix-synapse | grep -iE 'error|fail|fatal'
# Частые причины:
# - Диск заполнен → pct exec 155 -- df -h; чистить /var/log, /opt/matrix/data/media_store
# - Postgres недоступен → идти в Сценарий B
# - YAML сломан → проверить синтаксис
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose restart synapse'
pct exec 155 -- docker logs --tail 50 -f matrix-synapse
**A2. Контейнер stopped:**
pct start 155
sleep 10
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose up -d'
pct exec 155 -- docker ps --format 'table {{.Names}}\t{{.Status}}'
**A3. CT 155 полностью потерян:**
# 1. Создать новый CT 155 с тем же IP (192.168.1.155)
# 2. Восстановить данные из локального бэкапа на pve
ls -la /root/matrix-backups/config/
ls -la /root/matrix-backups/files/
ls -la /root/matrix-backups/pg/
# 3. Развернуть стек с нуля
bash ~/buryan-infra/deploy-matrix-v2.sh
# При запросе OIDC — взять client_id/secret из Authentik (Vaultwarden)
### Проверка (5 мин)
# 1. Synapse отвечает
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 100
# 2. Element открывается
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/
# 3. .well-known отдаёт JSON
curl -sS https://matrix.buryans.ru/.well-known/matrix/server
# 4. Юзер заходит в Element (реальный тест)
---
## 4. Сценарий B — CT 151 (Postgres) упал
**Приоритет:** 🟡
**Симптомы:**
- Synapse в логах: `could not connect to server`, `connection refused` к `192.168.1.151:5432`
- `pct status 151` → `stopped` или Postgres не отвечает
- Все сервисы на CT 151 лежат (Mealie, Immich, Nextcloud и т.д.)
### Диагностика
pct status 151
pct exec 151 -- ss -tlnp | grep 5432
pct exec 151 -- journalctl -u postgresql -n 100 --no-pager
pct exec 151 -- tail -100 /var/log/postgresql/postgresql-17-main.log
pct exec 151 -- df -h
### Восстановление
**B1. Postgres упал, но CT жив:**
pct exec 151 -- systemctl restart postgresql
sleep 5
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"
**B2. БД matrix_db повреждена:**
# 1. Последний локальный бэкап
ls -lt /root/matrix-backups/pg/ | head -5
# 2. Если локальный недоступен — из restic
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups
# 3. Восстановить во временную БД
LATEST=$(ls -t /root/matrix-backups/pg/matrix_db-*.sql.gz | head -1)
pct exec 151 -- sudo -u postgres psql -P pager=off -c "DROP DATABASE IF EXISTS matrix_db_restore_test;"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "CREATE DATABASE matrix_db_restore_test OWNER matrix;"
zcat "$LATEST" | pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test
# 4. Сравнить количество таблиц (ожидаем 169)
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test -tAc \
"SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"
# 5. Переключить
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose stop synapse'
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db RENAME TO matrix_db_broken_$(date +%Y%m%d);"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db_restore_test RENAME TO matrix_db;"
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose start synapse'
**B3. CT 151 потерян целиком:**
Поднять новый CT с IP 192.168.1.151, установить Postgres 17, создать БД и юзера (пароль из `/root/.matrix-pg-pass`), восстановить pg_dump из бэкапа (см. B2).
### Проверка
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 50
---
## 5. Сценарий C — VPS упал
**Приоритет:** 🟡
**Симптомы:**
- `matrix.buryans.ru`, `element.buryans.ru` не открываются из интернета
- Из локальной сети — работают
- `ssh root@193.233.210.184` — не подключается
### Диагностика
ping -c 3 193.233.210.184
ssh -o ConnectTimeout=5 root@193.233.210.184 'uptime'
ssh root@193.233.210.184 'systemctl status nginx'
ssh root@193.233.210.184 'nginx -t'
### Восстановление
**C1. nginx упал:**
ssh root@193.233.210.184 'systemctl restart nginx'
ssh root@193.233.210.184 'systemctl status nginx'
**C2. Сертификаты истекли:**
ssh root@193.233.210.184 'certbot renew --dry-run'
ssh root@193.233.210.184 'certbot renew'
ssh root@193.233.210.184 'systemctl reload nginx'
**C3. VPS потерян целиком:**
Восстановить nginx + LE-сертификаты, прописать DNS на новый IP. **Внимание:** конфиги nginx не в git (пробел в DR, см. §7).
### Проверка
curl -sS -o /dev/null -w "%{http_code}\n" https://matrix.buryans.ru/
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/
curl -sS https://matrix.buryans.ru/.well-known/matrix/server
---
## 6. Сценарий D — pve мёртв целиком
**Приоритет:** 🔴 самый тяжёлый
**Симптомы:**
- `ssh root@192.168.1.10` — не подключается
- Все CT недоступны
- pve не стартует (диск, железо, питание)
### Что уцелеет
| Ресурс | Уцелеет? | Где |
|---|---|---|
| Matrix Postgres (pg_dump) | ⚠️ | `/root/matrix-backups/` — погибнет с pve |
| Matrix Postgres (offsite) | ✅ | vps `100.64.0.2:/backup/restic-repo` |
| media_store, uploads | ✅ | offsite restic |
| homeserver.yaml, signing.key | ✅ | offsite restic |
| Секреты (`/root/.matrix-pg-pass` и др.) | ❌ | только на pve → пробел |
| nginx-конфиги (vps) | ✅ | на vps |
| Authentik (CT 114) | ❌ | погибнет → SSO сломается |
| Gitea, n8n, Vaultwarden | ❌ | погибнут |
### Восстановление (высокоуровнево)
# 1. Поднять новый pve-хост
# 2. Восстановить CT 151 (Postgres) — см. §4 B3
# 3. Восстановить CT 155 (Synapse) — см. §3 A3
# 4. Восстановить CT 114 (Authentik) — отдельный DR-план (в бэклоге)
# 5. Восстановить остальные CT — отдельные планы
# 6. Matrix-данные из offsite restic:
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups
restic restore <snapshot-id> --target /tmp/restore-from-vps
**Критично:** пароли `restic` и `Postgres` живут только на pve. Без них восстановление невозможно. До переезда в Vaultwarden — сохранить их в защищённом офлайн-месте (сейф, менеджер паролей на отдельном устройстве).
### Проверка
- Matrix открывается
- Все юзеры на месте
- История — до последнего бэкапа
- SSO работает (если Authentik восстановлен)
---
## 7. Точки отказа (что НЕ покрыто)
| Пробел | Риск | Решение |
|---|---|---|
| Секреты только на pve | 🔴 pve умер → восстановление невозможно | Перенести в Vaultwarden |
| nginx-конфиги не в git | 🟡 VPS умер → вручную | Вынести в `buryan-infra/nginx/` |
| Authentik DR-плана нет | 🔴 pve умер → SSO не работает | Написать отдельный план |
| `deploy-matrix-v2.sh` не воспроизводит Element/LiveKit | 🟡 CT 155 умер → вручную | Дописать скрипт |
| `restore-test.sh` без push-токена | 🟡 молчит при сбое | Настроить в `infra-monitoring` |
| Offsite restic через DERP | 🟡 медленно, но работает | UDP 41641 — в бэклоге |
---
## 8. Регулярные учения
| Что | Периодичность | Как |
|---|---|---|
| Restore-test БД | Каждое воскресенье, 06:00 | Cron `0 6 * * 0` (настроен) |
| Проверка restic-снапшотов | Раз в месяц | `restic snapshots --tag pve-matrix-backups` |
| Симуляция «CT 155 умер» | Раз в квартал | На тестовом CT |
| Симуляция «pve умер» | Раз в полгода | На копии, из offsite |
| Обновление DR-плана | После каждого инцидента | PR в `buryan-infra` |
---
## 9. Контакты и ссылки
- **Runbook:** `docs/matrix-sprint-runbook.md`
- **Backlog:** `docs/backlog-matrix.md`
- **AGENTS.md:** `AGENTS.md`
- **Gitea:** `git.buryans.ru/root/buryan-infra`
---
**Автор:** Роман + Claude
**Дата:** 2026-09-25
**Версия:** v1 (черновик)