Files
buryan-infra/docs/dr-plan.md
T

296 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Disaster Recovery Plan — Matrix / buryan-hub
**Дата:** 2026-09-25
**Область:** Matrix (Synapse, Element, Coturn, LiveKit) + Postgres CT 151
**Статус:** Черновик v1 (покрывает 4 сценария отказа)
---
## 1. Область применения
План описывает восстановление **Matrix-стека** после отказов разного масштаба — от падения одного контейнера до смерти всего pve-хоста.
**Что покрыто:**
- CT 155 (Synapse, Element, Coturn, LiveKit)
- CT 151 (Postgres `matrix_db`)
- VPS (nginx, edge)
- pve-хост целиком
**Что НЕ покрыто (отдельные DR-планы в бэклоге):**
- Authentik (CT 114) — SSO для Matrix критичен, но план отдельный
- Gitea (CT 140), n8n (CT 108), Vaultwarden (CT 109) — не блокируют Matrix
- Headscale — VPN, восстановление отдельно
---
## 2. Целевые RTO / RPO
| Метрика | Цель | Комментарий |
|---|---|---|
| **RTO** (Recovery Time Objective) | 2 часа | За это время Matrix должен снова работать |
| **RPO** (Recovery Point Objective) | 24 часа | Допустима потеря до суток переписки (бэкап раз в сутки в 03:30) |
**Обоснование RPO:** локальный pg_dump раз в сутки + offsite restic раз в сутки. Более частый бэкап — в бэклоге (по мере роста нагрузки).
---
## 3. Сценарий A — CT 155 (Synapse) упал
**Приоритет:** 🔴 самый частый
**Симптомы:**
- Element не подключается к `matrix.buryans.ru` (502/503 от nginx)
- `pct status 155` → `stopped`
- `docker ps` в CT 155 пуст или контейнеры в `Restarting`
- В логах Synapse — `FATAL`, `OOM`, `database connection refused`
### Диагностика (5–10 мин)
# 1. Статус контейнера
pct status 155
# 2. Если running — что с Docker
pct exec 155 -- docker ps -a
pct exec 155 -- docker logs --tail 100 matrix-synapse
# 3. Если stopped — почему
pct exec 155 -- journalctl -n 100 --no-pager 2>/dev/null
pct list | grep 155
# 4. Место на диске
pct exec 155 -- df -h
# 5. Доступность Postgres
pct exec 155 -- nc -zv 192.168.1.151 5432
### Восстановление
**A1. Контейнер running, но Synapse в рестарте:**
pct exec 155 -- docker logs --tail 200 matrix-synapse | grep -iE 'error|fail|fatal'
# Частые причины:
# - Диск заполнен → pct exec 155 -- df -h; чистить /var/log, /opt/matrix/data/media_store
# - Postgres недоступен → идти в Сценарий B
# - YAML сломан → проверить синтаксис
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose restart synapse'
pct exec 155 -- docker logs --tail 50 -f matrix-synapse
**A2. Контейнер stopped:**
pct start 155
sleep 10
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose up -d'
pct exec 155 -- docker ps --format 'table {{.Names}}\t{{.Status}}'
**A3. CT 155 полностью потерян:**
# 1. Создать новый CT 155 с тем же IP (192.168.1.155)
# 2. Восстановить данные из локального бэкапа на pve
ls -la /root/matrix-backups/config/
ls -la /root/matrix-backups/files/
ls -la /root/matrix-backups/pg/
# 3. Развернуть стек с нуля
bash ~/buryan-infra/deploy-matrix-v2.sh
# При запросе OIDC — взять client_id/secret из Authentik (Vaultwarden)
### Проверка (5 мин)
# 1. Synapse отвечает
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 100
# 2. Element открывается
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/
# 3. .well-known отдаёт JSON
curl -sS https://matrix.buryans.ru/.well-known/matrix/server
# 4. Юзер заходит в Element (реальный тест)
---
## 4. Сценарий B — CT 151 (Postgres) упал
**Приоритет:** 🟡
**Симптомы:**
- Synapse в логах: `could not connect to server`, `connection refused` к `192.168.1.151:5432`
- `pct status 151` → `stopped` или Postgres не отвечает
- Все сервисы на CT 151 лежат (Mealie, Immich, Nextcloud и т.д.)
### Диагностика
pct status 151
pct exec 151 -- ss -tlnp | grep 5432
pct exec 151 -- journalctl -u postgresql -n 100 --no-pager
pct exec 151 -- tail -100 /var/log/postgresql/postgresql-17-main.log
pct exec 151 -- df -h
### Восстановление
**B1. Postgres упал, но CT жив:**
pct exec 151 -- systemctl restart postgresql
sleep 5
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"
**B2. БД matrix_db повреждена:**
# 1. Последний локальный бэкап
ls -lt /root/matrix-backups/pg/ | head -5
# 2. Если локальный недоступен — из restic
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups
# 3. Восстановить во временную БД
LATEST=$(ls -t /root/matrix-backups/pg/matrix_db-*.sql.gz | head -1)
pct exec 151 -- sudo -u postgres psql -P pager=off -c "DROP DATABASE IF EXISTS matrix_db_restore_test;"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "CREATE DATABASE matrix_db_restore_test OWNER matrix;"
zcat "$LATEST" | pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test
# 4. Сравнить количество таблиц (ожидаем 169)
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test -tAc \
"SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"
# 5. Переключить
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose stop synapse'
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db RENAME TO matrix_db_broken_$(date +%Y%m%d);"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db_restore_test RENAME TO matrix_db;"
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose start synapse'
**B3. CT 151 потерян целиком:**
Поднять новый CT с IP 192.168.1.151, установить Postgres 17, создать БД и юзера (пароль из `/root/.matrix-pg-pass`), восстановить pg_dump из бэкапа (см. B2).
### Проверка
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 50
---
## 5. Сценарий C — VPS упал
**Приоритет:** 🟡
**Симптомы:**
- `matrix.buryans.ru`, `element.buryans.ru` не открываются из интернета
- Из локальной сети — работают
- `ssh root@193.233.210.184` — не подключается
### Диагностика
ping -c 3 193.233.210.184
ssh -o ConnectTimeout=5 root@193.233.210.184 'uptime'
ssh root@193.233.210.184 'systemctl status nginx'
ssh root@193.233.210.184 'nginx -t'
### Восстановление
**C1. nginx упал:**
ssh root@193.233.210.184 'systemctl restart nginx'
ssh root@193.233.210.184 'systemctl status nginx'
**C2. Сертификаты истекли:**
ssh root@193.233.210.184 'certbot renew --dry-run'
ssh root@193.233.210.184 'certbot renew'
ssh root@193.233.210.184 'systemctl reload nginx'
**C3. VPS потерян целиком:**
Восстановить nginx + LE-сертификаты, прописать DNS на новый IP. **Внимание:** конфиги nginx не в git (пробел в DR, см. §7).
### Проверка
curl -sS -o /dev/null -w "%{http_code}\n" https://matrix.buryans.ru/
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/
curl -sS https://matrix.buryans.ru/.well-known/matrix/server
---
## 6. Сценарий D — pve мёртв целиком
**Приоритет:** 🔴 самый тяжёлый
**Симптомы:**
- `ssh root@192.168.1.10` — не подключается
- Все CT недоступны
- pve не стартует (диск, железо, питание)
### Что уцелеет
| Ресурс | Уцелеет? | Где |
|---|---|---|
| Matrix Postgres (pg_dump) | ⚠️ | `/root/matrix-backups/` — погибнет с pve |
| Matrix Postgres (offsite) | ✅ | vps `100.64.0.2:/backup/restic-repo` |
| media_store, uploads | ✅ | offsite restic |
| homeserver.yaml, signing.key | ✅ | offsite restic |
| Секреты (`/root/.matrix-pg-pass` и др.) | ❌ | только на pve → пробел |
| nginx-конфиги (vps) | ✅ | на vps |
| Authentik (CT 114) | ❌ | погибнет → SSO сломается |
| Gitea, n8n, Vaultwarden | ❌ | погибнут |
### Восстановление (высокоуровнево)
# 1. Поднять новый pve-хост
# 2. Восстановить CT 151 (Postgres) — см. §4 B3
# 3. Восстановить CT 155 (Synapse) — см. §3 A3
# 4. Восстановить CT 114 (Authentik) — отдельный DR-план (в бэклоге)
# 5. Восстановить остальные CT — отдельные планы
# 6. Matrix-данные из offsite restic:
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups
restic restore <snapshot-id> --target /tmp/restore-from-vps
**Критично:** пароли `restic` и `Postgres` живут только на pve. Без них восстановление невозможно. До переезда в Vaultwarden — сохранить их в защищённом офлайн-месте (сейф, менеджер паролей на отдельном устройстве).
### Проверка
- Matrix открывается
- Все юзеры на месте
- История — до последнего бэкапа
- SSO работает (если Authentik восстановлен)
---
## 7. Точки отказа (что НЕ покрыто)
| Пробел | Риск | Решение |
|---|---|---|
| Секреты только на pve | 🔴 pve умер → восстановление невозможно | Перенести в Vaultwarden |
| nginx-конфиги не в git | 🟡 VPS умер → вручную | Вынести в `buryan-infra/nginx/` |
| Authentik DR-плана нет | 🔴 pve умер → SSO не работает | Написать отдельный план |
| `deploy-matrix-v2.sh` не воспроизводит Element/LiveKit | 🟡 CT 155 умер → вручную | Дописать скрипт |
| `restore-test.sh` без push-токена | 🟡 молчит при сбое | Настроить в `infra-monitoring` |
| Offsite restic через DERP | 🟡 медленно, но работает | UDP 41641 — в бэклоге |
---
## 8. Регулярные учения
| Что | Периодичность | Как |
|---|---|---|
| Restore-test БД | Каждое воскресенье, 06:00 | Cron `0 6 * * 0` (настроен) |
| Проверка restic-снапшотов | Раз в месяц | `restic snapshots --tag pve-matrix-backups` |
| Симуляция «CT 155 умер» | Раз в квартал | На тестовом CT |
| Симуляция «pve умер» | Раз в полгода | На копии, из offsite |
| Обновление DR-плана | После каждого инцидента | PR в `buryan-infra` |
---
## 9. Контакты и ссылки
- **Runbook:** `docs/matrix-sprint-runbook.md`
- **Backlog:** `docs/backlog-matrix.md`
- **AGENTS.md:** `AGENTS.md`
- **Gitea:** `git.buryans.ru/root/buryan-infra`
---
**Автор:** Роман + Claude
**Дата:** 2026-09-25
**Версия:** v1 (черновик)