Files
buryan-infra/docs/dr-plan.md
T

13 KiB
Raw Blame History

Disaster Recovery Plan — Matrix / buryan-hub

Дата: 2026-09-25 Область: Matrix (Synapse, Element, Coturn, LiveKit) + Postgres CT 151 Статус: Черновик v1 (покрывает 4 сценария отказа)


1. Область применения

План описывает восстановление Matrix-стека после отказов разного масштаба — от падения одного контейнера до смерти всего pve-хоста.

Что покрыто:

  • CT 155 (Synapse, Element, Coturn, LiveKit)
  • CT 151 (Postgres matrix_db)
  • VPS (nginx, edge)
  • pve-хост целиком

Что НЕ покрыто (отдельные DR-планы в бэклоге):

  • Authentik (CT 114) — SSO для Matrix критичен, но план отдельный
  • Gitea (CT 140), n8n (CT 108), Vaultwarden (CT 109) — не блокируют Matrix
  • Headscale — VPN, восстановление отдельно

2. Целевые RTO / RPO

Метрика Цель Комментарий
RTO (Recovery Time Objective) 2 часа За это время Matrix должен снова работать
RPO (Recovery Point Objective) 24 часа Допустима потеря до суток переписки (бэкап раз в сутки в 03:30)

Обоснование RPO: локальный pg_dump раз в сутки + offsite restic раз в сутки. Более частый бэкап — в бэклоге (по мере роста нагрузки).


3. Сценарий A — CT 155 (Synapse) упал

Приоритет: 🔴 самый частый Симптомы:

  • Element не подключается к matrix.buryans.ru (502/503 от nginx)
  • pct status 155 → stopped
  • docker ps в CT 155 пуст или контейнеры в Restarting
  • В логах Synapse — FATAL, OOM, database connection refused

Диагностика (5–10 мин)

# 1. Статус контейнера
pct status 155

# 2. Если running — что с Docker
pct exec 155 -- docker ps -a
pct exec 155 -- docker logs --tail 100 matrix-synapse

# 3. Если stopped — почему
pct exec 155 -- journalctl -n 100 --no-pager 2>/dev/null
pct list | grep 155

# 4. Место на диске
pct exec 155 -- df -h

# 5. Доступность Postgres
pct exec 155 -- nc -zv 192.168.1.151 5432

Восстановление

A1. Контейнер running, но Synapse в рестарте:

pct exec 155 -- docker logs --tail 200 matrix-synapse | grep -iE 'error|fail|fatal'

# Частые причины:
# - Диск заполнен → pct exec 155 -- df -h; чистить /var/log, /opt/matrix/data/media_store
# - Postgres недоступен → идти в Сценарий B
# - YAML сломан → проверить синтаксис

pct exec 155 -- bash -c 'cd /opt/matrix && docker compose restart synapse'
pct exec 155 -- docker logs --tail 50 -f matrix-synapse

A2. Контейнер stopped:

pct start 155
sleep 10
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose up -d'
pct exec 155 -- docker ps --format 'table {{.Names}}\t{{.Status}}'

A3. CT 155 полностью потерян:

# 1. Создать новый CT 155 с тем же IP (192.168.1.155)
# 2. Восстановить данные из локального бэкапа на pve
ls -la /root/matrix-backups/config/
ls -la /root/matrix-backups/files/
ls -la /root/matrix-backups/pg/

# 3. Развернуть стек с нуля
bash ~/buryan-infra/deploy-matrix-v2.sh
# При запросе OIDC — взять client_id/secret из Authentik (Vaultwarden)

Проверка (5 мин)

# 1. Synapse отвечает
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 100

# 2. Element открывается
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/

# 3. .well-known отдаёт JSON
curl -sS https://matrix.buryans.ru/.well-known/matrix/server

# 4. Юзер заходит в Element (реальный тест)

4. Сценарий B — CT 151 (Postgres) упал

Приоритет: 🟡 Симптомы:

  • Synapse в логах: could not connect to server, connection refused к 192.168.1.151:5432
  • pct status 151 → stopped или Postgres не отвечает
  • Все сервисы на CT 151 лежат (Mealie, Immich, Nextcloud и т.д.)

Диагностика

pct status 151
pct exec 151 -- ss -tlnp | grep 5432
pct exec 151 -- journalctl -u postgresql -n 100 --no-pager
pct exec 151 -- tail -100 /var/log/postgresql/postgresql-17-main.log
pct exec 151 -- df -h

Восстановление

B1. Postgres упал, но CT жив:

pct exec 151 -- systemctl restart postgresql
sleep 5
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"

B2. БД matrix_db повреждена:

# 1. Последний локальный бэкап
ls -lt /root/matrix-backups/pg/ | head -5

# 2. Если локальный недоступен — из restic
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups

# 3. Восстановить во временную БД
LATEST=$(ls -t /root/matrix-backups/pg/matrix_db-*.sql.gz | head -1)
pct exec 151 -- sudo -u postgres psql -P pager=off -c "DROP DATABASE IF EXISTS matrix_db_restore_test;"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "CREATE DATABASE matrix_db_restore_test OWNER matrix;"
zcat "$LATEST" | pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test

# 4. Сравнить количество таблиц (ожидаем 169)
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db_restore_test -tAc \
  "SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"

# 5. Переключить
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose stop synapse'
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db RENAME TO matrix_db_broken_$(date +%Y%m%d);"
pct exec 151 -- sudo -u postgres psql -P pager=off -c "ALTER DATABASE matrix_db_restore_test RENAME TO matrix_db;"
pct exec 155 -- bash -c 'cd /opt/matrix && docker compose start synapse'

B3. CT 151 потерян целиком: Поднять новый CT с IP 192.168.1.151, установить Postgres 17, создать БД и юзера (пароль из /root/.matrix-pg-pass), восстановить pg_dump из бэкапа (см. B2).

Проверка

pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM users;"
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -tAc "SELECT COUNT(*) FROM pg_tables WHERE schemaname='public';"
pct exec 155 -- curl -sS http://localhost:8008/_matrix/client/versions | head -c 50

5. Сценарий C — VPS упал

Приоритет: 🟡 Симптомы:

  • matrix.buryans.ru, element.buryans.ru не открываются из интернета
  • Из локальной сети — работают
  • ssh root@193.233.210.184 — не подключается

Диагностика

ping -c 3 193.233.210.184
ssh -o ConnectTimeout=5 root@193.233.210.184 'uptime'
ssh root@193.233.210.184 'systemctl status nginx'
ssh root@193.233.210.184 'nginx -t'

Восстановление

C1. nginx упал:

ssh root@193.233.210.184 'systemctl restart nginx'
ssh root@193.233.210.184 'systemctl status nginx'

C2. Сертификаты истекли:

ssh root@193.233.210.184 'certbot renew --dry-run'
ssh root@193.233.210.184 'certbot renew'
ssh root@193.233.210.184 'systemctl reload nginx'

C3. VPS потерян целиком: Восстановить nginx + LE-сертификаты, прописать DNS на новый IP. Внимание: конфиги nginx не в git (пробел в DR, см. §7).

Проверка

curl -sS -o /dev/null -w "%{http_code}\n" https://matrix.buryans.ru/
curl -sS -o /dev/null -w "%{http_code}\n" https://element.buryans.ru/
curl -sS https://matrix.buryans.ru/.well-known/matrix/server

6. Сценарий D — pve мёртв целиком

Приоритет: 🔴 самый тяжёлый Симптомы:

  • ssh root@192.168.1.10 — не подключается
  • Все CT недоступны
  • pve не стартует (диск, железо, питание)

Что уцелеет

Ресурс Уцелеет? Где
Matrix Postgres (pg_dump) ⚠️ /root/matrix-backups/ — погибнет с pve
Matrix Postgres (offsite) ✅ vps 100.64.0.2:/backup/restic-repo
media_store, uploads ✅ offsite restic
homeserver.yaml, signing.key ✅ offsite restic
Секреты (/root/.matrix-pg-pass и др.) ❌ только на pve → пробел
nginx-конфиги (vps) ✅ на vps
Authentik (CT 114) ❌ погибнет → SSO сломается
Gitea, n8n, Vaultwarden ❌ погибнут

Восстановление (высокоуровнево)

# 1. Поднять новый pve-хост
# 2. Восстановить CT 151 (Postgres) — см. §4 B3
# 3. Восстановить CT 155 (Synapse) — см. §3 A3
# 4. Восстановить CT 114 (Authentik) — отдельный DR-план (в бэклоге)
# 5. Восстановить остальные CT — отдельные планы

# 6. Matrix-данные из offsite restic:
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups
restic restore <snapshot-id> --target /tmp/restore-from-vps

Критично: пароли restic и Postgres живут только на pve. Без них восстановление невозможно. До переезда в Vaultwarden — сохранить их в защищённом офлайн-месте (сейф, менеджер паролей на отдельном устройстве).

Проверка

  • Matrix открывается
  • Все юзеры на месте
  • История — до последнего бэкапа
  • SSO работает (если Authentik восстановлен)

7. Точки отказа (что НЕ покрыто)

Пробел Риск Решение
Секреты только на pve 🔴 pve умер → восстановление невозможно Перенести в Vaultwarden
nginx-конфиги не в git 🟡 VPS умер → вручную Вынести в buryan-infra/nginx/
Authentik DR-плана нет 🔴 pve умер → SSO не работает Написать отдельный план
deploy-matrix-v2.sh не воспроизводит Element/LiveKit 🟡 CT 155 умер → вручную Дописать скрипт
restore-test.sh без push-токена 🟡 молчит при сбое Настроить в infra-monitoring
Offsite restic через DERP 🟡 медленно, но работает UDP 41641 — в бэклоге

8. Регулярные учения

Что Периодичность Как
Restore-test БД Каждое воскресенье, 06:00 Cron 0 6 * * 0 (настроен)
Проверка restic-снапшотов Раз в месяц restic snapshots --tag pve-matrix-backups
Симуляция «CT 155 умер» Раз в квартал На тестовом CT
Симуляция «pve умер» Раз в полгода На копии, из offsite
Обновление DR-плана После каждого инцидента PR в buryan-infra

9. Контакты и ссылки

  • Runbook: docs/matrix-sprint-runbook.md
  • Backlog: docs/backlog-matrix.md
  • AGENTS.md: AGENTS.md
  • Gitea: git.buryans.ru/root/buryan-infra

Автор: Роман + Claude Дата: 2026-09-25 Версия: v1 (черновик)