Files
buryan-infra/docs/matrix-sprint-runbook.md
T
2026-09-25 20:14:38 +03:00

6.2 KiB

Matrix Sprint Runbook

Дата: 2026-09-25 Контекст: CT 155 (matrix), Postgres CT 151, домен matrix.buryans.ru Статус: ✅ Завершён (кроме мониторинга — см. ветку infra-monitoring)


Итоговое состояние

Компонент Где Технология Статус
Synapse CT 155 192.168.1.155:8008 Docker matrixdotorg/synapse:latest ✅
БД CT 151 192.168.1.151:5432/matrix_db PostgreSQL 17.11 ✅
Element Web CT 155 :8088 → element.buryans.ru Docker vectorim/element-web:latest ✅
Coturn CT 155 :3478, :5349 Docker coturn/coturn:latest ✅
LiveKit CT 155 :7880 (host network) Docker livekit/livekit-server:latest ✅
OIDC SSO Authentik authentik.buryans.ru/application/o/matrix/ OIDC ✅
nginx VPS 193.233.210.184 Let's Encrypt + proxy ✅
Локальные бэкапы pve /root/matrix-backups/ pg_dump + tar + cron ✅
Offsite бэкапы vps 100.64.0.2:/backup/restic-repo restic через Headscale ✅

Что было сделано

1. Миграция SQLite → PostgreSQL

  • Причина: старый стек на CT 155 использовал SQLite (/opt/matrix/data/homeserver.db).
  • Действие: БД пересоздана в Postgres 17.11 на CT 151.
  • SQLite сохранён: /opt/matrix/data/homeserver.db.old-sqlite-20260925-153527 (удалить через 2-4 недели).
  • Пользователи пересозданы через OIDC (@akadmin:matrix.buryans.ru).
  • Signing key сохранён, поэтому клиенты видят тот же сервер.
  • 169 таблиц в новой БД.

2. Очистка homeserver.yaml

Удалены несуществующие/дублирующиеся ключи:

  • Дубликат turn_shared_secret
  • livekit: (не читается Synapse)
  • encryption_enabled, key_backup, experimental_features (не в схеме Synapse)
  • Дубликат trusted_key_servers

3. Убийство zombie-контейнера

  • Удалён ab09d92e81e4_matrix-synapse (рестартовал каждые 2 мин).
  • Удалена orphan-сеть matrix-net.

4. Локальные бэкапы

Скрипт: /root/matrix-backups/backup-matrix.sh Расписание: 30 3 * * * (cron)

Что Куда Ротация
pg_dump matrix_db /root/matrix-backups/pg/ 7 дней
media_store/ + uploads/ /root/matrix-backups/files/ 7 дней
homeserver.yaml + signing.key + turnserver.conf + .env /root/matrix-backups/config/ 30 дней

Тест восстановления: ✅ пройден (169 таблиц, @akadmin, 10 events).

5. Offsite бэкапы через restic

  • Проблема: старый offsite не работал ~6 недель (репозиторий на мёртвом vm1181073).
  • Решение: новый restic-репозиторий на vps (100.64.0.2) в Headscale-сети buryan-hub.
  • Репозиторий ID: 145d2cea69.
  • Пароль: /root/.restic-password.
  • Скрипт: /opt/buryan-hub/scripts/offsite-backup.sh (обновлён IP).
  • Тег Matrix: pve-matrix-backups.
  • Расписание: 0 5 * * *.

Известные проблемы (backlog)

🔴 Критичные

  1. Alert на падение бэкапа. Push-мониторы в Uptime Kuma — задача ветки infra-monitoring.

🟡 Средние

  1. Postgres-монитор в Uptime Kuma сломан (Unknown Monitor Type).
  2. MagicDNS не активен на pve (Headscale --accept-dns требует всех флагов).
  3. DERP-only — UDP для Headscale заблокирован, ~50ms latency.

🟢 Низкий приоритет

  1. SSL vault.buryans.ru — отдаётся сертификат от finance.buryans.ru.
  2. headscale.buryans.ru монитор — 404.
  3. Gitea (140) монитор — 405.
  4. Proxmox API / VPS TCP 443 — packet loss.
  5. Display name admin вместо akadmin — OIDC {{ user.name }}.

⏸ Отложено до реальных чатов

  1. E2EE backup для @polina (задача #4)
  2. Secret Storage / SSSS (#5)
  3. Верификация устройств (#6)
  4. TURN/UDP стабилизация (#7-9)
  5. Work Space + боты (#10-12)
  6. Matrix-Telegram bridge (#18)

🔒 Безопасность (в конце техработ)

  1. Ротация reused пароля 73145146Vfkjq
  2. Ротация OIDC client_secret
  3. Gitea API token (в открытом JSON n8n)
  4. Telegram bot token (там же)
  5. pg_hba.conf → scram-sha-256 + точечные правила

🚧 Мониторинг — ПЕРЕНОС В ВЕТКУ infra-monitoring

См. docs/backlog-matrix.md → раздел «Мониторинг».


Переменные окружения

  • Пароль Postgres matrix: /root/.matrix-pg-pass на pve
  • Пароль restic: /root/.restic-password на pve
  • Signing key backup: /root/matrix-signing.key.backup на pve

Перенести в Vaultwarden в конце техработ.


Полезные команды

# Статус всех контейнеров
pct exec 155 -- docker ps

# Логи Synapse
pct exec 155 -- docker logs --tail 50 -f matrix-synapse

# Проверить БД
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -c "\dt" | head -20

# Размер media_store
pct exec 155 -- du -sh /opt/matrix/data/media_store/

# Запустить бэкап вручную
/root/matrix-backups/backup-matrix.sh

# Запустить offsite вручную
/opt/buryan-hub/scripts/offsite-backup.sh

# Список снапшотов restic
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups