diff --git a/docs/matrix-sprint-runbook.md b/docs/matrix-sprint-runbook.md new file mode 100644 index 0000000..c75172c --- /dev/null +++ b/docs/matrix-sprint-runbook.md @@ -0,0 +1,153 @@ +# Matrix Sprint Runbook + +**Дата:** 2026-09-25 +**Контекст:** CT 155 (matrix), Postgres CT 151, домен `matrix.buryans.ru` +**Статус:** ✅ Завершён (кроме мониторинга — см. ветку `infra-monitoring`) + +--- + +## Итоговое состояние + +| Компонент | Где | Технология | Статус | +|---|---|---|---| +| **Synapse** | CT 155 `192.168.1.155:8008` | Docker `matrixdotorg/synapse:latest` | ✅ | +| **БД** | CT 151 `192.168.1.151:5432/matrix_db` | PostgreSQL 17.11 | ✅ | +| **Element Web** | CT 155 `:8088` → `element.buryans.ru` | Docker `vectorim/element-web:latest` | ✅ | +| **Coturn** | CT 155 `:3478`, `:5349` | Docker `coturn/coturn:latest` | ✅ | +| **LiveKit** | CT 155 `:7880` (host network) | Docker `livekit/livekit-server:latest` | ✅ | +| **OIDC SSO** | Authentik `authentik.buryans.ru/application/o/matrix/` | OIDC | ✅ | +| **nginx** | VPS `193.233.210.184` | Let's Encrypt + proxy | ✅ | +| **Локальные бэкапы** | pve `/root/matrix-backups/` | pg_dump + tar + cron | ✅ | +| **Offsite бэкапы** | vps `100.64.0.2:/backup/restic-repo` | restic через Headscale | ✅ | + +--- + +## Что было сделано + +### 1. Миграция SQLite → PostgreSQL + +- **Причина:** старый стек на CT 155 использовал SQLite (`/opt/matrix/data/homeserver.db`). +- **Действие:** БД пересоздана в Postgres 17.11 на CT 151. +- **SQLite сохранён:** `/opt/matrix/data/homeserver.db.old-sqlite-20260925-153527` (удалить через 2-4 недели). +- **Пользователи пересозданы через OIDC** (`@akadmin:matrix.buryans.ru`). +- **Signing key сохранён**, поэтому клиенты видят тот же сервер. +- **169 таблиц** в новой БД. + +### 2. Очистка `homeserver.yaml` + +Удалены несуществующие/дублирующиеся ключи: +- Дубликат `turn_shared_secret` +- `livekit:` (не читается Synapse) +- `encryption_enabled`, `key_backup`, `experimental_features` (не в схеме Synapse) +- Дубликат `trusted_key_servers` + +### 3. Убийство zombie-контейнера + +- Удалён `ab09d92e81e4_matrix-synapse` (рестартовал каждые 2 мин). +- Удалена orphan-сеть `matrix-net`. + +### 4. Локальные бэкапы + +**Скрипт:** `/root/matrix-backups/backup-matrix.sh` +**Расписание:** `30 3 * * *` (cron) + +| Что | Куда | Ротация | +|---|---|---| +| `pg_dump matrix_db` | `/root/matrix-backups/pg/` | 7 дней | +| `media_store/` + `uploads/` | `/root/matrix-backups/files/` | 7 дней | +| `homeserver.yaml` + `signing.key` + `turnserver.conf` + `.env` | `/root/matrix-backups/config/` | 30 дней | + +**Тест восстановления:** ✅ пройден (169 таблиц, `@akadmin`, 10 events). + +### 5. Offsite бэкапы через restic + +- **Проблема:** старый offsite не работал **~6 недель** (репозиторий на мёртвом `vm1181073`). +- **Решение:** новый restic-репозиторий на `vps` (100.64.0.2) в Headscale-сети `buryan-hub`. +- **Репозиторий ID:** `145d2cea69`. +- **Пароль:** `/root/.restic-password`. +- **Скрипт:** `/opt/buryan-hub/scripts/offsite-backup.sh` (обновлён IP). +- **Тег Matrix:** `pve-matrix-backups`. +- **Расписание:** `0 5 * * *`. + +--- + +## Известные проблемы (backlog) + +### 🔴 Критичные + +1. **Alert на падение бэкапа.** Push-мониторы в Uptime Kuma — задача ветки `infra-monitoring`. + +### 🟡 Средние + +2. **Postgres-монитор в Uptime Kuma сломан** (`Unknown Monitor Type`). +3. **MagicDNS не активен** на pve (Headscale `--accept-dns` требует всех флагов). +4. **DERP-only** — UDP для Headscale заблокирован, ~50ms latency. + +### 🟢 Низкий приоритет + +5. **SSL `vault.buryans.ru`** — отдаётся сертификат от `finance.buryans.ru`. +6. **`headscale.buryans.ru` монитор** — 404. +7. **`Gitea (140)` монитор** — 405. +8. **Proxmox API / VPS TCP 443** — packet loss. +9. **Display name `admin` вместо `akadmin`** — OIDC `{{ user.name }}`. + +### ⏸ Отложено до реальных чатов + +10. E2EE backup для @polina (задача #4) +11. Secret Storage / SSSS (#5) +12. Верификация устройств (#6) +13. TURN/UDP стабилизация (#7-9) +14. Work Space + боты (#10-12) +15. Matrix-Telegram bridge (#18) + +### 🔒 Безопасность (в конце техработ) + +16. Ротация reused пароля `73145146Vfkjq` +17. Ротация OIDC client_secret +18. Gitea API token (в открытом JSON n8n) +19. Telegram bot token (там же) +20. `pg_hba.conf` → scram-sha-256 + точечные правила + +--- + +## 🚧 Мониторинг — ПЕРЕНОС В ВЕТКУ `infra-monitoring` + +См. `docs/backlog-matrix.md` → раздел «Мониторинг». + +--- + +## Переменные окружения + +- **Пароль Postgres `matrix`:** `/root/.matrix-pg-pass` на pve +- **Пароль restic:** `/root/.restic-password` на pve +- **Signing key backup:** `/root/matrix-signing.key.backup` на pve + +**Перенести в Vaultwarden** в конце техработ. + +--- + +## Полезные команды + +```bash +# Статус всех контейнеров +pct exec 155 -- docker ps + +# Логи Synapse +pct exec 155 -- docker logs --tail 50 -f matrix-synapse + +# Проверить БД +pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -c "\dt" | head -20 + +# Размер media_store +pct exec 155 -- du -sh /opt/matrix/data/media_store/ + +# Запустить бэкап вручную +/root/matrix-backups/backup-matrix.sh + +# Запустить offsite вручную +/opt/buryan-hub/scripts/offsite-backup.sh + +# Список снапшотов restic +export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo" +export RESTIC_PASSWORD_FILE="/root/.restic-password" +restic snapshots --tag pve-matrix-backups