docs: add Matrix sprint runbook

This commit is contained in:
root committed 2026-09-25 20:14:38 +03:00
1 parent 007cfcf414
commit cadabd31da
1 file changed
+153
+153
View File
@@ -0,0 +1,153 @@
# Matrix Sprint Runbook
**Дата:** 2026-09-25
**Контекст:** CT 155 (matrix), Postgres CT 151, домен `matrix.buryans.ru`
**Статус:** ✅ Завершён (кроме мониторинга — см. ветку `infra-monitoring`)
---
## Итоговое состояние
| Компонент | Где | Технология | Статус |
|---|---|---|---|
| **Synapse** | CT 155 `192.168.1.155:8008` | Docker `matrixdotorg/synapse:latest` | ✅ |
| **БД** | CT 151 `192.168.1.151:5432/matrix_db` | PostgreSQL 17.11 | ✅ |
| **Element Web** | CT 155 `:8088` → `element.buryans.ru` | Docker `vectorim/element-web:latest` | ✅ |
| **Coturn** | CT 155 `:3478`, `:5349` | Docker `coturn/coturn:latest` | ✅ |
| **LiveKit** | CT 155 `:7880` (host network) | Docker `livekit/livekit-server:latest` | ✅ |
| **OIDC SSO** | Authentik `authentik.buryans.ru/application/o/matrix/` | OIDC | ✅ |
| **nginx** | VPS `193.233.210.184` | Let's Encrypt + proxy | ✅ |
| **Локальные бэкапы** | pve `/root/matrix-backups/` | pg_dump + tar + cron | ✅ |
| **Offsite бэкапы** | vps `100.64.0.2:/backup/restic-repo` | restic через Headscale | ✅ |
---
## Что было сделано
### 1. Миграция SQLite → PostgreSQL
- **Причина:** старый стек на CT 155 использовал SQLite (`/opt/matrix/data/homeserver.db`).
- **Действие:** БД пересоздана в Postgres 17.11 на CT 151.
- **SQLite сохранён:** `/opt/matrix/data/homeserver.db.old-sqlite-20260925-153527` (удалить через 2-4 недели).
- **Пользователи пересозданы через OIDC** (`@akadmin:matrix.buryans.ru`).
- **Signing key сохранён**, поэтому клиенты видят тот же сервер.
- **169 таблиц** в новой БД.
### 2. Очистка `homeserver.yaml`
Удалены несуществующие/дублирующиеся ключи:
- Дубликат `turn_shared_secret`
- `livekit:` (не читается Synapse)
- `encryption_enabled`, `key_backup`, `experimental_features` (не в схеме Synapse)
- Дубликат `trusted_key_servers`
### 3. Убийство zombie-контейнера
- Удалён `ab09d92e81e4_matrix-synapse` (рестартовал каждые 2 мин).
- Удалена orphan-сеть `matrix-net`.
### 4. Локальные бэкапы
**Скрипт:** `/root/matrix-backups/backup-matrix.sh`
**Расписание:** `30 3 * * *` (cron)
| Что | Куда | Ротация |
|---|---|---|
| `pg_dump matrix_db` | `/root/matrix-backups/pg/` | 7 дней |
| `media_store/` + `uploads/` | `/root/matrix-backups/files/` | 7 дней |
| `homeserver.yaml` + `signing.key` + `turnserver.conf` + `.env` | `/root/matrix-backups/config/` | 30 дней |
**Тест восстановления:** ✅ пройден (169 таблиц, `@akadmin`, 10 events).
### 5. Offsite бэкапы через restic
- **Проблема:** старый offsite не работал **~6 недель** (репозиторий на мёртвом `vm1181073`).
- **Решение:** новый restic-репозиторий на `vps` (100.64.0.2) в Headscale-сети `buryan-hub`.
- **Репозиторий ID:** `145d2cea69`.
- **Пароль:** `/root/.restic-password`.
- **Скрипт:** `/opt/buryan-hub/scripts/offsite-backup.sh` (обновлён IP).
- **Тег Matrix:** `pve-matrix-backups`.
- **Расписание:** `0 5 * * *`.
---
## Известные проблемы (backlog)
### 🔴 Критичные
1. **Alert на падение бэкапа.** Push-мониторы в Uptime Kuma — задача ветки `infra-monitoring`.
### 🟡 Средние
2. **Postgres-монитор в Uptime Kuma сломан** (`Unknown Monitor Type`).
3. **MagicDNS не активен** на pve (Headscale `--accept-dns` требует всех флагов).
4. **DERP-only** — UDP для Headscale заблокирован, ~50ms latency.
### 🟢 Низкий приоритет
5. **SSL `vault.buryans.ru`** — отдаётся сертификат от `finance.buryans.ru`.
6. **`headscale.buryans.ru` монитор** — 404.
7. **`Gitea (140)` монитор** — 405.
8. **Proxmox API / VPS TCP 443** — packet loss.
9. **Display name `admin` вместо `akadmin`** — OIDC `{{ user.name }}`.
### ⏸ Отложено до реальных чатов
10. E2EE backup для @polina (задача #4)
11. Secret Storage / SSSS (#5)
12. Верификация устройств (#6)
13. TURN/UDP стабилизация (#7-9)
14. Work Space + боты (#10-12)
15. Matrix-Telegram bridge (#18)
### 🔒 Безопасность (в конце техработ)
16. Ротация reused пароля `73145146Vfkjq`
17. Ротация OIDC client_secret
18. Gitea API token (в открытом JSON n8n)
19. Telegram bot token (там же)
20. `pg_hba.conf` → scram-sha-256 + точечные правила
---
## 🚧 Мониторинг — ПЕРЕНОС В ВЕТКУ `infra-monitoring`
См. `docs/backlog-matrix.md` → раздел «Мониторинг».
---
## Переменные окружения
- **Пароль Postgres `matrix`:** `/root/.matrix-pg-pass` на pve
- **Пароль restic:** `/root/.restic-password` на pve
- **Signing key backup:** `/root/matrix-signing.key.backup` на pve
**Перенести в Vaultwarden** в конце техработ.
---
## Полезные команды
```bash
# Статус всех контейнеров
pct exec 155 -- docker ps
# Логи Synapse
pct exec 155 -- docker logs --tail 50 -f matrix-synapse
# Проверить БД
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -c "\dt" | head -20
# Размер media_store
pct exec 155 -- du -sh /opt/matrix/data/media_store/
# Запустить бэкап вручную
/root/matrix-backups/backup-matrix.sh
# Запустить offsite вручную
/opt/buryan-hub/scripts/offsite-backup.sh
# Список снапшотов restic
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
export RESTIC_PASSWORD_FILE="/root/.restic-password"
restic snapshots --tag pve-matrix-backups