docs: add Matrix sprint runbook
This commit is contained in:
1 parent
007cfcf414
commit
cadabd31da
1 file changed
+153
@@ -0,0 +1,153 @@
|
||||
# Matrix Sprint Runbook
|
||||
|
||||
**Дата:** 2026-09-25
|
||||
**Контекст:** CT 155 (matrix), Postgres CT 151, домен `matrix.buryans.ru`
|
||||
**Статус:** ✅ Завершён (кроме мониторинга — см. ветку `infra-monitoring`)
|
||||
|
||||
---
|
||||
|
||||
## Итоговое состояние
|
||||
|
||||
| Компонент | Где | Технология | Статус |
|
||||
|---|---|---|---|
|
||||
| **Synapse** | CT 155 `192.168.1.155:8008` | Docker `matrixdotorg/synapse:latest` | ✅ |
|
||||
| **БД** | CT 151 `192.168.1.151:5432/matrix_db` | PostgreSQL 17.11 | ✅ |
|
||||
| **Element Web** | CT 155 `:8088` → `element.buryans.ru` | Docker `vectorim/element-web:latest` | ✅ |
|
||||
| **Coturn** | CT 155 `:3478`, `:5349` | Docker `coturn/coturn:latest` | ✅ |
|
||||
| **LiveKit** | CT 155 `:7880` (host network) | Docker `livekit/livekit-server:latest` | ✅ |
|
||||
| **OIDC SSO** | Authentik `authentik.buryans.ru/application/o/matrix/` | OIDC | ✅ |
|
||||
| **nginx** | VPS `193.233.210.184` | Let's Encrypt + proxy | ✅ |
|
||||
| **Локальные бэкапы** | pve `/root/matrix-backups/` | pg_dump + tar + cron | ✅ |
|
||||
| **Offsite бэкапы** | vps `100.64.0.2:/backup/restic-repo` | restic через Headscale | ✅ |
|
||||
|
||||
---
|
||||
|
||||
## Что было сделано
|
||||
|
||||
### 1. Миграция SQLite → PostgreSQL
|
||||
|
||||
- **Причина:** старый стек на CT 155 использовал SQLite (`/opt/matrix/data/homeserver.db`).
|
||||
- **Действие:** БД пересоздана в Postgres 17.11 на CT 151.
|
||||
- **SQLite сохранён:** `/opt/matrix/data/homeserver.db.old-sqlite-20260925-153527` (удалить через 2-4 недели).
|
||||
- **Пользователи пересозданы через OIDC** (`@akadmin:matrix.buryans.ru`).
|
||||
- **Signing key сохранён**, поэтому клиенты видят тот же сервер.
|
||||
- **169 таблиц** в новой БД.
|
||||
|
||||
### 2. Очистка `homeserver.yaml`
|
||||
|
||||
Удалены несуществующие/дублирующиеся ключи:
|
||||
- Дубликат `turn_shared_secret`
|
||||
- `livekit:` (не читается Synapse)
|
||||
- `encryption_enabled`, `key_backup`, `experimental_features` (не в схеме Synapse)
|
||||
- Дубликат `trusted_key_servers`
|
||||
|
||||
### 3. Убийство zombie-контейнера
|
||||
|
||||
- Удалён `ab09d92e81e4_matrix-synapse` (рестартовал каждые 2 мин).
|
||||
- Удалена orphan-сеть `matrix-net`.
|
||||
|
||||
### 4. Локальные бэкапы
|
||||
|
||||
**Скрипт:** `/root/matrix-backups/backup-matrix.sh`
|
||||
**Расписание:** `30 3 * * *` (cron)
|
||||
|
||||
| Что | Куда | Ротация |
|
||||
|---|---|---|
|
||||
| `pg_dump matrix_db` | `/root/matrix-backups/pg/` | 7 дней |
|
||||
| `media_store/` + `uploads/` | `/root/matrix-backups/files/` | 7 дней |
|
||||
| `homeserver.yaml` + `signing.key` + `turnserver.conf` + `.env` | `/root/matrix-backups/config/` | 30 дней |
|
||||
|
||||
**Тест восстановления:** ✅ пройден (169 таблиц, `@akadmin`, 10 events).
|
||||
|
||||
### 5. Offsite бэкапы через restic
|
||||
|
||||
- **Проблема:** старый offsite не работал **~6 недель** (репозиторий на мёртвом `vm1181073`).
|
||||
- **Решение:** новый restic-репозиторий на `vps` (100.64.0.2) в Headscale-сети `buryan-hub`.
|
||||
- **Репозиторий ID:** `145d2cea69`.
|
||||
- **Пароль:** `/root/.restic-password`.
|
||||
- **Скрипт:** `/opt/buryan-hub/scripts/offsite-backup.sh` (обновлён IP).
|
||||
- **Тег Matrix:** `pve-matrix-backups`.
|
||||
- **Расписание:** `0 5 * * *`.
|
||||
|
||||
---
|
||||
|
||||
## Известные проблемы (backlog)
|
||||
|
||||
### 🔴 Критичные
|
||||
|
||||
1. **Alert на падение бэкапа.** Push-мониторы в Uptime Kuma — задача ветки `infra-monitoring`.
|
||||
|
||||
### 🟡 Средние
|
||||
|
||||
2. **Postgres-монитор в Uptime Kuma сломан** (`Unknown Monitor Type`).
|
||||
3. **MagicDNS не активен** на pve (Headscale `--accept-dns` требует всех флагов).
|
||||
4. **DERP-only** — UDP для Headscale заблокирован, ~50ms latency.
|
||||
|
||||
### 🟢 Низкий приоритет
|
||||
|
||||
5. **SSL `vault.buryans.ru`** — отдаётся сертификат от `finance.buryans.ru`.
|
||||
6. **`headscale.buryans.ru` монитор** — 404.
|
||||
7. **`Gitea (140)` монитор** — 405.
|
||||
8. **Proxmox API / VPS TCP 443** — packet loss.
|
||||
9. **Display name `admin` вместо `akadmin`** — OIDC `{{ user.name }}`.
|
||||
|
||||
### ⏸ Отложено до реальных чатов
|
||||
|
||||
10. E2EE backup для @polina (задача #4)
|
||||
11. Secret Storage / SSSS (#5)
|
||||
12. Верификация устройств (#6)
|
||||
13. TURN/UDP стабилизация (#7-9)
|
||||
14. Work Space + боты (#10-12)
|
||||
15. Matrix-Telegram bridge (#18)
|
||||
|
||||
### 🔒 Безопасность (в конце техработ)
|
||||
|
||||
16. Ротация reused пароля `73145146Vfkjq`
|
||||
17. Ротация OIDC client_secret
|
||||
18. Gitea API token (в открытом JSON n8n)
|
||||
19. Telegram bot token (там же)
|
||||
20. `pg_hba.conf` → scram-sha-256 + точечные правила
|
||||
|
||||
---
|
||||
|
||||
## 🚧 Мониторинг — ПЕРЕНОС В ВЕТКУ `infra-monitoring`
|
||||
|
||||
См. `docs/backlog-matrix.md` → раздел «Мониторинг».
|
||||
|
||||
---
|
||||
|
||||
## Переменные окружения
|
||||
|
||||
- **Пароль Postgres `matrix`:** `/root/.matrix-pg-pass` на pve
|
||||
- **Пароль restic:** `/root/.restic-password` на pve
|
||||
- **Signing key backup:** `/root/matrix-signing.key.backup` на pve
|
||||
|
||||
**Перенести в Vaultwarden** в конце техработ.
|
||||
|
||||
---
|
||||
|
||||
## Полезные команды
|
||||
|
||||
```bash
|
||||
# Статус всех контейнеров
|
||||
pct exec 155 -- docker ps
|
||||
|
||||
# Логи Synapse
|
||||
pct exec 155 -- docker logs --tail 50 -f matrix-synapse
|
||||
|
||||
# Проверить БД
|
||||
pct exec 151 -- sudo -u postgres psql -P pager=off -d matrix_db -c "\dt" | head -20
|
||||
|
||||
# Размер media_store
|
||||
pct exec 155 -- du -sh /opt/matrix/data/media_store/
|
||||
|
||||
# Запустить бэкап вручную
|
||||
/root/matrix-backups/backup-matrix.sh
|
||||
|
||||
# Запустить offsite вручную
|
||||
/opt/buryan-hub/scripts/offsite-backup.sh
|
||||
|
||||
# Список снапшотов restic
|
||||
export RESTIC_REPOSITORY="sftp:root@100.64.0.2:/backup/restic-repo"
|
||||
export RESTIC_PASSWORD_FILE="/root/.restic-password"
|
||||
restic snapshots --tag pve-matrix-backups
|
||||
Reference in new issue
Block a user