From f5a27d38240ea966d760fdaf6f3a8640e9084e08 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Tue, 10 Nov 2026 16:11:17 +0300 Subject: [PATCH] =?UTF-8?q?[OPS]=20=D0=9A=D1=80=D0=B8=D1=82=D0=B8=D1=87?= =?UTF-8?q?=D0=B5=D1=81=D0=BA=D0=BE=D0=B5:=20=D0=B4=D0=B0=D0=BD=D0=BD?= =?UTF-8?q?=D1=8B=D0=B5=20Postgres=20=D0=BD=D0=B5=20=D0=B1=D1=8D=D0=BA?= =?UTF-8?q?=D0=B0=D0=BF=D0=B8=D0=BB=D0=B8=D1=81=D1=8C.=20Vaultwarden=20?= =?UTF-8?q?=D1=80=D0=B0=D0=B1=D0=BE=D1=82=D0=B0=D0=B5=D1=82=20=D0=BD=D0=B0?= =?UTF-8?q?=20PostgreSQL=20(=D0=BD=D0=B5=20SQLite),=20=D0=B0=20vaultwarden?= =?UTF-8?q?=5Fdb=20=D0=B8=20=D0=B5=D1=89=D1=91=2029=20=D0=B1=D0=B0=D0=B7?= =?UTF-8?q?=20=D0=BD=D0=B0=20=D1=85=D0=BE=D1=81=D1=82=D0=B5=20151=20=D0=BD?= =?UTF-8?q?=D0=B5=20=D0=B2=D1=85=D0=BE=D0=B4=D0=B8=D0=BB=D0=B8=20=D0=BD?= =?UTF-8?q?=D0=B8=20=D0=B2=20LXC-=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=D1=8B,=20?= =?UTF-8?q?=D0=BD=D0=B8=20=D0=B2=20=D0=B4=D0=B0=D0=BC=D0=BF=D1=8B.=20?= =?UTF-8?q?=D0=A2=D0=B5=D0=BF=D0=B5=D1=80=D1=8C=20db=5Fdumps=20=D0=BF?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D1=87=D0=B8=D1=81=D0=BB=D1=8F=D0=B5=D1=82=20?= =?UTF-8?q?=D0=92=D0=A1=D0=95=20=D0=B1=D0=B0=D0=B7=D1=8B=20(35,=200=20?= =?UTF-8?q?=D0=BE=D1=88=D0=B8=D0=B1=D0=BE=D0=BA,=20336=20=D0=9C=D0=91)=20?= =?UTF-8?q?=D0=B8=20CT151=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=20=D0=B2=20LXC-=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=D1=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/incidents/2026-11-10-INFRA-REVIEW.md | 101 +++++++++++++++++++++++ 1 file changed, 101 insertions(+) create mode 100644 ops/incidents/2026-11-10-INFRA-REVIEW.md diff --git a/ops/incidents/2026-11-10-INFRA-REVIEW.md b/ops/incidents/2026-11-10-INFRA-REVIEW.md new file mode 100644 index 0000000..ff99b7a --- /dev/null +++ b/ops/incidents/2026-11-10-INFRA-REVIEW.md @@ -0,0 +1,101 @@ +# Инфраструктурная ревизия (10.11.2026) + +## Критическая находка: данные не бэкапились + +Vaultwarden работает **на PostgreSQL** (не SQLite — файл `db.sqlite3` в CT109 +остался от старой установки, датирован 12 октября). + +``` +DATABASE_URL=postgresql://vaultwarden_user:***@192.168.1.151:5432/vaultwarden_db +``` + +Проверка показала: + +| Что | Было | +|---|---| +| CT151 (хост Postgres) в LXC-бэкапах | **НЕТ** | +| `vaultwarden_db` в логических дампах | **НЕТ** | +| Всего баз на хосте | **30** (~900 МБ) | + +То есть **все пароли, доступы, база Authentik, Matrix, Gitea, медиа — +без бэкапа.** А в дампе числилась база `authentik` из контейнера, тогда как +живая называется `authentik_db`. + +## Что исправлено + +### 1. Дамп всех баз Postgres + +`db_dumps.py` теперь **сам перечисляет базы** на хосте 192.168.1.151, а не +работает по жёсткому списку: + +```python +def all_pg_databases(): # все, кроме логов и копий миграций +``` + +Прогон: + +``` +✓ vaultwarden_db (host): 132 КБ +✓ rag (host): 16780 КБ +✓ n8n (host): 2802 КБ +✓ nextcloud_db (host): 1598 КБ +✓ sonarr_db (host): 719 КБ +✓ radarr_db (host): 590 КБ +... +готово: ok=35, ошибок=0 +``` + +Файлов в архиве: **119**, объём **336 МБ**. +Целостность дампа паролей проверена (`PostgreSQL database dump`). + +### 2. LXC-бэкап хоста Postgres + +Добавлен CT151 — еженедельно в 03:40 (второй слой, на случай порчи дампов). + +## Что ещё не так — по приоритету + +### 🔴 1. Vault без 2FA + +``` +записей 2FA в базе: 0 +пользователей: 9 +``` + +Теперь в Vault все пароли инфраструктуры, а второй фактор **не включён ни у +кого**. Это единственное место, где 2FA имеет прямой смысл (в отличие от +самодельной схемы «вход через Matrix», которую мы отвергли). + +### 🔴 2. 43 контейнера oauth2-proxy, 10 compose-файлов + +33 контейнера созданы `docker run` — **конфигурация нигде не сохранена**. +При пересоздании (обновление образа, перезагрузка) настройки теряются. +С Vaultwarden мы это уже видели. + +### 🟡 3. Мониторинг дублируется четырежды + +`check-services` (40), Uptime Kuma (69), Prometheus (35 таргетов), +`swarm-watchdog` (4). Задокументировано, но не сведено. + +### 🟡 4. Учения по восстановлению + +Последний прогон `hub-restore-drill`: **6 ноября**. Регулярность неясна. +Бэкап без проверки восстановления — надежда, а не бэкап. + +### 🟢 5. Мелочи + +* 6 старых копий секретов (`.bak`, `.before-*`) в `/root`. +* 44 документа старше 30 дней. + +## Моё мнение: что это говорит + +Каждый дубль за день (5 путей уведомлений, 9 ботов, 2 индекса RAG, 3 отчёта, +16 провайдеров, 43 oauth2-proxy) — следствие одного: **механизмы создаются +вручную, без шаблона и без проверки**. + +Правило, которое стоит ввести: + +> Новый механизм — сначала шаблон и проверка, потом экземпляры. +> Если механизм уже есть — использовать его, а не заводить второй. + +Сегодня эта мысль уже реализована в трёх местах: реестр автоматизаций (150), +проверка SSO-провайдеров (68), смоук платформы (9 проверок).