diff --git a/docs/STRATEGY.md b/docs/STRATEGY.md new file mode 100644 index 0000000..acce6ae --- /dev/null +++ b/docs/STRATEGY.md @@ -0,0 +1,577 @@ +# СТРАТЕГИЯ РАЗВИТИЯ BURYAN-HUB + +Полный аудит и план превращения домашней лаборатории в отказоустойчивую, +наблюдаемую, самовосстанавливающуюся систему. + +Составлен 16.10.2026 по итогам полного аудита. + +--- + +# ЧАСТЬ 1. ГДЕ МЫ СЕЙЧАС + +## 1.1 Что построено + +| Слой | Состав | Состояние | +|---|---|---| +| **Виртуализация** | Proxmox 9.1.6, 29 контейнеров + 1 машина | стабильно | +| **Данные** | PostgreSQL 17 на CT 151, 40 баз, 772 МБ | единая точка | +| **Вход** | Authentik, 22 приложения | частично | +| **Домены** | 43 домена, 40 сертификатов, обе стороны | **готово** | +| **Уведомления** | Matrix (5 ботов) + Telegram (зеркало) | работает | +| **Автоматизация** | n8n, 7 активных процессов | работает | +| **Наблюдение** | Prometheus + Grafana + Uptime Kuma | частично | +| **Обход блокировок** | VPN (отпечаток firefox), 80 доменов, mtg, danted | работает | +| **Домашний вход** | NGINX + AdGuard, до 172 раз быстрее | **готово** | +| **Код и конфиги** | Gitea, 229 коммитов | ведётся | +| **Обновления** | Свой механизм с откатом | работает | + +## 1.2 Ключевые показатели + +``` +Служб в реестре: 28 +Контейнеров: 29 + 1 машина +Доменов: 43 +Сертификатов: 40 +Баз данных: 40 (772 МБ) +Скриптов автоматизации: ~60 +Коммитов: 229 +Известных проблем: 14 (решено 8) +``` + +--- + +# ЧАСТЬ 2. УЗКИЕ ГОРЛЫШКИ + +Отсортированы по опасности. Каждый — реальный риск, не теория. + +## 🔴 КРИТИЧНЫЕ + +### 2.1 База данных — единая точка отказа + +**Что не так:** все 40 баз на одном CT 151. Упадёт он — встанет всё: +Matrix, Gitea, Vaultwarden, Authentik, Paperless, n8n. + +**Последствия:** полная остановка хозяйства до ручного восстановления. + +**Что нужно:** +* потоковая реплика (второй сервер с копией в реальном времени); +* автоматическое переключение при отказе; +* проверка восстановления из копий (сейчас копии есть, но **восстановление не проверялось**). + +### 2.2 Обновления безопасности не приходят + +**Что не так:** `postgres-rbac` отложен (смена версии), остальные обновлены. +Но **нет регулярной проверки уязвимостей**. + +**Что нужно:** +* автоматическая проверка обновлений безопасности; +* очередь с приоритетом по важности; +* уведомление в Matrix о критичных. + +### 2.3 Место в хранилище на пределе + +**Что не так:** в группе томов **1 ГБ свободно**. Тонкий пул заполнен на 66%. +Снимки перед обновлениями съедают место. + +**Последствия:** при заполнении — остановка всех виртуальных машин. + +**Что нужно:** +* автоматический контроль и оповещение (частично есть); +* политика хранения снимков; +* перенос данных на отдельный носитель; +* **проверка, что предупреждения доходят**. + +## 🟠 ВАЖНЫЕ + +### 2.4 Наблюдение проверяет «отвечает», а не «работает» + +**Что не так:** Uptime Kuma видит, что порт открыт. Но если служба +отвечает 500 или не может обратиться к базе — он этого не покажет. + +**Что нужно:** проверки **по смыслу** (например, Gitea создаёт задачу, +Matrix отдаёт список комнат). + +### 2.5 Восстановление из копий не проверялось + +**Что не так:** копии создаются регулярно, но **ни разу не проверялось, +что из них можно восстановиться**. + +**Последствия:** в нужный момент окажется, что копия битая. + +**Что нужно:** регулярная **проверка восстановления** в отдельном контейнере. + +### 2.6 Секреты разбросаны по файлам + +**Что не так:** пароли в `.env`, в конфигах, в защищённых файлах. +Нет единого хранилища, нет плана смены. + +**Что нужно:** хранилище секретов + план ротации. + +### 2.7 Нет автоматической проверки изменений + +**Что не так:** конфиги меняются вручную. Нет проверки, что после +изменения служба работает. + +**Что нужно:** проверка перед применением + автоматический откат. + +## 🟡 ЖЕЛАТЕЛЬНЫЕ + +### 2.8 Журналы разбросаны + +Логи в 29 контейнерах, у каждого свой. Найти причину сбоя — ручная работа. + +### 2.9 Нет единой стартовой страницы + +Пользователь не знает, какие службы есть. `dashy` есть, но не настроен. + +### 2.10 Immich вне общего хранилища данных + +Отдельная база на виртуальной машине. Не входит в общее резервирование. + +### 2.11 Один внешний сервер + +VPS — единственная внешняя дверь. Откажет он — пропадёт внешний доступ. + +### 2.12 Нет ограничений ресурсов + +Контейнеры могут съесть всю память узла. Нет пределов и приоритетов. + +--- + +# ЧАСТЬ 3. СТРАТЕГИЯ — ЧЕТЫРЕ НАПРАВЛЕНИЯ + +``` +┌──────────────────────────────────────────────────────────┐ +│ 1. НАДЁЖНОСТЬ — чтобы не падало │ +│ 2. НАБЛЮДАЕМОСТЬ — чтобы видеть, что происходит │ +│ 3. БЕЗОПАСНОСТЬ — чтобы не потерять и не пустить │ +│ 4. УПРАВЛЯЕМОСТЬ — чтобы менять без страха │ +└──────────────────────────────────────────────────────────┘ +``` + +## НАПРАВЛЕНИЕ 1. НАДЁЖНОСТЬ + +### 1.1 Резервирование базы данных + +**Цель:** падение основного сервера баз не останавливает хозяйство. + +**Что делаем:** +* второй сервер баз с **потоковой копией** (задержка секунды); +* автоматическое переключение при отказе (Patroni); +* **PgBouncer** — пул соединений (убирает лишние подключения, + сейчас 49 активных); +* проверка восстановления раз в неделю в отдельном контейнере. + +**Что получим:** база переживает падение узла. Восстановление — минуты. + +### 1.2 Проверка восстановления копий + +**Цель:** знать, что копия рабочая, **до** аварии. + +**Что делаем:** +* раз в неделю: развернуть копию в отдельном контейнере; +* проверить целостность и что служба запускается; +* отчёт в Matrix: «копия от <дата> проверена, восстановление работает». + +**Что получим:** уверенность вместо надежды. + +### 1.3 Ограничения ресурсов + +**Цель:** одна служба не может уронить всё. + +**Что делаем:** +* пределы памяти и процессора для каждого контейнера; +* приоритеты: база и вход — высокий, медиа — низкий; +* отдельная проверка «кто сколько ест». + +### 1.4 Место в хранилище + +**Цель:** не упереться в предел. + +**Что делаем:** +* контроль с автоматическим оповещением (частично есть); +* политика хранения снимков (максимум N, не старше X дней); +* план расширения или переноса данных. + +--- + +## НАПРАВЛЕНИЕ 2. НАБЛЮДАЕМОСТЬ + +### 2.1 Сбор журналов + +**Что добавляем:** **Loki** + Promtail. + +**Зачем:** все логи в одном месте, поиск по всем службам сразу. +Сейчас: «найди ошибку в 29 контейнерах» — ручная работа. + +**Что получим:** в Grafana — единый поиск. Плюс связь тревоги с логами. + +### 2.2 Обработка тревог + +**Что добавляем:** **Alertmanager**. + +**Зачем:** сейчас тревоги идут напрямую в Matrix. Нет группировки, +нет повторов, нет «если не подтвердили за 10 минут — эскалация». + +**Что получим:** +* группировка похожих тревог; +* повторы и эскалация; +* разные каналы для разной важности. + +### 2.3 Проверки по смыслу + +**Что меняем:** проверять **работу**, а не порт. + +**Что делаем:** +``` +Gitea: создать и удалить задачу (проверка записи) +Matrix: отправить и прочитать сообщение +Authentik: пройти вход программно +Vaultwarden: прочитать и записать +БД: записать и прочитать в каждую базу +``` + +**Что получим:** узнаём о поломке **до** пользователя. + +### 2.4 Наблюдение за сетью + +**Что добавляем:** проверка скорости, задержек, маршрутов. + +**Зачем:** мы видели, что 180 мс до VPS ломают вход. Нужно видеть это сразу. + +--- + +## НАПРАВЛЕНИЕ 3. БЕЗОПАСНОСТЬ + +### 3.1 Хранилище секретов + +**Что добавляем:** **OpenBao** (открытая замена Vault) или **SOPS**. + +**Зачем:** пароли лежат в файлах. Нет единой точки, нет истории, нет отзыва. + +**Что получим:** +* все секреты в одном месте; +* доступ по службам, не по файлам; +* автоматическая ротация. + +### 3.2 Регулярная смена паролей + +**Что делаем:** план ротации для всех служб. + +**Что получим:** утечка одного пароля не открывает всё. + +### 3.3 Сканирование уязвимостей + +**Что добавляем:** **Trivy** — проверка образов. + +**Что делаем:** ежедневная проверка всех образов, отчёт в Matrix. + +### 3.4 Защита от подбора + +**Что добавляем:** **Crowdsec** или **Fail2ban** на VPS и внутри. + +**Зачем:** мы видели попытки сканирования порта 10443 в логах. + +### 3.5 Разделение сети + +**Что делаем:** разделить службы по зонам доступа — публичные, +внутренние, служебные. Ограничить, кто к кому может обращаться. + +--- + +## НАПРАВЛЕНИЕ 4. УПРАВЛЯЕМОСТЬ + +### 4.1 Всё как код + +**Что делаем:** каждое изменение — через Git. + +``` +домены.yaml → настройки NGINX (уже сделано) +services.yaml → реестр служб (уже есть) +docker-compose → в Git у каждой службы +профили → в Git +``` + +**Что получим:** историю всех изменений, откат к любому состоянию. + +### 4.2 Автоматическое применение + +**Что добавляем:** **Gitea Actions** (сборка и проверка). + +**Что делаем:** изменение в Git → автоматическая проверка → применение. + +**Что получим:** меньше ручной работы, меньше ошибок. + +### 4.3 Проверка перед применением + +**Что делаем:** каждое изменение проверяется в **отдельном контейнере** +до применения к рабочей службе. + +**Зачем:** мы уже дважды ломали службы, меняя настройки «на живом». + +**Что получим:** сломанное изменение не доходит до пользователя. + +### 4.4 Самовосстановление + +**Что делаем:** служба не отвечает → автоматический перезапуск → +не помогло → откат из снимка → уведомление. + +**Что получим:** часть сбоев исправляется без участия человека. + +--- + +# ЧАСТЬ 4. ЧТО ДОБАВИТЬ — КОНКРЕТНЫЕ СЛУЖБЫ + +## 4.1 Обязательно + +| Служба | Зачем | Что решает | +|---|---|---| +| **Loki** | Сбор журналов | Направление 2.1 | +| **Alertmanager** | Обработка тревог | 2.2 | +| **PgBouncer** | Пул соединений к базе | 1.1 | +| **Patroni** | Переключение базы при отказе | 1.1 | +| **MinIO** | Хранилище копий (S3) | Копии наружу | +| **OpenBao** | Хранилище секретов | 3.1 | +| **Trivy** | Проверка уязвимостей | 3.3 | +| **Crowdsec** | Защита от подбора | 3.4 | +| **Gitea Actions** | Сборка и проверка | 4.2 | + +## 4.2 Сильно улучшат + +| Служба | Зачем | +|---|---| +| **Gatus** | Проверки по смыслу (замена Uptime Kuma) | +| **Diun** | Оповещение о новых образах | +| **Renovate** | Обновление зависимостей | +| **Scrutiny** | Здоровье дисков | +| **Beszel** | Наблюдение за ресурсами | +| **Netbox** | Документация инфраструктуры | +| **Docmost/Outline** | База знаний | +| **Vikunja** | Управление задачами | +| **Ntfy** | Уведомления на телефон | +| **Wallabag/Hoarder** | Отложенное чтение | +| **Uptime Kuma v2** | Или замена на Gatus | + +## 4.3 На подумать + +| Служба | Зачем | +|---|---| +| **Kubernetes (k3s)** | Если служб станет больше 50 | +| **Authentik + SCIM** | Автоматическое управление пользователями | +| **Paperless + OCR** | Уже есть, доработать | +| **Immich** | Фото, свести в общую базу | +| **Keycloak** | Альтернатива Authentik | +| **Caddy** | Автоматические сертификаты | + +--- + +# ЧАСТЬ 5. ЦЕЛЕВАЯ АРХИТЕКТУРА + +``` + ИНТЕРНЕТ + │ + ┌────────┴────────┐ + │ VPS (край) │ ← внешняя дверь + │ NGINX + VPN │ обход блокировок + │ копии наружу │ + └────────┬────────┘ + │ Tailscale + ┌────────────────────────┴────────────────────────┐ + │ ДОМ (основной центр) │ + │ │ + │ ┌─────────────────────────────────────────┐ │ + │ │ ВХОД: NGINX + AdGuard + Authentik │ │ + │ └────────────────┬────────────────────────┘ │ + │ │ │ + │ ┌────────────────┴────────────────────────┐ │ + │ │ ДАННЫЕ: PostgreSQL + копия + PgBouncer │ │ + │ │ MinIO (копии) │ │ + │ └────────────────┬────────────────────────┘ │ + │ │ │ + │ ┌────────────────┴────────────────────────┐ │ + │ │ СЛУЖБЫ: 28+ контейнеров │ │ + │ │ медиа · документы · код · автоматика │ │ + │ └────────────────┬────────────────────────┘ │ + │ │ │ + │ ┌────────────────┴────────────────────────┐ │ + │ │ НАБЛЮДЕНИЕ: Prometheus · Grafana │ │ + │ │ Loki · Alertmanager │ │ + │ └────────────────┬────────────────────────┘ │ + │ │ │ + │ ┌────────────────┴────────────────────────┐ │ + │ │ УПРАВЛЕНИЕ: Git · Gitea Actions │ │ + │ │ OpenBao · проверки │ │ + │ └─────────────────────────────────────────┘ │ + └─────────────────────────────────────────────────┘ +``` + +**Принципы:** +1. **Дом — основной центр.** Всё ценное здесь. +2. **VPS — край.** Внешний доступ, обход блокировок, копии наружу. +3. **Всё как код.** Изменения через Git. +4. **Проверка перед применением.** Сломанное не доходит до работы. +5. **Наблюдаемость по смыслу.** Проверяем работу, не порт. + +--- + +# ЧАСТЬ 6. ПЛАН ПО ЭТАПАМ + +## Этап 1. Надёжность (наибольшая отдача) + +| Шаг | Что | Зачем | +|---|---|---| +| 1.1 | Контроль места и снимков | Не упереться в предел | +| 1.2 | **Проверка восстановления копий** | Знать, что копия рабочая | +| 1.3 | PgBouncer | Меньше подключений к базе | +| 1.4 | Ограничения ресурсов | Одна служба не уронит всё | +| 1.5 | MinIO для копий | Копии в надёжном месте | + +## Этап 2. Наблюдаемость + +| Шаг | Что | Зачем | +|---|---|---| +| 2.1 | Loki + Promtail | Все журналы в одном месте | +| 2.2 | Alertmanager | Управление тревогами | +| 2.3 | Проверки по смыслу | Видеть поломку до пользователя | +| 2.4 | Панели в Grafana | Всё на одном экране | + +## Этап 3. Управляемость + +| Шаг | Что | Зачем | +|---|---|---| +| 3.1 | Все настройки в Git | История и откат | +| 3.2 | Gitea Actions | Автоматическая проверка | +| 3.3 | Проверка в отдельном контейнере | Не ломать рабочее | +| 3.4 | Самовосстановление | Меньше ручной работы | + +## Этап 4. Безопасность + +| Шаг | Что | Зачем | +|---|---|---| +| 4.1 | OpenBao | Секреты в одном месте | +| 4.2 | Trivy | Проверка образов | +| 4.3 | Crowdsec | Защита от подбора | +| 4.4 | Ротация паролей | Ограничить ущерб от утечки | + +## Этап 5. Резервирование базы + +| Шаг | Что | Зачем | +|---|---|---| +| 5.1 | Второй сервер баз | Убрать единую точку отказа | +| 5.2 | Потоковая копия | Данные в реальном времени | +| 5.3 | Patroni | Автоматическое переключение | +| 5.4 | Обновление до новой версии | Осознанно, с проверкой | + +## Этап 6. Улучшение служб + +| Шаг | Что | +|---|---| +| 6.1 | Единый вход для всех 43 доменов | +| 6.2 | Immich в общую базу | +| 6.3 | Разобрать `paperless` (два экземпляра) | +| 6.4 | Заменить Uptime Kuma на Gatus | +| 6.5 | Стартовая страница для пользователей | + +## Этап 7. Новые возможности + +| Шаг | Что | +|---|---| +| 7.1 | Управление задачами (Vikunja) | +| 7.2 | База знаний (Docmost) | +| 7.3 | Уведомления на телефон (Ntfy) | +| 7.4 | Элемент Call (звонки) — отложенная задача | + +--- + +# ЧАСТЬ 7. КАК ИЗМЕРЯТЬ УСПЕХ + +| Показатель | Сейчас | Цель | +|---|---|---| +| Время недоступности | не измеряется | < 1 мин/мес | +| Восстановление базы | не проверялось | **проверка еженедельно** | +| Проверки по смыслу | ~10% | **100% служб** | +| Настройки в Git | ~40% | **100%** | +| Секреты в хранилище | 0% | **100%** | +| Проверка уязвимостей | нет | **ежедневно** | +| Автоматический откат | при обновлении | **при любом изменении** | +| Свободное место | 1 ГБ | **> 20%** | + +--- + +# ЧАСТЬ 8. ЧТО МЫ ПОЛУЧИМ + +| | Сейчас | После | +|---|---|---| +| Падение базы | **всё встаёт** | переключение за минуты | +| Поломка службы | узнаём от пользователя | **узнаём первыми** | +| Изменение настройки | руками, риск сломать | **через Git с проверкой** | +| Восстановление из копии | надежда | **проверено** | +| Поиск причины сбоя | по 29 контейнерам | **один поиск** | +| Секреты | в файлах | **в хранилище, с ротацией** | +| Уязвимости | не отслеживаются | **ежедневный отчёт** | +| Внешний доступ | один VPS | **VPS + резерв** | + +--- + +# ЧАСТЬ 9. ПРИОРИТЕТЫ — ЧТО ДЕЛАТЬ ПЕРВЫМ + +Если выбирать самое важное: + +``` +1. ПРОВЕРКА ВОССТАНОВЛЕНИЯ КОПИЙ + Копии есть, но никто не проверял, что из них можно + восстановиться. Это главный риск. + +2. РЕЗЕРВИРОВАНИЕ БАЗЫ + Единая точка отказа всего хозяйства. + +3. ПРОВЕРКИ ПО СМЫСЛУ + Сейчас узнаём о поломке от пользователя. + +4. ЖУРНАЛЫ В ОДНОМ МЕСТЕ + Поиск причины сбоя — самая частая ручная работа. + +5. ВСЁ В GIT + История изменений и откат. + +6. ХРАНИЛИЩЕ СЕКРЕТОВ + Пароли в файлах — это риск. +``` + +--- + +# ЧАСТЬ 10. ИДЕИ «НА ПОДУМАТЬ» + +Свободный полёт — что ещё возможно: + +* **Автоматический переезд служб** между узлами при отказе; +* **Резервный интернет** (второй провайдер) с автопереключением; +* **Локальный ИИ** для сортировки документов, фото, почты; +* **Голосовое управление** домом через Matrix; +* **Автоматическая обработка почты** (Paperless + OCR + сортировка); +* **Дашборд для семьи** — что происходит, что нового; +* **Мобильное приложение** для доступа ко всему; +* **Обмен файлами** с внешними людьми (без раскрытия дома); +* **Второй узел в другом месте** — полное резервирование; +* **Мониторинг цен** и автоматизация закупок; +* **Архив медиа** с автоматической сортировкой; +* **Резервное копирование телефонов** автоматически; +* **Календарь и контакты** синхронизация; +* **Пароли для семьи** с разграничением доступа; +* **Учёт домашних расходов** автоматически из выписок. + +--- + +# ИТОГ + +**Система построена и работает.** 43 домена, 28 служб, 40 сертификатов, +обход блокировок, домашний вход в 172 раза быстрее. + +**Главные риски:** база данных как единая точка отказа, +непроверенные копии, наблюдение по портам вместо смысла. + +**Путь вперёд:** надёжность → наблюдаемость → управляемость → +безопасность → резервирование → новые возможности. + +**Принцип:** каждое изменение — через Git, с проверкой, с возможностью +откатить. Мы дважды ломали службы, меняя «на живом» — больше так нельзя.