Files
buryan-infra/docs/STRATEGY.md

28 KiB
Raw Permalink Blame History

СТРАТЕГИЯ РАЗВИТИЯ BURYAN-HUB

Полный аудит и план превращения домашней лаборатории в отказоустойчивую, наблюдаемую, самовосстанавливающуюся систему.

Составлен 16.10.2026 по итогам полного аудита.


ЧАСТЬ 1. ГДЕ МЫ СЕЙЧАС

1.1 Что построено

Слой Состав Состояние
Виртуализация Proxmox 9.1.6, 29 контейнеров + 1 машина стабильно
Данные PostgreSQL 17 на CT 151, 40 баз, 772 МБ единая точка
Вход Authentik, 22 приложения частично
Домены 43 домена, 40 сертификатов, обе стороны готово
Уведомления Matrix (5 ботов) + Telegram (зеркало) работает
Автоматизация n8n, 7 активных процессов работает
Наблюдение Prometheus + Grafana + Uptime Kuma частично
Обход блокировок VPN (отпечаток firefox), 80 доменов, mtg, danted работает
Домашний вход NGINX + AdGuard, до 172 раз быстрее готово
Код и конфиги Gitea, 229 коммитов ведётся
Обновления Свой механизм с откатом работает

1.2 Ключевые показатели

Служб в реестре:        28
Контейнеров:            29 + 1 машина
Доменов:                43
Сертификатов:           40
Баз данных:             40 (772 МБ)
Скриптов автоматизации: ~60
Коммитов:               229
Известных проблем:      14 (решено 8)

ЧАСТЬ 2. УЗКИЕ ГОРЛЫШКИ

Отсортированы по опасности. Каждый — реальный риск, не теория.

🔴 КРИТИЧНЫЕ

2.1 База данных — единая точка отказа

Что не так: все 40 баз на одном CT 151. Упадёт он — встанет всё: Matrix, Gitea, Vaultwarden, Authentik, Paperless, n8n.

Последствия: полная остановка хозяйства до ручного восстановления.

Что нужно:

  • потоковая реплика (второй сервер с копией в реальном времени);
  • автоматическое переключение при отказе;
  • проверка восстановления из копий (сейчас копии есть, но восстановление не проверялось).

2.2 Обновления безопасности не приходят

Что не так: postgres-rbac отложен (смена версии), остальные обновлены. Но нет регулярной проверки уязвимостей.

Что нужно:

  • автоматическая проверка обновлений безопасности;
  • очередь с приоритетом по важности;
  • уведомление в Matrix о критичных.

2.3 Место в хранилище на пределе

Что не так: в группе томов 1 ГБ свободно. Тонкий пул заполнен на 66%. Снимки перед обновлениями съедают место.

Последствия: при заполнении — остановка всех виртуальных машин.

Что нужно:

  • автоматический контроль и оповещение (частично есть);
  • политика хранения снимков;
  • перенос данных на отдельный носитель;
  • проверка, что предупреждения доходят.

🟠 ВАЖНЫЕ

2.4 Наблюдение проверяет «отвечает», а не «работает»

Что не так: Uptime Kuma видит, что порт открыт. Но если служба отвечает 500 или не может обратиться к базе — он этого не покажет.

Что нужно: проверки по смыслу (например, Gitea создаёт задачу, Matrix отдаёт список комнат).

2.5 Восстановление из копий не проверялось

Что не так: копии создаются регулярно, но ни разу не проверялось, что из них можно восстановиться.

Последствия: в нужный момент окажется, что копия битая.

Что нужно: регулярная проверка восстановления в отдельном контейнере.

2.6 Секреты разбросаны по файлам

Что не так: пароли в .env, в конфигах, в защищённых файлах. Нет единого хранилища, нет плана смены.

Что нужно: хранилище секретов + план ротации.

2.7 Нет автоматической проверки изменений

Что не так: конфиги меняются вручную. Нет проверки, что после изменения служба работает.

Что нужно: проверка перед применением + автоматический откат.

🟡 ЖЕЛАТЕЛЬНЫЕ

2.8 Журналы разбросаны

Логи в 29 контейнерах, у каждого свой. Найти причину сбоя — ручная работа.

2.9 Нет единой стартовой страницы

Пользователь не знает, какие службы есть. dashy есть, но не настроен.

2.10 Immich вне общего хранилища данных

Отдельная база на виртуальной машине. Не входит в общее резервирование.

2.11 Один внешний сервер

VPS — единственная внешняя дверь. Откажет он — пропадёт внешний доступ.

2.12 Нет ограничений ресурсов

Контейнеры могут съесть всю память узла. Нет пределов и приоритетов.


ЧАСТЬ 3. СТРАТЕГИЯ — ЧЕТЫРЕ НАПРАВЛЕНИЯ

┌──────────────────────────────────────────────────────────┐
│  1. НАДЁЖНОСТЬ      — чтобы не падало                    │
│  2. НАБЛЮДАЕМОСТЬ   — чтобы видеть, что происходит       │
│  3. БЕЗОПАСНОСТЬ    — чтобы не потерять и не пустить     │
│  4. УПРАВЛЯЕМОСТЬ   — чтобы менять без страха            │
└──────────────────────────────────────────────────────────┘

НАПРАВЛЕНИЕ 1. НАДЁЖНОСТЬ

1.1 Резервирование базы данных

Цель: падение основного сервера баз не останавливает хозяйство.

Что делаем:

  • второй сервер баз с потоковой копией (задержка секунды);
  • автоматическое переключение при отказе (Patroni);
  • PgBouncer — пул соединений (убирает лишние подключения, сейчас 49 активных);
  • проверка восстановления раз в неделю в отдельном контейнере.

Что получим: база переживает падение узла. Восстановление — минуты.

1.2 Проверка восстановления копий

Цель: знать, что копия рабочая, до аварии.

Что делаем:

  • раз в неделю: развернуть копию в отдельном контейнере;
  • проверить целостность и что служба запускается;
  • отчёт в Matrix: «копия от <дата> проверена, восстановление работает».

Что получим: уверенность вместо надежды.

1.3 Ограничения ресурсов

Цель: одна служба не может уронить всё.

Что делаем:

  • пределы памяти и процессора для каждого контейнера;
  • приоритеты: база и вход — высокий, медиа — низкий;
  • отдельная проверка «кто сколько ест».

1.4 Место в хранилище

Цель: не упереться в предел.

Что делаем:

  • контроль с автоматическим оповещением (частично есть);
  • политика хранения снимков (максимум N, не старше X дней);
  • план расширения или переноса данных.

НАПРАВЛЕНИЕ 2. НАБЛЮДАЕМОСТЬ

2.1 Сбор журналов

Что добавляем: Loki + Promtail.

Зачем: все логи в одном месте, поиск по всем службам сразу. Сейчас: «найди ошибку в 29 контейнерах» — ручная работа.

Что получим: в Grafana — единый поиск. Плюс связь тревоги с логами.

2.2 Обработка тревог

Что добавляем: Alertmanager.

Зачем: сейчас тревоги идут напрямую в Matrix. Нет группировки, нет повторов, нет «если не подтвердили за 10 минут — эскалация».

Что получим:

  • группировка похожих тревог;
  • повторы и эскалация;
  • разные каналы для разной важности.

2.3 Проверки по смыслу

Что меняем: проверять работу, а не порт.

Что делаем:

Gitea:     создать и удалить задачу (проверка записи)
Matrix:    отправить и прочитать сообщение
Authentik: пройти вход программно
Vaultwarden: прочитать и записать
БД:        записать и прочитать в каждую базу

Что получим: узнаём о поломке до пользователя.

2.4 Наблюдение за сетью

Что добавляем: проверка скорости, задержек, маршрутов.

Зачем: мы видели, что 180 мс до VPS ломают вход. Нужно видеть это сразу.


НАПРАВЛЕНИЕ 3. БЕЗОПАСНОСТЬ

3.1 Хранилище секретов

Что добавляем: OpenBao (открытая замена Vault) или SOPS.

Зачем: пароли лежат в файлах. Нет единой точки, нет истории, нет отзыва.

Что получим:

  • все секреты в одном месте;
  • доступ по службам, не по файлам;
  • автоматическая ротация.

3.2 Регулярная смена паролей

Что делаем: план ротации для всех служб.

Что получим: утечка одного пароля не открывает всё.

3.3 Сканирование уязвимостей

Что добавляем: Trivy — проверка образов.

Что делаем: ежедневная проверка всех образов, отчёт в Matrix.

3.4 Защита от подбора

Что добавляем: Crowdsec или Fail2ban на VPS и внутри.

Зачем: мы видели попытки сканирования порта 10443 в логах.

3.5 Разделение сети

Что делаем: разделить службы по зонам доступа — публичные, внутренние, служебные. Ограничить, кто к кому может обращаться.


НАПРАВЛЕНИЕ 4. УПРАВЛЯЕМОСТЬ

4.1 Всё как код

Что делаем: каждое изменение — через Git.

домены.yaml       → настройки NGINX (уже сделано)
services.yaml     → реестр служб (уже есть)
docker-compose    → в Git у каждой службы
профили           → в Git

Что получим: историю всех изменений, откат к любому состоянию.

4.2 Автоматическое применение

Что добавляем: Gitea Actions (сборка и проверка).

Что делаем: изменение в Git → автоматическая проверка → применение.

Что получим: меньше ручной работы, меньше ошибок.

4.3 Проверка перед применением

Что делаем: каждое изменение проверяется в отдельном контейнере до применения к рабочей службе.

Зачем: мы уже дважды ломали службы, меняя настройки «на живом».

Что получим: сломанное изменение не доходит до пользователя.

4.4 Самовосстановление

Что делаем: служба не отвечает → автоматический перезапуск → не помогло → откат из снимка → уведомление.

Что получим: часть сбоев исправляется без участия человека.


ЧАСТЬ 4. ЧТО ДОБАВИТЬ — КОНКРЕТНЫЕ СЛУЖБЫ

4.1 Обязательно

Служба Зачем Что решает
Loki Сбор журналов Направление 2.1
Alertmanager Обработка тревог 2.2
PgBouncer Пул соединений к базе 1.1
Patroni Переключение базы при отказе 1.1
MinIO Хранилище копий (S3) Копии наружу
OpenBao Хранилище секретов 3.1
Trivy Проверка уязвимостей 3.3
Crowdsec Защита от подбора 3.4
Gitea Actions Сборка и проверка 4.2

4.2 Сильно улучшат

Служба Зачем
Gatus Проверки по смыслу (замена Uptime Kuma)
Diun Оповещение о новых образах
Renovate Обновление зависимостей
Scrutiny Здоровье дисков
Beszel Наблюдение за ресурсами
Netbox Документация инфраструктуры
Docmost/Outline База знаний
Vikunja Управление задачами
Ntfy Уведомления на телефон
Wallabag/Hoarder Отложенное чтение
Uptime Kuma v2 Или замена на Gatus

4.3 На подумать

Служба Зачем
Kubernetes (k3s) Если служб станет больше 50
Authentik + SCIM Автоматическое управление пользователями
Paperless + OCR Уже есть, доработать
Immich Фото, свести в общую базу
Keycloak Альтернатива Authentik
Caddy Автоматические сертификаты

ЧАСТЬ 5. ЦЕЛЕВАЯ АРХИТЕКТУРА

                          ИНТЕРНЕТ
                             │
                    ┌────────┴────────┐
                    │  VPS (край)     │  ← внешняя дверь
                    │  NGINX + VPN    │     обход блокировок
                    │  копии наружу   │
                    └────────┬────────┘
                             │ Tailscale
    ┌────────────────────────┴────────────────────────┐
    │              ДОМ (основной центр)               │
    │                                                 │
    │  ┌─────────────────────────────────────────┐   │
    │  │  ВХОД: NGINX + AdGuard + Authentik      │   │
    │  └────────────────┬────────────────────────┘   │
    │                   │                             │
    │  ┌────────────────┴────────────────────────┐   │
    │  │  ДАННЫЕ: PostgreSQL + копия + PgBouncer │   │
    │  │          MinIO (копии)                   │   │
    │  └────────────────┬────────────────────────┘   │
    │                   │                             │
    │  ┌────────────────┴────────────────────────┐   │
    │  │  СЛУЖБЫ: 28+ контейнеров                │   │
    │  │  медиа · документы · код · автоматика   │   │
    │  └────────────────┬────────────────────────┘   │
    │                   │                             │
    │  ┌────────────────┴────────────────────────┐   │
    │  │  НАБЛЮДЕНИЕ: Prometheus · Grafana       │   │
    │  │              Loki · Alertmanager        │   │
    │  └────────────────┬────────────────────────┘   │
    │                   │                             │
    │  ┌────────────────┴────────────────────────┐   │
    │  │  УПРАВЛЕНИЕ: Git · Gitea Actions        │   │
    │  │              OpenBao · проверки         │   │
    │  └─────────────────────────────────────────┘   │
    └─────────────────────────────────────────────────┘

Принципы:

  1. Дом — основной центр. Всё ценное здесь.
  2. VPS — край. Внешний доступ, обход блокировок, копии наружу.
  3. Всё как код. Изменения через Git.
  4. Проверка перед применением. Сломанное не доходит до работы.
  5. Наблюдаемость по смыслу. Проверяем работу, не порт.

ЧАСТЬ 6. ПЛАН ПО ЭТАПАМ

Этап 1. Надёжность (наибольшая отдача)

Шаг Что Зачем
1.1 Контроль места и снимков Не упереться в предел
1.2 Проверка восстановления копий Знать, что копия рабочая
1.3 PgBouncer Меньше подключений к базе
1.4 Ограничения ресурсов Одна служба не уронит всё
1.5 MinIO для копий Копии в надёжном месте

Этап 2. Наблюдаемость

Шаг Что Зачем
2.1 Loki + Promtail Все журналы в одном месте
2.2 Alertmanager Управление тревогами
2.3 Проверки по смыслу Видеть поломку до пользователя
2.4 Панели в Grafana Всё на одном экране

Этап 3. Управляемость

Шаг Что Зачем
3.1 Все настройки в Git История и откат
3.2 Gitea Actions Автоматическая проверка
3.3 Проверка в отдельном контейнере Не ломать рабочее
3.4 Самовосстановление Меньше ручной работы

Этап 4. Безопасность

Шаг Что Зачем
4.1 OpenBao Секреты в одном месте
4.2 Trivy Проверка образов
4.3 Crowdsec Защита от подбора
4.4 Ротация паролей Ограничить ущерб от утечки

Этап 5. Резервирование базы

Шаг Что Зачем
5.1 Второй сервер баз Убрать единую точку отказа
5.2 Потоковая копия Данные в реальном времени
5.3 Patroni Автоматическое переключение
5.4 Обновление до новой версии Осознанно, с проверкой

Этап 6. Улучшение служб

Шаг Что
6.1 Единый вход для всех 43 доменов
6.2 Immich в общую базу
6.3 Разобрать paperless (два экземпляра)
6.4 Заменить Uptime Kuma на Gatus
6.5 Стартовая страница для пользователей

Этап 7. Новые возможности

Шаг Что
7.1 Управление задачами (Vikunja)
7.2 База знаний (Docmost)
7.3 Уведомления на телефон (Ntfy)
7.4 Элемент Call (звонки) — отложенная задача

ЧАСТЬ 7. КАК ИЗМЕРЯТЬ УСПЕХ

Показатель Сейчас Цель
Время недоступности не измеряется < 1 мин/мес
Восстановление базы не проверялось проверка еженедельно
Проверки по смыслу ~10% 100% служб
Настройки в Git ~40% 100%
Секреты в хранилище 0% 100%
Проверка уязвимостей нет ежедневно
Автоматический откат при обновлении при любом изменении
Свободное место 1 ГБ > 20%

ЧАСТЬ 8. ЧТО МЫ ПОЛУЧИМ

Сейчас После
Падение базы всё встаёт переключение за минуты
Поломка службы узнаём от пользователя узнаём первыми
Изменение настройки руками, риск сломать через Git с проверкой
Восстановление из копии надежда проверено
Поиск причины сбоя по 29 контейнерам один поиск
Секреты в файлах в хранилище, с ротацией
Уязвимости не отслеживаются ежедневный отчёт
Внешний доступ один VPS VPS + резерв

ЧАСТЬ 9. ПРИОРИТЕТЫ — ЧТО ДЕЛАТЬ ПЕРВЫМ

Если выбирать самое важное:

1. ПРОВЕРКА ВОССТАНОВЛЕНИЯ КОПИЙ
   Копии есть, но никто не проверял, что из них можно
   восстановиться. Это главный риск.

2. РЕЗЕРВИРОВАНИЕ БАЗЫ
   Единая точка отказа всего хозяйства.

3. ПРОВЕРКИ ПО СМЫСЛУ
   Сейчас узнаём о поломке от пользователя.

4. ЖУРНАЛЫ В ОДНОМ МЕСТЕ
   Поиск причины сбоя — самая частая ручная работа.

5. ВСЁ В GIT
   История изменений и откат.

6. ХРАНИЛИЩЕ СЕКРЕТОВ
   Пароли в файлах — это риск.

ЧАСТЬ 10. ИДЕИ «НА ПОДУМАТЬ»

Свободный полёт — что ещё возможно:

  • Автоматический переезд служб между узлами при отказе;
  • Резервный интернет (второй провайдер) с автопереключением;
  • Локальный ИИ для сортировки документов, фото, почты;
  • Голосовое управление домом через Matrix;
  • Автоматическая обработка почты (Paperless + OCR + сортировка);
  • Дашборд для семьи — что происходит, что нового;
  • Мобильное приложение для доступа ко всему;
  • Обмен файлами с внешними людьми (без раскрытия дома);
  • Второй узел в другом месте — полное резервирование;
  • Мониторинг цен и автоматизация закупок;
  • Архив медиа с автоматической сортировкой;
  • Резервное копирование телефонов автоматически;
  • Календарь и контакты синхронизация;
  • Пароли для семьи с разграничением доступа;
  • Учёт домашних расходов автоматически из выписок.

ИТОГ

Система построена и работает. 43 домена, 28 служб, 40 сертификатов, обход блокировок, домашний вход в 172 раза быстрее.

Главные риски: база данных как единая точка отказа, непроверенные копии, наблюдение по портам вместо смысла.

Путь вперёд: надёжность → наблюдаемость → управляемость → безопасность → резервирование → новые возможности.

Принцип: каждое изменение — через Git, с проверкой, с возможностью откатить. Мы дважды ломали службы, меняя «на живом» — больше так нельзя.