From 12d1cbde912799454d7678d5e54605c3131efd98 Mon Sep 17 00:00:00 2001 From: Roman Buryan Date: Thu, 15 Oct 2026 20:46:03 +0300 Subject: [PATCH] =?UTF-8?q?=D0=BF=D0=BB=D0=B0=D0=BD=20=D1=80=D0=B0=D0=B7?= =?UTF-8?q?=D0=B2=D0=B8=D1=82=D0=B8=D1=8F=20=D0=B8=20=D1=80=D0=B5=D0=B5?= =?UTF-8?q?=D1=81=D1=82=D1=80=20=D0=B7=D0=B0=D0=B4=D0=B0=D1=87:=2044=20?= =?UTF-8?q?=D0=B4=D0=BE=D0=BC=D0=B5=D0=BD=D0=B0,=20=D1=81=D0=B5=D1=82?= =?UTF-8?q?=D1=8C,=20=D0=B7=D0=B2=D0=BE=D0=BD=D0=BA=D0=B8,=20=D1=81=D0=BA?= =?UTF-8?q?=D0=B2=D0=BE=D0=B7=D0=BD=D0=B0=D1=8F=20=D1=81=D0=B2=D1=8F=D0=B7?= =?UTF-8?q?=D0=BD=D0=BE=D1=81=D1=82=D1=8C?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/PLAN.md | 266 +++++++++++++++++++++++++++++++++++++++++++++++++ docs/README.md | 37 +++++++ docs/TASKS.md | 91 +++++++++++++++++ 3 files changed, 394 insertions(+) create mode 100644 docs/PLAN.md create mode 100644 docs/README.md create mode 100644 docs/TASKS.md diff --git a/docs/PLAN.md b/docs/PLAN.md new file mode 100644 index 0000000..cc89791 --- /dev/null +++ b/docs/PLAN.md @@ -0,0 +1,266 @@ +# ПЛАН РАЗВИТИЯ BURYAN-HUB + +Единый документ: что делаем, в каком порядке, зачем. +Составлен 15.10.2026 по итогам ночного спринта. + +--- + +## ПОРЯДОК РАБОТ + +``` +1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ 4 службы ← мы здесь +2. СЕТЬ И ДОСТУП вход, DNS, VPS +3. ЗВОНКИ И МЕДИА Element Call +4. СКВОЗНАЯ СВЯЗНОСТЬ единый вход, уведомления, мониторинг +5. УЛУЧШЕНИЕ СЛУЖБ по каждой отдельно +``` + +**Почему такой порядок:** обновления меняют службы, сеть меняет двери, +звонки требуют и того и другого. Делать в другом порядке — переделывать. + +--- + +# 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ + +**Осталось 4 службы.** Причина прошлых неудач устранена (профиль +безопасности запрещал создание сокетов Unix). + +| Задача | Служба | Что нужно | +|---|---|---| +| 1.1 | `paperless` | применить профиль, обновить | +| 1.2 | `gitea` | то же — **хранилище кода, всё наше** | +| 1.3 | `authentik` | то же — **вход во все службы** | +| 1.4 | `postgres-rbac` | то же — **общая база** | + +**Правила:** +* по одному контейнеру за раз, без массовых перезапусков; +* проверка на **настоящем** образе службы, не на случайном; +* профиль полный, с правилом `capability`; +* перед каждым — проверка, что служба отвечает. + +**Отдельно: вынести профиль безопасности в общее управление.** +Сейчас у каждого контейнера своя копия. Нужен один источник правды, +чтобы правка делалась в одном месте. + +--- + +# 2. СЕТЬ И ДОСТУП + +**Найденная проблема:** страница входа Authentik грузится **7,86 с** +вместо 0,02 с. Каждый файл идёт дом → VPS за границей → обратно. +Приложение не дожидается и выдаёт «не удалось войти». + +**Измерено:** +``` +через VPS: главная 1.06 с, скрипты 0.92–2.69 с → всего 7,86 с +напрямую: 0.019 с → в 400 раз быстрее +``` + +| Задача | Что делаем | Что получим | +|---|---|---| +| 2.1 | **Кэш на VPS** для файлов входа | помощ всем сразу, правится за минуты | +| 2.2 | **Локальный NGINX вместо NPM** | дома вход за 0,02 с, VPS не участвует | +| 2.3 | **AdGuard как DNS** | домашние устройства идут напрямую | +| 2.4 | **Все 44 домена** | настроить то, что сейчас не работает | +| 2.5 | **Разобраться с VPS** | кэш, резерв, или новая роль | +| 2.6 | **Один сертификат** `*.buryans.ru` | вместо 44 отдельных | + +**Что важно понимать:** +* 44 домена в DNS, из них настроено **12**. Остальные указывают на VPS + и попадают в заглушку; +* **одна дверь на всё** — VPS. Откажет он, откажет всё; +* у дома **уже есть всё нужное**: NPM (не используется), AdGuard + (не отдаёт DNS), NGINX 1.26.3 установлен. + +--- + +# 3. ЗВОНКИ И МЕДИА + +**Задача 3.1 — Element Call (отдельная задача, как решено).** + +Ошибка при звонке: +``` +MISSING_MATRIX_RTC_TRANSPORT +Сервер не настроен для работы с Element Call +``` + +**Что уже есть:** +* контейнер `livekit` — служба пересылки медиа; +* контейнер `matrix-coturn` — обход блокировок. + +**Чего не хватает:** +1. в настройках Synapse нет указания на LiveKit — **отсюда ошибка**; +2. `.well-known/matrix/client` не объявляет транспорт звонков; +3. ключи связки Synapse и LiveKit не заданы. + +**Задача 3.2 — медиаслужбы:** Plex, Jellyfin, Audiobookshelf, +Navidrome, Immich, Photoprism — свести к единому входу и правам. + +--- + +# 4. СКВОЗНАЯ СВЯЗНОСТЬ + +Смысл раздела: чтобы службы **работали как одно целое**, а не каждая +сама по себе. + +## 4.1 Единый вход (SSO) + +| Задача | Что делаем | +|---|---| +| 4.1.1 | Все 44 домена — под единый вход Authentik | +| 4.1.2 | Проверить, где вход есть, а где нет | +| 4.1.3 | Права по группам: одни службы — всем, другие — избранным | + +**Сейчас:** приложений в Authentik — **22**, доменов — **44**. +Значит половина служб входа не имеет. + +## 4.2 Единые уведомления + +| Задача | Что делаем | +|---|---| +| 4.2.1 | Все службы шлют через общий слой (**сделано** для 5 процессов) | +| 4.2.2 | Подключить остальные: обновления, тревоги, доступ | +| 4.2.3 | Разделение по ботам: ALERT, ADM, WORK, AUTH, MEDIA (**сделано**) | + +## 4.3 Мониторинг + +| Задача | Что делаем | +|---|---| +| 4.3.1 | **Все 28 служб** в наблюдение — сейчас часть | +| 4.3.2 | Проверять не «отвечает», а «работает»: жив процесс, порт, отклик | +| 4.3.3 | Отдельная проверка: **вход работает**, а не только служба | +| 4.3.4 | Оповещение в Matrix по каждому виду сбоя | + +## 4.4 Резервное копирование + +| Задача | Что делаем | +|---|---| +| 4.4.1 | Снимки **перед каждым** изменением — уже делается | +| 4.4.2 | **Проверка восстановления** — не только создание копии | +| 4.4.3 | Копии наружу (вне дома) | +| 4.4.4 | Разобрать 13 копий баз `_pre_utf8_*` (258 МБ) | + +## 4.5 Обновления + +| Задача | Что делаем | +|---|---| +| 4.5.1 | Профиль безопасности — **единый** для всех контейнеров | +| 4.5.2 | Различать «обновлено» и «уже актуально» в отчёте | +| 4.5.3 | Убирать контейнеры-остатки **автоматически** | +| 4.5.4 | Проверка «образ запускается» **до** обновления службы | + +## 4.6 Карта и документация + +| Задача | Что делаем | +|---|---| +| 4.6.1 | **Карта хозяйства**: служба → контейнер → домен → вход → копия | +| 4.6.2 | Список всех доменов с назначением | +| 4.6.3 | Живой справочник: обновляется сам из настроек | + +--- + +# 5. УЛУЧШЕНИЕ СЛУЖБ + +## 5.1 Что уже сделано + +| Направление | Состояние | +|---|---| +| Базы сведены в общий PostgreSQL | **сделано**, 15 из 17 | +| Счётчики номеров выровнены | **сделано**, 10 баз | +| Службы обновлены | **24 из 28** | +| Боты в Matrix | **сделано**, 5 ботов | +| Уведомления через общий слой | **сделано** | +| Справочник команд | **сделано**, 13 команд | +| Механизм обновления с откатом | **сделано и проверено** | + +## 5.2 По каждой службе — что улучшить + +### Инфраструктурные + +| Служба | Что улучшить | +|---|---| +| `gitea` | вход через единый вход; проверка, что задачи создаются; зеркала репозиториев | +| `authentik` | скорость; **разобраться с медленной загрузкой**; группы и права | +| `vaultwarden` | вход через единый вход; проверка восстановления из копии | +| `postgres-rbac` | наблюдение за нагрузкой; пределы соединений; план обслуживания | +| `n8n` | все процессы на общий слой уведомлений; копии процессов в Git | +| `npm` | решить судьбу — заменяется на NGINX | +| `headscale` | **разобраться, зачем он дома** — координацию держит VPS | +| `matrix` | звонки (задача 3.1); вход для новых; наблюдаемость | +| `uptime-kuma` | перевести на PostgreSQL или заменить | +| `prometheus` | сроки хранения; правила тревог на все службы | +| `grafana` | панели по всем службам; вход через единый вход | + +### Медиа и данные + +| Служба | Что улучшить | +|---|---| +| `plex`, `jellyfin` | единый вход; общие права; убрать дублирование | +| `sonarr`, `radarr`, `prowlarr`, `bazarr` | **проверить запись в базы** (счётчики выровнены, но запись не проверена) | +| `overseerr`, `tautulli` | единый вход | +| `paperless` | **двойной экземпляр** (CT 105 и CT 110) — выбрать один; ускорить запуск | +| `immich` | база вне общего PostgreSQL — свести | +| `mealie`, `freshrss`, `linkding`, `navidrome`, `calibre` | единый вход; проверка копий | +| `syncthing` | права и наблюдение | +| `dashy` | сделать стартовой страницей со ссылками на всё | + +### Прочее + +| Служба | Что улучшить | +|---|---| +| `openclaw` | определить назначение, вписать в общую схему | + +--- + +# 6. НАЙДЕННЫЕ ПРОБЛЕМЫ (реестр) + +| № | Проблема | Состояние | +|---|---|---| +| 1 | Профиль безопасности запрещал создание сокетов | **причина найдена**, Matrix исправлен | +| 2 | Профиль нужен в каждом контейнере отдельно | **не сделано** | +| 3 | 13 контейнеров-остатков держали порты | **остановлены**, убрать автоматически | +| 4 | Счётчики номеров не были выровнены | **исправлено** в 10 базах | +| 5 | Gitea не могла создавать задачи | **исправлено** | +| 6 | Домашний headscale падал 2,7 суток | **исправлено** | +| 7 | Уведомления об обновлениях шли в AUTH | **исправлено** | +| 8 | Версия не попадала в уведомление | **исправлено** | +| 9 | Страница входа грузится 7,86 с | **причина найдена**, не исправлено | +| 10 | 44 домена, настроено 12 | **не сделано** | +| 11 | Element Call не работает | **отдельная задача** | +| 12 | Одна дверь (VPS) на всё | **не сделано** | +| 13 | `paperless` — два экземпляра | **не сделано** | +| 14 | Immich вне общего PostgreSQL | **не сделано** | + +--- + +# 7. ПРАВИЛА РАБОТЫ + +Выведены по ходу спринта, часть — на своих ошибках: + +1. **Проверяй записью, а не чтением.** Чтение работало, а вставка + падала неделями. +2. **Состояние службы — по живому процессу, порту и отклику**, + а не по состоянию службы в системе (оно мигает). +3. **Пустой список — это неудача**, а не успех. +4. **Проверяй на настоящих данных**, не на случайных образах. +5. **Никогда не перезапускай Docker массово** — по одному контейнеру. +6. **Сравнивай в одном регистре**, иначе ложные расхождения. +7. **На расхождение — сначала проверь саму проверку.** +8. **Сбой шага — верни состояние и иди дальше.** +9. **Не удаляй без проверенной копии.** +10. **После каждого шага — запись в журнал и фиксация в Git.** + +--- + +# 8. СОСТОЯНИЕ НА 15.10.2026 + +| Показатель | Значение | +|---|---| +| Служб в реестре | 28 | +| Обновлено | **24** | +| Контейнеров | 29 + 1 виртуальная машина | +| Баз на общем PostgreSQL | 15 | +| Доменов | 44 | +| Ботов в Matrix | 5 | +| Коммитов | 220+ | +| Известных проблем | 14, из них решено 8 | diff --git a/docs/README.md b/docs/README.md new file mode 100644 index 0000000..169512a --- /dev/null +++ b/docs/README.md @@ -0,0 +1,37 @@ +# buryan-hub — описание хозяйства + +## Документы + +| Документ | О чём | +|---|---| +| [PLAN.md](PLAN.md) | **Полный план развития**: что делаем и в каком порядке | +| [TASKS.md](TASKS.md) | **Реестр задач** с отметками о состоянии | +| [NIGHT-JOURNAL.md](NIGHT-JOURNAL.md) | Журнал работ: что и как проверено | +| [NIGHT-REPORT.md](NIGHT-REPORT.md) | Итоговый отчёт по спринту | +| [DATABASE-STANDARD.md](DATABASE-STANDARD.md) | Правила работы с базами | +| [COMMANDS.md](COMMANDS.md) | Справочник команд ботов | + +## Порядок работ + +``` +1. Завершить обновления (4 службы) +2. Сеть и доступ (вход, DNS, VPS) +3. Звонки и медиа (Element Call) +4. Сквозная связность (единый вход, уведомления, наблюдение) +5. Улучшение служб (по каждой) +``` + +## Правила работы + +Десять правил, выведенных по ходу спринта — часть на своих ошибках. +Полный список: [PLAN.md](PLAN.md), раздел 7. + +Главные: + +1. Проверяй **записью**, а не чтением. +2. Состояние службы — по **живому процессу**, а не по состоянию в системе. +3. **Пустой список — это неудача.** +4. Проверяй на **настоящих** данных. +5. **Никогда не перезапускай Docker массово.** +6. Сбой шага — **верни состояние и иди дальше**. +7. Не удаляй **без проверенной копии**. diff --git a/docs/TASKS.md b/docs/TASKS.md new file mode 100644 index 0000000..7542e25 --- /dev/null +++ b/docs/TASKS.md @@ -0,0 +1,91 @@ +# РЕЕСТР ЗАДАЧ + +Ведётся по разделам плана. Порядок: обновления → сеть → звонки → связность → службы. + +## 1. ЗАВЕРШИТЬ ОБНОВЛЕНИЯ + +| № | Задача | Состояние | +|---|---|---| +| 1.0 | Профиль безопасности: причина найдена, Matrix исправлен | ✅ | +| 1.1 | Применить профиль в остальных контейнерах (по одному, безопасно) | ⬜ | +| 1.2 | Вынести профиль в общее управление (один источник правды) | ⬜ | +| 1.3 | Обновить `paperless` | ⬜ | +| 1.4 | Обновить `gitea` | ⬜ | +| 1.5 | Обновить `authentik` | ⬜ | +| 1.6 | Обновить `postgres-rbac` | ⬜ | +| 1.7 | Автоматически убирать контейнеры-остатки | ⬜ | + +## 2. СЕТЬ И ДОСТУП + +| № | Задача | Состояние | +|---|---|---| +| 2.0 | Причина медленного входа найдена (7,86 с вместо 0,02 с) | ✅ | +| 2.1 | Кэш на VPS для файлов страницы входа | ⬜ | +| 2.2 | Локальный NGINX вместо NPM (файлы подготовлены) | ⬜ | +| 2.3 | AdGuard: включить DNS и прописать домены | ⬜ | +| 2.4 | Настроить все 44 домена (сейчас 12) | ⬜ | +| 2.5 | Один сертификат `*.buryans.ru` | ⬜ | +| 2.6 | Определить роль VPS (кэш, резерв или иное) | ⬜ | + +## 3. ЗВОНКИ И МЕДИА + +| № | Задача | Состояние | +|---|---|---| +| 3.1 | **Element Call**: настроить транспорт звонков | ⬜ отдельная | +| 3.1.1 | Указать LiveKit в настройках Synapse | ⬜ | +| 3.1.2 | Объявить транспорт в `.well-known` | ⬜ | +| 3.1.3 | Задать ключи связки Synapse и LiveKit | ⬜ | +| 3.2 | Свести медиаслужбы к единому входу и правам | ⬜ | + +## 4. СКВОЗНАЯ СВЯЗНОСТЬ + +| № | Задача | Состояние | +|---|---|---| +| 4.1.1 | Все домены под единый вход (22 приложения из 44 доменов) | ⬜ | +| 4.1.2 | Права по группам | ⬜ | +| 4.2.1 | Все службы шлют через общий слой | 🔶 частично | +| 4.3.1 | Все 28 служб в наблюдение | ⬜ | +| 4.3.2 | Проверять «работает», а не «отвечает» | 🔶 частично | +| 4.3.3 | Отдельная проверка: вход работает | ⬜ | +| 4.4.1 | Снимки перед изменениями | ✅ | +| 4.4.2 | Проверка восстановления из копий | ⬜ | +| 4.4.3 | Копии наружу | ⬜ | +| 4.5.1 | Проверка «образ запускается» до обновления | ⬜ | +| 4.5.2 | Различать «обновлено» и «уже актуально» | ⬜ | +| 4.6.1 | Карта хозяйства: служба → контейнер → домен → вход | ⬜ | + +## 5. УЛУЧШЕНИЕ СЛУЖБ + +| № | Задача | Состояние | +|---|---|---| +| 5.1 | `authentik` — ускорить, разобраться с медленной загрузкой | ⬜ | +| 5.2 | `headscale` дома — определить назначение (координацию держит VPS) | ⬜ | +| 5.3 | `paperless` — выбрать один из двух экземпляров | ⬜ | +| 5.4 | `immich` — свести базу в общий PostgreSQL | ⬜ | +| 5.5 | `uptime-kuma` — перевести на PostgreSQL или заменить | ⬜ | +| 5.6 | `sonarr`/`radarr`/`prowlarr` — проверить запись в базы | ⬜ | +| 5.7 | `npm` — решить судьбу (заменяется на NGINX) | ⬜ | +| 5.8 | `dashy` — сделать стартовой страницей со ссылками на всё | ⬜ | +| 5.9 | `openclaw` — определить назначение | ⬜ | +| 5.10 | `prometheus`/`grafana` — правила тревог и панели на все службы | ⬜ | + +## 6. РЕЕСТР НАЙДЕННЫХ ПРОБЛЕМ + +| № | Проблема | Состояние | +|---|---|---| +| 1 | Профиль запрещал создание сокетов | ✅ решено (Matrix) | +| 2 | Профиль нужен в каждом контейнере | ⬜ | +| 3 | 13 контейнеров-остатков | 🔶 остановлены | +| 4 | Счётчики номеров | ✅ решено (10 баз) | +| 5 | Gitea не создавала задачи | ✅ решено | +| 6 | Headscale падал 2,7 суток | ✅ решено | +| 7 | Уведомления шли в AUTH | ✅ решено | +| 8 | Версия не в уведомлении | ✅ решено | +| 9 | Страница входа 7,86 с | 🔶 причина найдена | +| 10 | 44 домена, настроено 12 | ⬜ | +| 11 | Element Call не работает | ⬜ отдельная | +| 12 | Одна дверь (VPS) | ⬜ | +| 13 | Два экземпляра paperless | ⬜ | +| 14 | Immich вне общего PostgreSQL | ⬜ | + +**Обозначения:** ✅ сделано · 🔶 частично · ⬜ не начато