[A-28] Вики: страницы Мониторинг, Бэкапы, Единый вход

This commit is contained in:
buryan-agent committed 2026-10-21 22:59:54 +03:00
1 parent 1704e124cd
commit ff239e0358
4 files changed
+600 -5

No files matched your search

+124
View File
@@ -0,0 +1,124 @@
# Пофайловый бэкап конфигов (расширение)
## Было
16 целей: Home Assistant, Gitea, Prometheus, Alertmanager, Mosquitto,
Uptime Kuma, AdGuard, n8n, боты книг, каталог, Grocy, Vikunja, Homebox.
## Добавлено (21.10.2026)
| CT | Путь | Что это |
|---|---|---|
| 110 | `/opt/memos/data` | заметки Memos |
| 110 | `/opt/stirling/configs` | настройки Stirling PDF |
| 110 | `/opt/beszel/data` | база Beszel |
| 105 | `/opt/paperless` | конфиг Paperless |
| 114 | `/opt/authentik-security` | compose и настройки Authentik |
| 155 | `/opt/matrix` | конфигурация Matrix |
| 125 | `/opt/navidrome` | музыка |
| 140 | `/opt/gitea/gitea` | данные Gitea |
| 123 | `qBittorrent.conf` | настройки торрент-клиента |
| 134 | `/opt/prometheus/rules` | правила (дубль для контроля) |
## Результат прогона
```
configs: dirs=63 files=107 size=30 МБ -> configs-20261021-2209.tar.gz
```
## Проверка
```
✓ memos ct/memos-data.tgz
✓ stirling ct/stirling-pdf-configs.tgz, ct/stirling-pdf-tessdata.tgz
✓ beszel ct/beszel-data.tgz
✓ paperless ct/paperless-data.tgz, ct/paperless.tgz
✓ authentik ct/authentik.tgz
✓ matrix ct/matrix-coturn-turnserver.conf
✓ navidrome ct/navidrome.tgz
✓ gitea ct/gitea-conf.tgz, ct/gitea-compose
✓ qbittorrent ct/qbittorrent-conf
```
## Ловушка
Имя файла в архиве **не равно** подписи из `CT_TARGETS`: оно строится из пути
(`/opt/memos/data` → `memos-data.tgz`). Проверять по подстрокам, а не по
полному имени.
## Что осталось
- Nextcloud (`/opt/nextcloud` отсутствует — данные в другом месте)
- Шлюз CT161 и LLM CT160 — путей нет, нужно уточнить
---
# Учения восстановления (21.10.2026, ночной спринт)
## Что проверяли
Разворачивание пофайлового бэкапа конфигов «с нуля» во временный каталог.
## Ход
1. Взят свежий архив `configs-20261021-2251.tar.gz`.
2. Распакован в `/tmp/rollback-drill/restored`.
3. Проверено наличие ключевых конфигов.
4. Сверена контрольная сумма архива.
## Результат
```
файлов: 115
размер: 237 МБ
```
| Конфиг | Есть |
|---|---|
| homeassistant-config | ✅ |
| gitea-conf | ✅ |
| grocy-config | ✅ |
| memos-data | ✅ |
| beszel-data | ✅ |
| paperless-data | ✅ |
## Что нашли и исправили
**Home Assistant не попадал в бэкап.** В скрипте стоял лимит
`ct_size_mb > 60 → пропуск`, а конфиг HA занимает 62 МБ. Пропуск был
**молчаливым** — в логе ничего.
Исправлено:
- лимит поднят до **200 МБ**;
- пропуски теперь **логируются** (`пропуск <имя>: <размер> > 200 МБ`).
После правки архив вырос с 29 до 237 МБ и HA внутри.
## Что ещё выяснилось
Три цели больше 200 МБ и остаются вне архива:
| Цель | Размер |
|---|---|
| `uptime_kuma-data` | 545 МБ |
| `files_db-data` | 236 МБ |
| `loki-data` | 216 МБ |
Это данные, а не конфиги: они попадают в `vzdump` целиком.
## Ротация
| Что | Было | Стало |
|---|---|---|
| Конфиги | 30 дней | **14 дней** |
| vzdump | без ограничения (22 копии, 65 ГБ) | **keep-daily=7, keep-weekly=4** |
Диск бэкапов: 98 ГБ, занято 66 ГБ (71%). После ограничения освободится
место при следующем прогоне в 02:00.
## Вывод
Бэкап **разворачивается**, ключевые конфиги на месте. Найденная дыра
(HA вне бэкапа) — серьёзная, исправлена.
+208
View File
@@ -0,0 +1,208 @@
# Beszel — мониторинг всех гостей
## Охват: 35 из 35
| Что | Как развёрнуто |
|---|---|
| pve (хост) | контейнер, `45876` |
| 27 CT с Docker | контейнер `beszel-agent` |
| 5 CT без Docker | **бинарник + systemd** |
| VM 104 (Immich) | бинарник + systemd |
| CT110 (сам хаб) | контейнер |
Проверка: `гостей: 35 | в Beszel: 35 | не покрыты: нет`.
## Схема
- Хаб: CT110, `0.0.0.0:8092`, прокси `oauth2-proxy-metrics` на `9996`,
домен `https://metrics.buryans.ru`.
- Агент: слушает `45876`, хаб подключается к нему по SSH по ключу —
токен системы не требуется.
- Бинарник агента лежит в `/usr/local/bin/beszel-agent`,
systemd-юнит `beszel-agent.service`.
## Ловушки (все стоили времени)
1. **Docker API разный**: CT110 требует `DOCKER_API_VERSION=1.41`,
остальные — ≥1.44.
2. **Нет compose** в CT124/126 — только `docker run`.
3. **AppArmor в LXC** (CT115, CT140): нужен `--security-opt apparmor=unconfined`.
4. **CT111 — это 192.168.1.240**, а не `.111`.
5. **`UID` — readonly в bash**.
6. **KEY содержит пробел**: в systemd-юните обязательны кавычки
`Environment="KEY=ssh-ed25519 AAAA..."`, иначе
`Failed to load public keys: failed to parse key`.
7. **VM 104 доступна по SSH root@192.168.1.104** — агент ставится напрямую.
---
# Dozzle — логи контейнеров
## Где
| Параметр | Значение |
|---|---|
| CT | 110 (office-lxc) |
| Порт | `127.0.0.1:9998` |
| Прокси | `oauth2-proxy-logs`, `network_mode: host`, порт `9997` |
| Домен | `https://logs.buryans.ru` (ждёт DNS) |
| Данные | нет, читает `docker.sock` |
## Почему не на хосте
На PVE Docker ограничен (AppArmor): контейнер не может подключиться
к `/var/run/docker.sock` — `Could not connect to any Docker Engine`.
Memos и Stirling тоже падали на хосте по этой причине.
Поэтому Dozzle живёт в CT110 и видит контейнеры этого CT.
## SSO
```
proxy 9997 → 302 https://authentik.buryans.ru/application/o/authorize/
dozzle 9998 → 200 (локально)
```
Провайдер `provider-logs`, приложение `logs`, redirect
`https://logs.buryans.ru/oauth2/callback`.
## Инцидент при развёртывании
`oauth2-proxy-logs` занял порт **9999**, на котором работал
`telegram-proxy.py`. Процесс упал, systemd его поднял. Прокси переведён
на 9997.
Также выяснилось, что `tmdb-proxy.service` (socat на 8888) конфликтует
с SSH-туннелем на том же порту. Метаданные работают через туннель (401
от api.themoviedb.org = доступ есть), поэтому `tmdb-proxy` отключён как дубль.
## Что осталось
1. DNS: `logs.buryans.ru` → **193.233.210.184** (сейчас указывает
на 5.101.152.161 — чужой адрес).
2. После DNS: certbot на VPS, копия сертификата домой, 443-блок на VPS.
---
# Grafana: дашборд «Инфраструктура»
## Где
| Параметр | Значение |
|---|---|
| CT | 113 (backup-lxc) |
| Порт | `192.168.1.113:3000` |
| Версия | 12.4.0 |
| Датасорс | Prometheus, uid `prom-buryan` |
| Дашборд | uid `buryan-infra` |
## Панели
| Панель | Запрос |
|---|---|
| Машин онлайн | `count(up{job=~"node\|buryan"} == 1)` |
| Алертов активно | `count(ALERTS{alertstate="firing"})` |
| Минимум свободного места | `min(node_filesystem_avail_bytes{mountpoint="/"})` |
| Максимальная нагрузка | `max(node_load15)` |
| CPU по машинам | `100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100` |
| Память по машинам | `100 * (1 - MemAvailable/MemTotal)` |
| Диск / по машинам | `100 * (1 - avail/size)` |
| Сеть (МБ/с) | `rate(node_network_receive_bytes_total{device="eth0"}[5m])` |
Проверено: 28 серий по CPU/памяти/диску/сети, значения приходят.
## Что добавилось по ходу
**node_exporter на хосте** — его не было, поэтому сам PVE не попадал
в метрики. Запущен контейнер `node_exporter` на хосте (`network host`,
порт 9100), добавлена цель в Prometheus (`ct=0`, `host=pve`).
Проверка: `up{job="node",instance="192.168.1.10:9100"} = 1`.
## Ловушки
1. **Grafana живёт в CT113**, а не в CT134 рядом с Prometheus.
2. **Правка `prometheus.yml` через heredoc внутри `pct exec` не сработала**
молча — файл не изменился. Надёжно: сформировать файл на хосте,
затем `pct push`.
3. **instance для хоста** — `192.168.1.10:9100`, у CT — `192.168.1.N:9100`.
## Публикация домена (21.10.2026)
До этого `grafana.buryans.ru` **не работал**: в конфиге VPS стоял
комментарий «сертификат не выпущен — пропущен».
Сделано:
1. VPS: блок `listen 80` + certbot + `listen 443` → `192.168.1.113:3000`.
2. Домашний nginx: `grafana-local.conf` + `grafana-http-redirect.conf`.
3. Сертификат скопирован в `/etc/nginx/certs/grafana.buryans.ru/`.
4. OAuth-адреса в Grafana переведены на публичные:
- `GF_AUTH_GENERIC_OAUTH_AUTH_URL` → `https://authentik.buryans.ru/application/o/authorize/`
- `GF_AUTH_GENERIC_OAUTH_TOKEN_URL` → `https://authentik.buryans.ru/application/o/token/`
- `GF_AUTH_GENERIC_OAUTH_API_URL` → `https://authentik.buryans.ru/application/o/userinfo/`
5. В Authentik добавлен redirect `https://grafana.buryans.ru/login/generic_oauth`.
Проверка:
```
http://grafana.buryans.ru → 301 https
https://grafana.buryans.ru → 302 /login (200)
SSO старт → https://authentik.buryans.ru/... ✅
```
## Ловушки
1. **Grafana 12 хранит SSO не в `setting`**, а в `sso_setting`
(и то записей может не быть — тогда работают только env).
Таблицы `setting` в базе нет вообще: `relation "setting" does not exist`.
2. **После пересоздания контейнера том теряет владельца**:
`mkdir: can't create directory '/var/lib/grafana/plugins': Permission denied`.
Лечится `chown -R 472:472 <volume>`.
3. **В compose был старый `AUTH_URL` с внутренним адресом** — env
перекрывал всё, пока его не заменили в файле.
4. **`GF_AUTH_GENERIC_OAUTH_TOKEN_URL` брался из `.env`** через
`${...}` — подстановка осталась внутренней, пока не вписали литерал.
---
# Dozzle и Beszel
Оба в CT110, оба за SSO.
## Dozzle — логи
| Параметр | Значение |
|---|---|
| Порт | `127.0.0.1:9998` |
| Прокси | `oauth2-proxy-logs` на `9997` |
| Домен | `https://logs.buryans.ru` |
| Проверка | http 301 → https 302 → Authentik |
Показывает контейнеры CT110. Больше не может: Docker на хосте PVE
ограничен AppArmor, а сокет другого CT недоступен.
## Beszel — мониторинг
| Параметр | Значение |
|---|---|
| Порт | `127.0.0.1:8092` |
| Прокси | `oauth2-proxy-metrics` на `9996` |
| Домен | `https://metrics.buryans.ru` |
| Проверка | http 301 → https 302 → Authentik |
Хаб поднят. Для сбора метрик с машин нужны **агенты** — по одному
на каждую: хост, CT109, CT105 и т.д. Ключ агента берётся в интерфейсе
Beszel после первого входа.
## Ловушки
1. Порты `9996/9997/9998` свободны, а `9999` занят `telegram-proxy.py`
— проверять перед запуском.
2. `user: root` в compose для образа без passwd падает:
`unable to find user root`. Нужно `user: "0:0"`.
3. OAuth2-прокси в `network_mode: host` слушает порт напрямую —
маппинг портов ему не нужен и только мешает.
+262
View File
@@ -0,0 +1,262 @@
# Единый вход: фактическая проверка (21.10.2026)
Проверено не по документации, а запросами к каждому домену:
куда ведёт первый редирект, есть ли признаки OIDC.
## Итог
| Тип | Сколько | Домены |
|---|---|---|
| **SSO через forward-auth** | **19** | backup, bazarr, books, docs, element, finance, flow, grocy, home, hub, links, music, news, openclaw, prowlarr, radarr, rss, sonarr, status |
| **OIDC внутри сервиса** | **3** | vikunja, homebox, meals |
| **Свой вход** | **10** | adguard, files (Nextcloud), matrix, n8n, ombi, plex, immich, sync (Syncthing), vault (Vaultwarden), headscale |
| **Собственный UI Authentik** | 1 | admin |
| **Редиректы на другие домены** | 4 | chat→element, recipes→meals, requests→ombi, turn→call |
**Всего под SSO: 22 из 33 доменов с сервисами.**
## Где я ошибался раньше
Отчёт `ops/registry/COVERAGE.md` строился по строкам портов в реестре.
У сервисов внутри CT портов нет — и они попали в «без SSO» ошибочно.
Фактически большинство из них уже за oauth2-proxy.
## Что действительно без SSO
| Сервис | Почему |
|---|---|
| `plex` | свой вход, OIDC не поддерживает |
| `immich` | свой вход (API 401) |
| `syncthing` | свой вход |
| `vaultwarden` | свой вход (сознательно: хранилище паролей) |
| `adguard` | свой вход |
| `nextcloud` (files) | свой вход, OIDC-плагин не установлен |
| `n8n` | свой вход + свой `hub-login` |
| `ombi` | свой вход |
| `matrix` | отдельная система, свой вход — **так и задумано** |
| `headscale` | служебный |
## Gitea
Кнопка Authentik есть, локальный вход работает. Проверено владельцем:
вход через SSO работает.
## Вывод
Единый вход покрывает **основную часть сервисов**. Оставшиеся 10 —
либо сознательно отдельные (Matrix, Vaultwarden), либо не поддерживают OIDC
(Plex, Immich, Syncthing, Ombi).
---
# SSO: Memos и Stirling PDF (итог)
## Memos — нативный SSO
Memos умеет OIDC через своего провайдера идентификации.
| Что | Значение |
|---|---|
| Провайдер в Authentik | `provider-memos-sso`, приложение `memos-sso` |
| Redirect URI | `https://memo.buryans.ru/auth/callback` |
| IdP в Memos | `idp` таблица: `uid=authentik`, `type=OAUTH2` |
| Админ Memos | `admin` (восстановлен через SQL) |
| Прокси | **остановлен**, домен идёт напрямую в Memos |
Проверка: `https://memo.buryans.ru` → 200, на странице есть кнопка SSO.
## Stirling PDF — SSO через прокси
| Что | Значение |
|---|---|
| Провайдер | `provider-stirling`, приложение `stirling` |
| Прокси | `oauth2-proxy-stirling` на 8090 |
| Собственный вход | **отключён**: `SECURITY_ENABLELOGIN=false` |
Проверка: `https://pdf.buryans.ru` → 302 на Authentik, после входа — сразу приложение.
## Ловушки (все три стоили времени)
1. **API Memos игнорирует поля IdP.** POST `/api/v1/identity-providers`
создаёт запись с `type=TYPE_UNSPECIFIED`, `title=""`, `config={}`.
Рабочий способ — прямая вставка в таблицу `idp`.
2. **SQL-пароль в кавычках.** `sqlite3` с двойными кавычками падает:
`no such column: "$2a$12$..."`. Только одинарные кавычки, через файл.
3. **`pct exec … < файл` не видит хостовый файл.** Сначала `pct push`
в контейнер, потом читать.
## Итог по SSO
| Тип | Кол-во |
|---|---|
| forward-auth (oauth2-proxy) | 20 |
| OIDC внутри сервиса | 4 (vikunja, homebox, meals, memos) |
| свой вход | 9 |
## Закрытие прямого доступа (важно)
Пока порт приложения открыт в LAN, SSO можно обойти: `http://192.168.1.110:8089`
открывался мимо прокси. Исправлено:
| Сервис | Было | Стало |
|---|---|---|
| Stirling | `0.0.0.0:8089` | `127.0.0.1:8089` (только для прокси) |
| oauth2-proxy-stirling | порт 8090 через mapping | `network_mode: host`, слушает 8090 |
| oauth2-proxy-memos | порт 5231 | остановлен, не нужен (нативный SSO) |
Проверка:
```
8089 закрыт (в обход SSO не зайти)
8090 открыт (это прокси, отдаёт 302 на Authentik)
pdf.buryans.ru → 302 → Authentik
memo.buryans.ru → 200, кнопка Authentik
```
## Ловушка
Если убрать `ports` у сервиса, но оставить ключ `ports:` пустым, compose
падает: `services.X.ports must be a array`. Удалять нужно саму строку.
## Настоящая причина «SSO нет»: порт 80
Домашний nginx отдавал на порту 80 **дефолтный сервер**
(«Welcome to nginx!»), потому что для новых доменов не было блока `listen 80`.
Заходишь по `http://pdf.buryans.ru` — HTTPS, прокси и SSO не участвуют.
Исправлено: добавлены блоки с редиректом.
```
http://pdf.buryans.ru → 301 https://pdf.buryans.ru/
http://memo.buryans.ru → 301 https://memo.buryans.ru/
https://pdf.buryans.ru → 302 https://authentik.buryans.ru/...
```
## Правило при публикации нового домена
1. VPS: блок `listen 80` с ACME + 301 на https.
2. Домашний nginx: **тоже** блок `listen 80` с 301 на https.
3. Только потом `listen 443` с прокси на SSO.
4. Проверять **оба** протокола: `http://` и `https://`.
Без шага 2 домен открывается по HTTP в обход всего.
---
# Vikunja: ошибка «поставщик OpenID не предоставил email»
## Симптом
После входа через Authentik Vikunja показывает:
> Поставщик OpenID не предоставил адрес электронной почты.
## Причина
В переменных Vikunja стояло:
```
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid
```
Только `openid` — без `email` и `profile`. Authentik физически не отдавал
адрес почты, потому что его не запрашивали.
Скоуп в провайдере Authentik при этом был правильный
(`email`, `profile`, `openid`) — проблема была на стороне клиента.
## Исправление
```
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid profile email
```
## Ловушка
**Vikunja запущена через `docker run`, а не compose.** В
`/opt/lifestyle-lxc/docker-compose.yml` её нет — правка compose ничего
не даёт. Пересоздавать нужно через `docker run` с теми же томами:
```
-v /opt/lifestyle-lxc/vikunja/files:/app/vikunja/files
-v /opt/lifestyle-lxc/vikunja/db:/db
-p 9285:3456
```
## Проверка
```
docker inspect vikunja | grep SCOPE → openid profile email
локально: 200, домен: 200
```
---
# SSO для Memos и Stirling PDF
## Схема
Как у остальных сервисов: oauth2-proxy перед приложением.
```
интернет → VPS nginx (443) → домашний LAN
→ oauth2-proxy-memos :5231 → memos :5230
→ oauth2-proxy-stirling :8090 → stirling :8089
```
## Что сделано
| Шаг | Результат |
|---|---|
| Провайдеры в Authentik | `provider-memos`, `provider-stirling` |
| Приложения | `memos`, `stirling` |
| Redirect URI | `https://memo.buryans.ru/oauth2/callback`, `https://pdf.buryans.ru/oauth2/callback` |
| Контейнеры прокси | `oauth2-proxy-memos` (5231), `oauth2-proxy-stirling` (8090) |
| Домашний nginx | домены → прокси, а не напрямую |
| VPS nginx | проксирует на порты SSO, а не на приложение |
## Проверка
```
memo.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=KqfJv…
pdf.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=BWqb2…
```
## Ловушки
1. **Недостаточно закрыть домашний nginx**: VPS проксировал напрямую на порт
приложения и обходил SSO. Менять надо **оба** nginx.
2. Провайдер в Authentik требует `authorization_flow` и `invalidation_flow`,
а `redirect_uris` — список объектов, не строка.
3. oauth2-proxy в CT110 требует `DOCKER_API_VERSION=1.41`.
## Инцидент: 500 на /oauth2/callback
**Симптом:** после входа в Authentik прокси отдавал 500
«Внутренняя ошибка сервера».
**В логах:**
```
Error redeeming code during OAuth2 callback:
could not verify id_token: failed to verify signature
```
**Причина:** провайдеры, созданные через API, получили
`signing_key = None`. Authentik не подписывал id_token известным ключом,
и oauth2-proxy не мог проверить подпись.
**Исправление:**
```python
PATCH /providers/oauth2/{pk}/
{"signing_key": "<pk сертификата authentik Self-signed Certificate>"}
```
После назначения ключа JWKS отдаёт 1 ключ, подпись проверяется.
**Правило:** при создании OAuth2-провайдера через API **всегда** указывать
`signing_key`, иначе вход падает на проверке подписи.
+6 -5
View File
@@ -1,6 +1,6 @@
# Сервисы
Всего контейнеров: **114**.
Всего контейнеров: **115**.
## Ядро (10)
@@ -18,17 +18,18 @@
| `mautrix-telegram` | 155 | dock.mau.dev/mautrix/telegram:latest | normal |
| `vaultwarden` | 109 | vaultwarden/server:latest | normal |
## Дом (5)
## Дом (6)
| Сервис | CT | Образ | Критичность |
|---|---|---|---|
| `adguard` | 107 | adguard/adguardhome:latest | normal |
| `frigate` | 126 | ghcr.io/blakeblackshear/frigate:stable | normal |
| `homeassistant` | 106 | ghcr.io/home-assistant/home-assistant:stable | high |
| `homebox` | 110 | ghcr.io/sysadminsmedia/homebox:latest | normal |
| `mosquitto` | 107 | eclipse-mosquitto:2 | high |
| `zigbee2mqtt` | 0 | ghcr.nju.edu.cn/koenkk/zigbee2mqtt:latest | normal |
## Медиа (16)
## Медиа (15)
| Сервис | CT | Образ | Критичность |
|---|---|---|---|
@@ -38,7 +39,6 @@
| `catalog` | 111 | buryan/catalog:latest | normal |
| `immich_database` | 0 | tensorchord/pgvecto-rs:pg14-v0.2.0 | normal |
| `immich_machine_learning` | 0 | ghcr.io/immich-app/immich-machine-learning:v2.4. | normal |
| `jackett` | 124 | lscr.io/linuxserver/jackett:latest | normal |
| `jellyfin` | 103 | jellyfin/jellyfin:latest | normal |
| `lidarr` | 111 | ghcr.nju.edu.cn/linuxserver/lidarr:latest | normal |
| `navidrome` | 125 | deluan/navidrome:latest | normal |
@@ -49,7 +49,7 @@
| `sonarr` | 117 | lscr.io/linuxserver/sonarr:latest | normal |
| `tautulli` | 122 | tautulli/tautulli:latest | normal |
## Знания (12)
## Знания (13)
| Сервис | CT | Образ | Критичность |
|---|---|---|---|
@@ -65,6 +65,7 @@
| `paperless_redis` | 105 | redis:7-alpine | normal |
| `syncthing` | 105 | lscr.io/linuxserver/syncthing:latest | normal |
| `syncthing` | 139 | syncthing/syncthing:latest | normal |
| `vikunja` | 110 | vikunja/vikunja:latest | high |
## Автоматизация (6)