Files
buryan-wiki/SSO.md
T
2026-10-22 05:17:47 +03:00

417 lines
18 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Единый вход: фактическая проверка (21.10.2026)
Проверено не по документации, а запросами к каждому домену:
куда ведёт первый редирект, есть ли признаки OIDC.
## Итог
| Тип | Сколько | Домены |
|---|---|---|
| **SSO через forward-auth** | **19** | backup, bazarr, books, docs, element, finance, flow, grocy, home, hub, links, music, news, openclaw, prowlarr, radarr, rss, sonarr, status |
| **OIDC внутри сервиса** | **3** | vikunja, homebox, meals |
| **Свой вход** | **10** | adguard, files (Nextcloud), matrix, n8n, ombi, plex, immich, sync (Syncthing), vault (Vaultwarden), headscale |
| **Собственный UI Authentik** | 1 | admin |
| **Редиректы на другие домены** | 4 | chat→element, recipes→meals, requests→ombi, turn→call |
**Всего под SSO: 22 из 33 доменов с сервисами.**
## Где я ошибался раньше
Отчёт `ops/registry/COVERAGE.md` строился по строкам портов в реестре.
У сервисов внутри CT портов нет — и они попали в «без SSO» ошибочно.
Фактически большинство из них уже за oauth2-proxy.
## Что действительно без SSO
| Сервис | Почему |
|---|---|
| `plex` | свой вход, OIDC не поддерживает |
| `immich` | свой вход (API 401) |
| `syncthing` | свой вход |
| `vaultwarden` | свой вход (сознательно: хранилище паролей) |
| `adguard` | свой вход |
| `nextcloud` (files) | свой вход, OIDC-плагин не установлен |
| `n8n` | свой вход + свой `hub-login` |
| `ombi` | свой вход |
| `matrix` | отдельная система, свой вход — **так и задумано** |
| `headscale` | служебный |
## Gitea
Кнопка Authentik есть, локальный вход работает. Проверено владельцем:
вход через SSO работает.
## Вывод
Единый вход покрывает **основную часть сервисов**. Оставшиеся 10 —
либо сознательно отдельные (Matrix, Vaultwarden), либо не поддерживают OIDC
(Plex, Immich, Syncthing, Ombi).
---
# SSO: Memos и Stirling PDF (итог)
## Memos — нативный SSO
Memos умеет OIDC через своего провайдера идентификации.
| Что | Значение |
|---|---|
| Провайдер в Authentik | `provider-memos-sso`, приложение `memos-sso` |
| Redirect URI | `https://memo.buryans.ru/auth/callback` |
| IdP в Memos | `idp` таблица: `uid=authentik`, `type=OAUTH2` |
| Админ Memos | `admin` (восстановлен через SQL) |
| Прокси | **остановлен**, домен идёт напрямую в Memos |
Проверка: `https://memo.buryans.ru` → 200, на странице есть кнопка SSO.
## Stirling PDF — SSO через прокси
| Что | Значение |
|---|---|
| Провайдер | `provider-stirling`, приложение `stirling` |
| Прокси | `oauth2-proxy-stirling` на 8090 |
| Собственный вход | **отключён**: `SECURITY_ENABLELOGIN=false` |
Проверка: `https://pdf.buryans.ru` → 302 на Authentik, после входа — сразу приложение.
## Ловушки (все три стоили времени)
1. **API Memos игнорирует поля IdP.** POST `/api/v1/identity-providers`
создаёт запись с `type=TYPE_UNSPECIFIED`, `title=""`, `config={}`.
Рабочий способ — прямая вставка в таблицу `idp`.
2. **SQL-пароль в кавычках.** `sqlite3` с двойными кавычками падает:
`no such column: "$2a$12$..."`. Только одинарные кавычки, через файл.
3. **`pct exec … < файл` не видит хостовый файл.** Сначала `pct push`
в контейнер, потом читать.
## Итог по SSO
| Тип | Кол-во |
|---|---|
| forward-auth (oauth2-proxy) | 20 |
| OIDC внутри сервиса | 4 (vikunja, homebox, meals, memos) |
| свой вход | 9 |
## Закрытие прямого доступа (важно)
Пока порт приложения открыт в LAN, SSO можно обойти: `http://192.168.1.110:8089`
открывался мимо прокси. Исправлено:
| Сервис | Было | Стало |
|---|---|---|
| Stirling | `0.0.0.0:8089` | `127.0.0.1:8089` (только для прокси) |
| oauth2-proxy-stirling | порт 8090 через mapping | `network_mode: host`, слушает 8090 |
| oauth2-proxy-memos | порт 5231 | остановлен, не нужен (нативный SSO) |
Проверка:
```
8089 закрыт (в обход SSO не зайти)
8090 открыт (это прокси, отдаёт 302 на Authentik)
pdf.buryans.ru → 302 → Authentik
memo.buryans.ru → 200, кнопка Authentik
```
## Ловушка
Если убрать `ports` у сервиса, но оставить ключ `ports:` пустым, compose
падает: `services.X.ports must be a array`. Удалять нужно саму строку.
## Настоящая причина «SSO нет»: порт 80
Домашний nginx отдавал на порту 80 **дефолтный сервер**
(«Welcome to nginx!»), потому что для новых доменов не было блока `listen 80`.
Заходишь по `http://pdf.buryans.ru` — HTTPS, прокси и SSO не участвуют.
Исправлено: добавлены блоки с редиректом.
```
http://pdf.buryans.ru → 301 https://pdf.buryans.ru/
http://memo.buryans.ru → 301 https://memo.buryans.ru/
https://pdf.buryans.ru → 302 https://authentik.buryans.ru/...
```
## Правило при публикации нового домена
1. VPS: блок `listen 80` с ACME + 301 на https.
2. Домашний nginx: **тоже** блок `listen 80` с 301 на https.
3. Только потом `listen 443` с прокси на SSO.
4. Проверять **оба** протокола: `http://` и `https://`.
Без шага 2 домен открывается по HTTP в обход всего.
---
# Vikunja: ошибка «поставщик OpenID не предоставил email»
## Симптом
После входа через Authentik Vikunja показывает:
> Поставщик OpenID не предоставил адрес электронной почты.
## Причина
В переменных Vikunja стояло:
```
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid
```
Только `openid` — без `email` и `profile`. Authentik физически не отдавал
адрес почты, потому что его не запрашивали.
Скоуп в провайдере Authentik при этом был правильный
(`email`, `profile`, `openid`) — проблема была на стороне клиента.
## Исправление
```
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid profile email
```
## Ловушка
**Vikunja запущена через `docker run`, а не compose.** В
`/opt/lifestyle-lxc/docker-compose.yml` её нет — правка compose ничего
не даёт. Пересоздавать нужно через `docker run` с теми же томами:
```
-v /opt/lifestyle-lxc/vikunja/files:/app/vikunja/files
-v /opt/lifestyle-lxc/vikunja/db:/db
-p 9285:3456
```
## Проверка
```
docker inspect vikunja | grep SCOPE → openid profile email
локально: 200, домен: 200
```
---
# SSO для Memos и Stirling PDF
## Схема
Как у остальных сервисов: oauth2-proxy перед приложением.
```
интернет → VPS nginx (443) → домашний LAN
→ oauth2-proxy-memos :5231 → memos :5230
→ oauth2-proxy-stirling :8090 → stirling :8089
```
## Что сделано
| Шаг | Результат |
|---|---|
| Провайдеры в Authentik | `provider-memos`, `provider-stirling` |
| Приложения | `memos`, `stirling` |
| Redirect URI | `https://memo.buryans.ru/oauth2/callback`, `https://pdf.buryans.ru/oauth2/callback` |
| Контейнеры прокси | `oauth2-proxy-memos` (5231), `oauth2-proxy-stirling` (8090) |
| Домашний nginx | домены → прокси, а не напрямую |
| VPS nginx | проксирует на порты SSO, а не на приложение |
## Проверка
```
memo.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=KqfJv…
pdf.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=BWqb2…
```
## Ловушки
1. **Недостаточно закрыть домашний nginx**: VPS проксировал напрямую на порт
приложения и обходил SSO. Менять надо **оба** nginx.
2. Провайдер в Authentik требует `authorization_flow` и `invalidation_flow`,
а `redirect_uris` — список объектов, не строка.
3. oauth2-proxy в CT110 требует `DOCKER_API_VERSION=1.41`.
## Инцидент: 500 на /oauth2/callback
**Симптом:** после входа в Authentik прокси отдавал 500
«Внутренняя ошибка сервера».
**В логах:**
```
Error redeeming code during OAuth2 callback:
could not verify id_token: failed to verify signature
```
**Причина:** провайдеры, созданные через API, получили
`signing_key = None`. Authentik не подписывал id_token известным ключом,
и oauth2-proxy не мог проверить подпись.
**Исправление:**
```python
PATCH /providers/oauth2/{pk}/
{"signing_key": "<pk сертификата authentik Self-signed Certificate>"}
```
После назначения ключа JWKS отдаёт 1 ключ, подпись проверяется.
**Правило:** при создании OAuth2-провайдера через API **всегда** указывать
`signing_key`, иначе вход падает на проверке подписи.
---
# Семантический поиск по документам (B-11)
## Что сделано
| Компонент | Где |
|---|---|
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
| Ответы | `/rag?q=...` (генерация) и `&mode=find` (поиск) |
## Как работает
1. Документ режется на фрагменты по 2500–3000 символов.
2. Каждый фрагмент превращается в вектор через Ollama.
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
с указанием источников.
## Источники (v1)
- `ops/**/*.md` — документация репозитория;
- заметки Memos (SQLite из CT110).
## Проверка
```bash
cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
```
## Ловушки
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
а не по 1000.
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
прерывании теряется всё (транзакция откатывается).
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
падает с `UnicodeEncodeError`.
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
на `/rag`.
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
## Что дальше
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
- Инкрементальная индексация по времени изменения файла.
- Вечерний отчёт: «добавлено N фрагментов».
## Режимы работы
| Режим | Запрос | Время | Что делает |
|---|---|---|---|
| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации |
| Ответ | `/rag?q=...` | минуты | поиск + генерация моделью |
**Проверено на живом примере**: вопрос «как устроен Beszel» →
первый результат `ops/ops/BESZEL.md#0` со счётом 0.63.
## Ограничение: генерация на CPU
`qwen2.5:3b` на этой машине генерирует ответ дольше 10 минут при
текущей нагрузке (память в свопе). Поэтому:
- **поиск использовать можно** — он быстрый и полезный;
- **генерацию** — только когда освободится память, либо перейти
на `qwen2.5:0.5b`/`1.5b`.
После работы модель выгружается (`keep_alive=0`), чтобы не держать
1.2 ГБ в памяти.
## Замеры Ollama на этом железе (22.10)
CT160: 2 ядра, 4 ГБ, CPU-only.
| Операция | Результат |
|---|---|
| Обработка промпта | ~45 токенов/с |
| Промпт 1000 токенов | ~22 с только на чтение |
| Генерация 1 токена после этого | до 118 с |
| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент |
**Вывод**: генерация ответов здесь непрактична. Поиск — работает
и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация
доступна через `&mode=ask` (для тех случаев, когда можно подождать).
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже
поставлена), либо вынести LLM на отдельную машину.
## Источники (обновлено 22.10)
| Источник | Что | Фрагментов |
|---|---|---|
| `ops/**/*.md` | документация репозитория | **292** |
| Memos | заметки семьи | 0 (заметок пока нет) |
| Paperless | тексты документов | 0 (документов пока нет) |
Источник Paperless добавлен в код (`index_paperless`): как только
в Paperless появятся документы, они попадут в индекс при следующей
переиндексации.
## Переиндексация
- **Еженедельно**: `hub-rag.timer`, воскресенье 04:00, полный проход
`rag.py index` (может идти до часа — это нормально).
- **Вручную**: `cd /opt/hub-core && python rag.py index`.
---
# Обучение агента: подсказки по повторяющимся сбоям (B-21)
## Что добавлено
1. **Дедупликация причин.** Раньше в памяти копилось
`["docker state: exited", "docker state: exited", ...]` —
теперь одинаковые подряд не дублируются.
2. **Словарь решений `SOLUTIONS`.** Для типовых сбоев агент печатает
подсказку рядом с проблемой.
3. **Поле `hint` в отчёте** (`/var/lib/hub-agents/journal/<дата>-runner.json`).
## Таблица подсказок
| Причина | Подсказка |
|---|---|
| `exited` | перезапустить контейнер; если повторяется — смотреть логи и память CT |
| `restarting` | чаще всего права на том или конфликт порта |
| `no space` | `docker system prune` и ротация логов |
| `permission denied` | `chown` тома после пересоздания контейнера |
| `connection refused` | сервис не слушает порт: проверить процесс и `ss -ltn` |
| `не в статусе` | нет `/health`: проверить nginx-прокси и порт |
| `cert` | `certbot renew` и копирование в `/etc/nginx/certs` |
## Пример вывода
```
✗ freshrss (CT111, сбоев 3): docker state: exited
→ перезапустить контейнер: healthcheck в CT делает это сам;
если повторяется — смотреть docker logs и память CT
```
## Что дальше
- Копить статистику: какая подсказка реально помогла (флаг `resolved_by`).
- Ограничить автоматические действия классом B (уже сделано в `actions.py`).