417 lines
18 KiB
Markdown
417 lines
18 KiB
Markdown
# Единый вход: фактическая проверка (21.10.2026)
|
||
|
||
Проверено не по документации, а запросами к каждому домену:
|
||
куда ведёт первый редирект, есть ли признаки OIDC.
|
||
|
||
## Итог
|
||
|
||
| Тип | Сколько | Домены |
|
||
|---|---|---|
|
||
| **SSO через forward-auth** | **19** | backup, bazarr, books, docs, element, finance, flow, grocy, home, hub, links, music, news, openclaw, prowlarr, radarr, rss, sonarr, status |
|
||
| **OIDC внутри сервиса** | **3** | vikunja, homebox, meals |
|
||
| **Свой вход** | **10** | adguard, files (Nextcloud), matrix, n8n, ombi, plex, immich, sync (Syncthing), vault (Vaultwarden), headscale |
|
||
| **Собственный UI Authentik** | 1 | admin |
|
||
| **Редиректы на другие домены** | 4 | chat→element, recipes→meals, requests→ombi, turn→call |
|
||
|
||
**Всего под SSO: 22 из 33 доменов с сервисами.**
|
||
|
||
## Где я ошибался раньше
|
||
|
||
Отчёт `ops/registry/COVERAGE.md` строился по строкам портов в реестре.
|
||
У сервисов внутри CT портов нет — и они попали в «без SSO» ошибочно.
|
||
Фактически большинство из них уже за oauth2-proxy.
|
||
|
||
## Что действительно без SSO
|
||
|
||
| Сервис | Почему |
|
||
|---|---|
|
||
| `plex` | свой вход, OIDC не поддерживает |
|
||
| `immich` | свой вход (API 401) |
|
||
| `syncthing` | свой вход |
|
||
| `vaultwarden` | свой вход (сознательно: хранилище паролей) |
|
||
| `adguard` | свой вход |
|
||
| `nextcloud` (files) | свой вход, OIDC-плагин не установлен |
|
||
| `n8n` | свой вход + свой `hub-login` |
|
||
| `ombi` | свой вход |
|
||
| `matrix` | отдельная система, свой вход — **так и задумано** |
|
||
| `headscale` | служебный |
|
||
|
||
## Gitea
|
||
|
||
Кнопка Authentik есть, локальный вход работает. Проверено владельцем:
|
||
вход через SSO работает.
|
||
|
||
## Вывод
|
||
|
||
Единый вход покрывает **основную часть сервисов**. Оставшиеся 10 —
|
||
либо сознательно отдельные (Matrix, Vaultwarden), либо не поддерживают OIDC
|
||
(Plex, Immich, Syncthing, Ombi).
|
||
|
||
|
||
---
|
||
|
||
# SSO: Memos и Stirling PDF (итог)
|
||
|
||
## Memos — нативный SSO
|
||
|
||
Memos умеет OIDC через своего провайдера идентификации.
|
||
|
||
| Что | Значение |
|
||
|---|---|
|
||
| Провайдер в Authentik | `provider-memos-sso`, приложение `memos-sso` |
|
||
| Redirect URI | `https://memo.buryans.ru/auth/callback` |
|
||
| IdP в Memos | `idp` таблица: `uid=authentik`, `type=OAUTH2` |
|
||
| Админ Memos | `admin` (восстановлен через SQL) |
|
||
| Прокси | **остановлен**, домен идёт напрямую в Memos |
|
||
|
||
Проверка: `https://memo.buryans.ru` → 200, на странице есть кнопка SSO.
|
||
|
||
## Stirling PDF — SSO через прокси
|
||
|
||
| Что | Значение |
|
||
|---|---|
|
||
| Провайдер | `provider-stirling`, приложение `stirling` |
|
||
| Прокси | `oauth2-proxy-stirling` на 8090 |
|
||
| Собственный вход | **отключён**: `SECURITY_ENABLELOGIN=false` |
|
||
|
||
Проверка: `https://pdf.buryans.ru` → 302 на Authentik, после входа — сразу приложение.
|
||
|
||
## Ловушки (все три стоили времени)
|
||
|
||
1. **API Memos игнорирует поля IdP.** POST `/api/v1/identity-providers`
|
||
создаёт запись с `type=TYPE_UNSPECIFIED`, `title=""`, `config={}`.
|
||
Рабочий способ — прямая вставка в таблицу `idp`.
|
||
2. **SQL-пароль в кавычках.** `sqlite3` с двойными кавычками падает:
|
||
`no such column: "$2a$12$..."`. Только одинарные кавычки, через файл.
|
||
3. **`pct exec … < файл` не видит хостовый файл.** Сначала `pct push`
|
||
в контейнер, потом читать.
|
||
|
||
## Итог по SSO
|
||
|
||
| Тип | Кол-во |
|
||
|---|---|
|
||
| forward-auth (oauth2-proxy) | 20 |
|
||
| OIDC внутри сервиса | 4 (vikunja, homebox, meals, memos) |
|
||
| свой вход | 9 |
|
||
|
||
## Закрытие прямого доступа (важно)
|
||
|
||
Пока порт приложения открыт в LAN, SSO можно обойти: `http://192.168.1.110:8089`
|
||
открывался мимо прокси. Исправлено:
|
||
|
||
| Сервис | Было | Стало |
|
||
|---|---|---|
|
||
| Stirling | `0.0.0.0:8089` | `127.0.0.1:8089` (только для прокси) |
|
||
| oauth2-proxy-stirling | порт 8090 через mapping | `network_mode: host`, слушает 8090 |
|
||
| oauth2-proxy-memos | порт 5231 | остановлен, не нужен (нативный SSO) |
|
||
|
||
Проверка:
|
||
|
||
```
|
||
8089 закрыт (в обход SSO не зайти)
|
||
8090 открыт (это прокси, отдаёт 302 на Authentik)
|
||
pdf.buryans.ru → 302 → Authentik
|
||
memo.buryans.ru → 200, кнопка Authentik
|
||
```
|
||
|
||
## Ловушка
|
||
|
||
Если убрать `ports` у сервиса, но оставить ключ `ports:` пустым, compose
|
||
падает: `services.X.ports must be a array`. Удалять нужно саму строку.
|
||
|
||
## Настоящая причина «SSO нет»: порт 80
|
||
|
||
Домашний nginx отдавал на порту 80 **дефолтный сервер**
|
||
(«Welcome to nginx!»), потому что для новых доменов не было блока `listen 80`.
|
||
Заходишь по `http://pdf.buryans.ru` — HTTPS, прокси и SSO не участвуют.
|
||
|
||
Исправлено: добавлены блоки с редиректом.
|
||
|
||
```
|
||
http://pdf.buryans.ru → 301 https://pdf.buryans.ru/
|
||
http://memo.buryans.ru → 301 https://memo.buryans.ru/
|
||
https://pdf.buryans.ru → 302 https://authentik.buryans.ru/...
|
||
```
|
||
|
||
## Правило при публикации нового домена
|
||
|
||
1. VPS: блок `listen 80` с ACME + 301 на https.
|
||
2. Домашний nginx: **тоже** блок `listen 80` с 301 на https.
|
||
3. Только потом `listen 443` с прокси на SSO.
|
||
4. Проверять **оба** протокола: `http://` и `https://`.
|
||
|
||
Без шага 2 домен открывается по HTTP в обход всего.
|
||
|
||
|
||
---
|
||
|
||
# Vikunja: ошибка «поставщик OpenID не предоставил email»
|
||
|
||
## Симптом
|
||
|
||
После входа через Authentik Vikunja показывает:
|
||
|
||
> Поставщик OpenID не предоставил адрес электронной почты.
|
||
|
||
## Причина
|
||
|
||
В переменных Vikunja стояло:
|
||
|
||
```
|
||
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid
|
||
```
|
||
|
||
Только `openid` — без `email` и `profile`. Authentik физически не отдавал
|
||
адрес почты, потому что его не запрашивали.
|
||
|
||
Скоуп в провайдере Authentik при этом был правильный
|
||
(`email`, `profile`, `openid`) — проблема была на стороне клиента.
|
||
|
||
## Исправление
|
||
|
||
```
|
||
VIKUNJA_AUTH_OPENID_PROVIDERS_AUTHENTIK_SCOPE=openid profile email
|
||
```
|
||
|
||
## Ловушка
|
||
|
||
**Vikunja запущена через `docker run`, а не compose.** В
|
||
`/opt/lifestyle-lxc/docker-compose.yml` её нет — правка compose ничего
|
||
не даёт. Пересоздавать нужно через `docker run` с теми же томами:
|
||
|
||
```
|
||
-v /opt/lifestyle-lxc/vikunja/files:/app/vikunja/files
|
||
-v /opt/lifestyle-lxc/vikunja/db:/db
|
||
-p 9285:3456
|
||
```
|
||
|
||
## Проверка
|
||
|
||
```
|
||
docker inspect vikunja | grep SCOPE → openid profile email
|
||
локально: 200, домен: 200
|
||
```
|
||
|
||
|
||
---
|
||
|
||
# SSO для Memos и Stirling PDF
|
||
|
||
## Схема
|
||
|
||
Как у остальных сервисов: oauth2-proxy перед приложением.
|
||
|
||
```
|
||
интернет → VPS nginx (443) → домашний LAN
|
||
→ oauth2-proxy-memos :5231 → memos :5230
|
||
→ oauth2-proxy-stirling :8090 → stirling :8089
|
||
```
|
||
|
||
## Что сделано
|
||
|
||
| Шаг | Результат |
|
||
|---|---|
|
||
| Провайдеры в Authentik | `provider-memos`, `provider-stirling` |
|
||
| Приложения | `memos`, `stirling` |
|
||
| Redirect URI | `https://memo.buryans.ru/oauth2/callback`, `https://pdf.buryans.ru/oauth2/callback` |
|
||
| Контейнеры прокси | `oauth2-proxy-memos` (5231), `oauth2-proxy-stirling` (8090) |
|
||
| Домашний nginx | домены → прокси, а не напрямую |
|
||
| VPS nginx | проксирует на порты SSO, а не на приложение |
|
||
|
||
## Проверка
|
||
|
||
```
|
||
memo.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=KqfJv…
|
||
pdf.buryans.ru → 302 https://authentik.buryans.ru/application/o/authorize/?client_id=BWqb2…
|
||
```
|
||
|
||
## Ловушки
|
||
|
||
1. **Недостаточно закрыть домашний nginx**: VPS проксировал напрямую на порт
|
||
приложения и обходил SSO. Менять надо **оба** nginx.
|
||
2. Провайдер в Authentik требует `authorization_flow` и `invalidation_flow`,
|
||
а `redirect_uris` — список объектов, не строка.
|
||
3. oauth2-proxy в CT110 требует `DOCKER_API_VERSION=1.41`.
|
||
|
||
## Инцидент: 500 на /oauth2/callback
|
||
|
||
**Симптом:** после входа в Authentik прокси отдавал 500
|
||
«Внутренняя ошибка сервера».
|
||
|
||
**В логах:**
|
||
|
||
```
|
||
Error redeeming code during OAuth2 callback:
|
||
could not verify id_token: failed to verify signature
|
||
```
|
||
|
||
**Причина:** провайдеры, созданные через API, получили
|
||
`signing_key = None`. Authentik не подписывал id_token известным ключом,
|
||
и oauth2-proxy не мог проверить подпись.
|
||
|
||
**Исправление:**
|
||
|
||
```python
|
||
PATCH /providers/oauth2/{pk}/
|
||
{"signing_key": "<pk сертификата authentik Self-signed Certificate>"}
|
||
```
|
||
|
||
После назначения ключа JWKS отдаёт 1 ключ, подпись проверяется.
|
||
|
||
**Правило:** при создании OAuth2-провайдера через API **всегда** указывать
|
||
`signing_key`, иначе вход падает на проверке подписи.
|
||
|
||
|
||
---
|
||
|
||
# Семантический поиск по документам (B-11)
|
||
|
||
## Что сделано
|
||
|
||
| Компонент | Где |
|
||
|---|---|
|
||
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
|
||
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
|
||
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
|
||
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
|
||
| Ответы | `/rag?q=...` (генерация) и `&mode=find` (поиск) |
|
||
|
||
## Как работает
|
||
|
||
1. Документ режется на фрагменты по 2500–3000 символов.
|
||
2. Каждый фрагмент превращается в вектор через Ollama.
|
||
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
|
||
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
|
||
с указанием источников.
|
||
|
||
## Источники (v1)
|
||
|
||
- `ops/**/*.md` — документация репозитория;
|
||
- заметки Memos (SQLite из CT110).
|
||
|
||
## Проверка
|
||
|
||
```bash
|
||
cd /opt/hub-core
|
||
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
|
||
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
|
||
```
|
||
|
||
## Ловушки
|
||
|
||
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
|
||
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
|
||
а не по 1000.
|
||
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
|
||
прерывании теряется всё (транзакция откатывается).
|
||
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
|
||
падает с `UnicodeEncodeError`.
|
||
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
|
||
на `/rag`.
|
||
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
|
||
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
|
||
|
||
## Что дальше
|
||
|
||
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
|
||
- Инкрементальная индексация по времени изменения файла.
|
||
- Вечерний отчёт: «добавлено N фрагментов».
|
||
|
||
## Режимы работы
|
||
|
||
| Режим | Запрос | Время | Что делает |
|
||
|---|---|---|---|
|
||
| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации |
|
||
| Ответ | `/rag?q=...` | минуты | поиск + генерация моделью |
|
||
|
||
**Проверено на живом примере**: вопрос «как устроен Beszel» →
|
||
первый результат `ops/ops/BESZEL.md#0` со счётом 0.63.
|
||
|
||
## Ограничение: генерация на CPU
|
||
|
||
`qwen2.5:3b` на этой машине генерирует ответ дольше 10 минут при
|
||
текущей нагрузке (память в свопе). Поэтому:
|
||
|
||
- **поиск использовать можно** — он быстрый и полезный;
|
||
- **генерацию** — только когда освободится память, либо перейти
|
||
на `qwen2.5:0.5b`/`1.5b`.
|
||
|
||
После работы модель выгружается (`keep_alive=0`), чтобы не держать
|
||
1.2 ГБ в памяти.
|
||
|
||
|
||
## Замеры Ollama на этом железе (22.10)
|
||
|
||
CT160: 2 ядра, 4 ГБ, CPU-only.
|
||
|
||
| Операция | Результат |
|
||
|---|---|
|
||
| Обработка промпта | ~45 токенов/с |
|
||
| Промпт 1000 токенов | ~22 с только на чтение |
|
||
| Генерация 1 токена после этого | до 118 с |
|
||
| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент |
|
||
|
||
**Вывод**: генерация ответов здесь непрактична. Поиск — работает
|
||
и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация
|
||
доступна через `&mode=ask` (для тех случаев, когда можно подождать).
|
||
|
||
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже
|
||
поставлена), либо вынести LLM на отдельную машину.
|
||
|
||
## Источники (обновлено 22.10)
|
||
|
||
| Источник | Что | Фрагментов |
|
||
|---|---|---|
|
||
| `ops/**/*.md` | документация репозитория | **292** |
|
||
| Memos | заметки семьи | 0 (заметок пока нет) |
|
||
| Paperless | тексты документов | 0 (документов пока нет) |
|
||
|
||
Источник Paperless добавлен в код (`index_paperless`): как только
|
||
в Paperless появятся документы, они попадут в индекс при следующей
|
||
переиндексации.
|
||
|
||
## Переиндексация
|
||
|
||
- **Еженедельно**: `hub-rag.timer`, воскресенье 04:00, полный проход
|
||
`rag.py index` (может идти до часа — это нормально).
|
||
- **Вручную**: `cd /opt/hub-core && python rag.py index`.
|
||
|
||
|
||
---
|
||
|
||
# Обучение агента: подсказки по повторяющимся сбоям (B-21)
|
||
|
||
## Что добавлено
|
||
|
||
1. **Дедупликация причин.** Раньше в памяти копилось
|
||
`["docker state: exited", "docker state: exited", ...]` —
|
||
теперь одинаковые подряд не дублируются.
|
||
2. **Словарь решений `SOLUTIONS`.** Для типовых сбоев агент печатает
|
||
подсказку рядом с проблемой.
|
||
3. **Поле `hint` в отчёте** (`/var/lib/hub-agents/journal/<дата>-runner.json`).
|
||
|
||
## Таблица подсказок
|
||
|
||
| Причина | Подсказка |
|
||
|---|---|
|
||
| `exited` | перезапустить контейнер; если повторяется — смотреть логи и память CT |
|
||
| `restarting` | чаще всего права на том или конфликт порта |
|
||
| `no space` | `docker system prune` и ротация логов |
|
||
| `permission denied` | `chown` тома после пересоздания контейнера |
|
||
| `connection refused` | сервис не слушает порт: проверить процесс и `ss -ltn` |
|
||
| `не в статусе` | нет `/health`: проверить nginx-прокси и порт |
|
||
| `cert` | `certbot renew` и копирование в `/etc/nginx/certs` |
|
||
|
||
## Пример вывода
|
||
|
||
```
|
||
✗ freshrss (CT111, сбоев 3): docker state: exited
|
||
→ перезапустить контейнер: healthcheck в CT делает это сам;
|
||
если повторяется — смотреть docker logs и память CT
|
||
```
|
||
|
||
## Что дальше
|
||
|
||
- Копить статистику: какая подсказка реально помогла (флаг `resolved_by`).
|
||
- Ограничить автоматические действия классом B (уже сделано в `actions.py`).
|