[B-11] RAG: pgvector + эмбеддинги Ollama, маршрут /rag
This commit is contained in:
1 parent
7bc61d3d93
commit
73f565cbdc
3 files changed
+110
-1
No files matched your search
+1
-1
@@ -21,7 +21,7 @@
|
||||
| B-08 | **gPodder** | подкасты | низкая |
|
||||
| B-09 | **NetBox** | ✅ развёрнут (CT103:8080), `admin`/`Netbox2026!` | — |
|
||||
| B-10 | **Renovate** | ✅ таймер 03:30, 4 файла и 3 зависимости найдены | — |
|
||||
| B-11 | **Memex/RAG** (pgvector) | семантический поиск по документам | высокая |
|
||||
| B-11 | **RAG** | ✅ pgvector + nomic-embed-text, `/rag?q=`, `ops/hub/RAG.md` | — |
|
||||
| B-12 | **Monica** | ✅ развёрнута (CT110:8081) | — |
|
||||
| B-13 | **Outline/Docmost** | база знаний для работы | высокая |
|
||||
|
||||
|
||||
@@ -1461,3 +1461,60 @@ unknown
|
||||
[2026-10-21 18:00:20] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
|
||||
[2026-10-21 18:00:20] нет данных Docker Hub: vaultwarden/server:latest:latest
|
||||
[2026-10-21 18:00:21] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0
|
||||
[2026-10-22 00:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest:latest
|
||||
[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
|
||||
[2026-10-22 00:00:05] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
|
||||
[2026-10-22 00:00:05] нет данных Docker Hub: linuxserver/calibre-web:latest:latest
|
||||
[2026-10-22 00:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest
|
||||
[2026-10-22 00:00:08] изменение: firefly — было dig, стало latest (обновлён) (fireflyiii/core)
|
||||
[2026-10-22 00:00:08] не удалось отправить уведомление для firefly
|
||||
[2026-10-22 00:00:08] нет данных Docker Hub: freshrss/freshrss:latest:latest
|
||||
[2026-10-22 00:00:09] нет данных Docker Hub: gitea/gitea:latest:latest
|
||||
[2026-10-22 00:00:09] нет данных Docker Hub: grafana/grafana:latest:latest
|
||||
[2026-10-22 00:00:09] нет данных Docker Hub: unknown:unknown
|
||||
[2026-10-22 00:00:09] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable
|
||||
[2026-10-22 00:00:09] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
|
||||
[2026-10-22 00:00:10] нет данных Docker Hub: sissbruecker/linkding:latest:latest
|
||||
[2026-10-22 00:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
|
||||
[2026-10-22 00:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
|
||||
[2026-10-22 00:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
|
||||
[2026-10-22 00:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest
|
||||
[2026-10-22 00:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest
|
||||
[2026-10-22 00:00:13] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
|
||||
[2026-10-22 00:00:13] не удалось отправить уведомление для nextcloud
|
||||
[2026-10-22 00:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
|
||||
[2026-10-22 00:00:13] не удалось отправить уведомление для node_red
|
||||
[2026-10-22 00:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: lscr.io/linuxserver/overseerr:latest:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
|
||||
[2026-10-22 00:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: prom/prometheus:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest
|
||||
[2026-10-22 00:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest
|
||||
[2026-10-22 00:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
|
||||
[2026-10-22 00:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
|
||||
[2026-10-22 00:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest
|
||||
[2026-10-22 00:00:17] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0
|
||||
@@ -0,0 +1,52 @@
|
||||
# Семантический поиск по документам (B-11)
|
||||
|
||||
## Что сделано
|
||||
|
||||
| Компонент | Где |
|
||||
|---|---|
|
||||
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
|
||||
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
|
||||
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
|
||||
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
|
||||
| Ответы | `/rag?q=...` в hub-core, модель `qwen2.5:3b` |
|
||||
|
||||
## Как работает
|
||||
|
||||
1. Документ режется на фрагменты по 2500–3000 символов.
|
||||
2. Каждый фрагмент превращается в вектор через Ollama.
|
||||
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
|
||||
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
|
||||
с указанием источников.
|
||||
|
||||
## Источники (v1)
|
||||
|
||||
- `ops/**/*.md` — документация репозитория;
|
||||
- заметки Memos (SQLite из CT110).
|
||||
|
||||
## Проверка
|
||||
|
||||
```bash
|
||||
cd /opt/hub-core
|
||||
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
|
||||
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
|
||||
```
|
||||
|
||||
## Ловушки
|
||||
|
||||
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
|
||||
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
|
||||
а не по 1000.
|
||||
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
|
||||
прерывании теряется всё (транзакция откатывается).
|
||||
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
|
||||
падает с `UnicodeEncodeError`.
|
||||
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
|
||||
на `/rag`.
|
||||
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
|
||||
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
|
||||
|
||||
## Что дальше
|
||||
|
||||
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
|
||||
- Инкрементальная индексация по времени изменения файла.
|
||||
- Вечерний отчёт: «добавлено N фрагментов».
|
||||
Reference in new issue
Block a user