[B-11] RAG: pgvector + эмбеддинги Ollama, маршрут /rag

This commit is contained in:
buryan-agent committed 2026-10-22 00:23:22 +03:00
1 parent 7bc61d3d93
commit 73f565cbdc
3 files changed
+110 -1

No files matched your search

+1 -1
View File
@@ -21,7 +21,7 @@
| B-08 | **gPodder** | подкасты | низкая |
| B-09 | **NetBox** | ✅ развёрнут (CT103:8080), `admin`/`Netbox2026!` | — |
| B-10 | **Renovate** | ✅ таймер 03:30, 4 файла и 3 зависимости найдены | — |
| B-11 | **Memex/RAG** (pgvector) | семантический поиск по документам | высокая |
| B-11 | **RAG** | ✅ pgvector + nomic-embed-text, `/rag?q=`, `ops/hub/RAG.md` | — |
| B-12 | **Monica** | ✅ развёрнута (CT110:8081) | — |
| B-13 | **Outline/Docmost** | база знаний для работы | высокая |
+57
View File
@@ -1461,3 +1461,60 @@ unknown
[2026-10-21 18:00:20] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
[2026-10-21 18:00:20] нет данных Docker Hub: vaultwarden/server:latest:latest
[2026-10-21 18:00:21] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0
[2026-10-22 00:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest:latest
[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest
[2026-10-22 00:00:05] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest
[2026-10-22 00:00:05] нет данных Docker Hub: linuxserver/calibre-web:latest:latest
[2026-10-22 00:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest
[2026-10-22 00:00:08] изменение: firefly — было dig, стало latest (обновлён) (fireflyiii/core)
[2026-10-22 00:00:08] не удалось отправить уведомление для firefly
[2026-10-22 00:00:08] нет данных Docker Hub: freshrss/freshrss:latest:latest
[2026-10-22 00:00:09] нет данных Docker Hub: gitea/gitea:latest:latest
[2026-10-22 00:00:09] нет данных Docker Hub: grafana/grafana:latest:latest
[2026-10-22 00:00:09] нет данных Docker Hub: unknown:unknown
[2026-10-22 00:00:09] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable
[2026-10-22 00:00:09] нет данных Docker Hub: jellyfin/jellyfin:latest:latest
[2026-10-22 00:00:10] нет данных Docker Hub: sissbruecker/linkding:latest:latest
[2026-10-22 00:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest
[2026-10-22 00:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest
[2026-10-22 00:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest
[2026-10-22 00:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest
[2026-10-22 00:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest
[2026-10-22 00:00:13] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud)
[2026-10-22 00:00:13] не удалось отправить уведомление для nextcloud
[2026-10-22 00:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red)
[2026-10-22 00:00:13] не удалось отправить уведомление для node_red
[2026-10-22 00:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest
[2026-10-22 00:00:14] нет данных Docker Hub: lscr.io/linuxserver/overseerr:latest:latest
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest
[2026-10-22 00:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: prom/prometheus:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest
[2026-10-22 00:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest
[2026-10-22 00:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest
[2026-10-22 00:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest
[2026-10-22 00:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest
[2026-10-22 00:00:17] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0
+52
View File
@@ -0,0 +1,52 @@
# Семантический поиск по документам (B-11)
## Что сделано
| Компонент | Где |
|---|---|
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
| Ответы | `/rag?q=...` в hub-core, модель `qwen2.5:3b` |
## Как работает
1. Документ режется на фрагменты по 2500–3000 символов.
2. Каждый фрагмент превращается в вектор через Ollama.
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
с указанием источников.
## Источники (v1)
- `ops/**/*.md` — документация репозитория;
- заметки Memos (SQLite из CT110).
## Проверка
```bash
cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
```
## Ловушки
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
а не по 1000.
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
прерывании теряется всё (транзакция откатывается).
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
падает с `UnicodeEncodeError`.
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
на `/rag`.
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
## Что дальше
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
- Инкрементальная индексация по времени изменения файла.
- Вечерний отчёт: «добавлено N фрагментов».