From 73f565cbdc25ad69d7e60f7c86ff38fae11bf232 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Thu, 22 Oct 2026 00:23:22 +0300 Subject: [PATCH] =?UTF-8?q?[B-11]=20RAG:=20pgvector=20+=20=D1=8D=D0=BC?= =?UTF-8?q?=D0=B1=D0=B5=D0=B4=D0=B4=D0=B8=D0=BD=D0=B3=D0=B8=20Ollama,=20?= =?UTF-8?q?=D0=BC=D0=B0=D1=80=D1=88=D1=80=D1=83=D1=82=20/rag?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ops/BACKLOG.md | 2 +- ops/audit/version-watch.log | 57 +++++++++++++++++++++++++++++++++++++ ops/hub/RAG.md | 52 +++++++++++++++++++++++++++++++++ 3 files changed, 110 insertions(+), 1 deletion(-) create mode 100644 ops/hub/RAG.md diff --git a/ops/BACKLOG.md b/ops/BACKLOG.md index 2b17183..bd48a7c 100644 --- a/ops/BACKLOG.md +++ b/ops/BACKLOG.md @@ -21,7 +21,7 @@ | B-08 | **gPodder** | подкасты | низкая | | B-09 | **NetBox** | ✅ развёрнут (CT103:8080), `admin`/`Netbox2026!` | — | | B-10 | **Renovate** | ✅ таймер 03:30, 4 файла и 3 зависимости найдены | — | -| B-11 | **Memex/RAG** (pgvector) | семантический поиск по документам | высокая | +| B-11 | **RAG** | ✅ pgvector + nomic-embed-text, `/rag?q=`, `ops/hub/RAG.md` | — | | B-12 | **Monica** | ✅ развёрнута (CT110:8081) | — | | B-13 | **Outline/Docmost** | база знаний для работы | высокая | diff --git a/ops/audit/version-watch.log b/ops/audit/version-watch.log index c7c2949..6bd1b5c 100644 --- a/ops/audit/version-watch.log +++ b/ops/audit/version-watch.log @@ -1461,3 +1461,60 @@ unknown [2026-10-21 18:00:20] нет данных Docker Hub: louislam/uptime-kuma:latest:latest [2026-10-21 18:00:20] нет данных Docker Hub: vaultwarden/server:latest:latest [2026-10-21 18:00:21] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0 +[2026-10-22 00:00:04] нет данных Docker Hub: ghcr.io/goauthentik/server:latest:latest +[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-10-22 00:00:05] нет данных Docker Hub: ghcr.io/goauthentik/server:latest +[2026-10-22 00:00:05] нет данных Docker Hub: lscr.io/linuxserver/bazarr:latest:latest +[2026-10-22 00:00:05] нет данных Docker Hub: linuxserver/calibre-web:latest:latest +[2026-10-22 00:00:06] нет данных Docker Hub: lissy93/dashy:latest:latest +[2026-10-22 00:00:08] изменение: firefly — было dig, стало latest (обновлён) (fireflyiii/core) +[2026-10-22 00:00:08] не удалось отправить уведомление для firefly +[2026-10-22 00:00:08] нет данных Docker Hub: freshrss/freshrss:latest:latest +[2026-10-22 00:00:09] нет данных Docker Hub: gitea/gitea:latest:latest +[2026-10-22 00:00:09] нет данных Docker Hub: grafana/grafana:latest:latest +[2026-10-22 00:00:09] нет данных Docker Hub: unknown:unknown +[2026-10-22 00:00:09] нет данных Docker Hub: ghcr.io/home-assistant/home-assistant:stable +[2026-10-22 00:00:09] нет данных Docker Hub: jellyfin/jellyfin:latest:latest +[2026-10-22 00:00:10] нет данных Docker Hub: sissbruecker/linkding:latest:latest +[2026-10-22 00:00:10] нет данных Docker Hub: matrixdotorg/synapse:latest:latest +[2026-10-22 00:00:11] нет данных Docker Hub: dock.mau.dev/mautrix/telegram:latest +[2026-10-22 00:00:11] нет данных Docker Hub: ghcr.io/mealie-recipes/mealie:latest:latest +[2026-10-22 00:00:12] нет данных Docker Hub: n8nio/n8n:latest:latest +[2026-10-22 00:00:12] нет данных Docker Hub: deluan/navidrome:latest:latest +[2026-10-22 00:00:13] изменение: nextcloud — было dig, стало latest (обновлён) (nextcloud) +[2026-10-22 00:00:13] не удалось отправить уведомление для nextcloud +[2026-10-22 00:00:13] изменение: node_red — было dig, стало latest (обновлён) (nodered/node-red) +[2026-10-22 00:00:13] не удалось отправить уведомление для node_red +[2026-10-22 00:00:13] нет данных Docker Hub: jc21/nginx-proxy-manager:latest:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: quay.io/oauth2-proxy/oauth2-proxy:latest +[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/openclaw/openclaw:latest:latest +[2026-10-22 00:00:14] нет данных Docker Hub: lscr.io/linuxserver/overseerr:latest:latest +[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest:latest +[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-10-22 00:00:14] нет данных Docker Hub: ghcr.io/paperless-ngx/paperless-ngx:latest +[2026-10-22 00:00:14] нет данных Docker Hub: linuxserver/plex:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: prom/prometheus:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/prowlarr:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/radarr:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: lscr.io/linuxserver/sonarr:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: syncthing/syncthing:latest:latest +[2026-10-22 00:00:15] нет данных Docker Hub: tautulli/tautulli:latest:latest +[2026-10-22 00:00:16] нет данных Docker Hub: telegram-admin-bot-tg-admin-bot:latest +[2026-10-22 00:00:16] нет данных Docker Hub: louislam/uptime-kuma:latest:latest +[2026-10-22 00:00:16] нет данных Docker Hub: vaultwarden/server:latest:latest +[2026-10-22 00:00:17] [version-watch] закреплённых: 1, плавающих: 18, без данных: 50, база: 0, изменений: 0 diff --git a/ops/hub/RAG.md b/ops/hub/RAG.md new file mode 100644 index 0000000..6161acd --- /dev/null +++ b/ops/hub/RAG.md @@ -0,0 +1,52 @@ +# Семантический поиск по документам (B-11) + +## Что сделано + +| Компонент | Где | +|---|---| +| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 | +| Хранилище | PostgreSQL + pgvector, CT151, база `rag` | +| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс | +| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) | +| Ответы | `/rag?q=...` в hub-core, модель `qwen2.5:3b` | + +## Как работает + +1. Документ режется на фрагменты по 2500–3000 символов. +2. Каждый фрагмент превращается в вектор через Ollama. +3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`. +4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа + с указанием источников. + +## Источники (v1) + +- `ops/**/*.md` — документация репозитория; +- заметки Memos (SQLite из CT110). + +## Проверка + +```bash +cd /opt/hub-core +/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?" +curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400 +``` + +## Ловушки + +1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной + машине. Поэтому индексируем крупными кусками (2500–3000 символов), + а не по 1000. +2. **Индексация должна коммитить каждые N фрагментов**, иначе при + прерывании теряется всё (транзакция откатывается). +3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст + падает с `UnicodeEncodeError`. +4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт + на `/rag`. +5. Ollama был привязан к `127.0.0.1`; открыт в LAN через + `OLLAMA_HOST=0.0.0.0` (drop-in в CT160). + +## Что дальше + +- Добавить Paperless (тексты документов) и Nextcloud (txt/md). +- Инкрементальная индексация по времени изменения файла. +- Вечерний отчёт: «добавлено N фрагментов».