3.6 KiB
3.6 KiB
Семантический поиск по документам (B-11)
Что сделано
| Компонент | Где |
|---|---|
| Эмбеддинги | Ollama nomic-embed-text (768), CT160:11434 |
| Хранилище | PostgreSQL + pgvector, CT151, база rag |
| Таблица | chunks(source, ref, text, embedding vector(768)), HNSW-индекс |
| Индексатор | /opt/hub-core/rag.py (полный), rag_priority.py (быстрый) |
| Ответы | /rag?q=... (генерация) и &mode=find (поиск) |
Как работает
- Документ режется на фрагменты по 2500–3000 символов.
- Каждый фрагмент превращается в вектор через Ollama.
- Вектор кладётся в pgvector с уникальным ключом
(source, ref). - На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа с указанием источников.
Источники (v1)
ops/**/*.md— документация репозитория;- заметки Memos (SQLite из CT110).
Проверка
cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
Ловушки
- Эмбеддинг на CPU медленный: ~8–20 с на фрагмент при загруженной машине. Поэтому индексируем крупными кусками (2500–3000 символов), а не по 1000.
- Индексация должна коммитить каждые N фрагментов, иначе при прерывании теряется всё (транзакция откатывается).
psycopg2требуетclient_encoding=utf8— без него русский текст падает сUnicodeEncodeError./askуже занят (агентский ответ по медиа), поэтому RAG живёт на/rag.- Ollama был привязан к
127.0.0.1; открыт в LAN черезOLLAMA_HOST=0.0.0.0(drop-in в CT160).
Что дальше
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
- Инкрементальная индексация по времени изменения файла.
- Вечерний отчёт: «добавлено N фрагментов».
Режимы работы
| Режим | Запрос | Время | Что делает |
|---|---|---|---|
| Поиск | /rag?q=...&mode=find |
~14 с | находит фрагменты, без генерации |
| Ответ | /rag?q=... |
минуты | поиск + генерация моделью |
Проверено на живом примере: вопрос «как устроен Beszel» →
первый результат ops/ops/BESZEL.md#0 со счётом 0.63.
Ограничение: генерация на CPU
qwen2.5:3b на этой машине генерирует ответ дольше 10 минут при
текущей нагрузке (память в свопе). Поэтому:
- поиск использовать можно — он быстрый и полезный;
- генерацию — только когда освободится память, либо перейти
на
qwen2.5:0.5b/1.5b.
После работы модель выгружается (keep_alive=0), чтобы не держать
1.2 ГБ в памяти.