# Семантический поиск по документам (B-11) ## Что сделано | Компонент | Где | |---|---| | Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 | | Хранилище | PostgreSQL + pgvector, CT151, база `rag` | | Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс | | Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) | | Ответы | `/rag?q=...` (генерация) и `&mode=find` (поиск) | ## Как работает 1. Документ режется на фрагменты по 2500–3000 символов. 2. Каждый фрагмент превращается в вектор через Ollama. 3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`. 4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа с указанием источников. ## Источники (v1) - `ops/**/*.md` — документация репозитория; - заметки Memos (SQLite из CT110). ## Проверка ```bash cd /opt/hub-core /opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?" curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400 ``` ## Ловушки 1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной машине. Поэтому индексируем крупными кусками (2500–3000 символов), а не по 1000. 2. **Индексация должна коммитить каждые N фрагментов**, иначе при прерывании теряется всё (транзакция откатывается). 3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст падает с `UnicodeEncodeError`. 4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт на `/rag`. 5. Ollama был привязан к `127.0.0.1`; открыт в LAN через `OLLAMA_HOST=0.0.0.0` (drop-in в CT160). ## Что дальше - Добавить Paperless (тексты документов) и Nextcloud (txt/md). - Инкрементальная индексация по времени изменения файла. - Вечерний отчёт: «добавлено N фрагментов». ## Режимы работы | Режим | Запрос | Время | Что делает | |---|---|---|---| | Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации | | Ответ | `/rag?q=...` | минуты | поиск + генерация моделью | **Проверено на живом примере**: вопрос «как устроен Beszel» → первый результат `ops/ops/BESZEL.md#0` со счётом 0.63. ## Ограничение: генерация на CPU `qwen2.5:3b` на этой машине генерирует ответ дольше 10 минут при текущей нагрузке (память в свопе). Поэтому: - **поиск использовать можно** — он быстрый и полезный; - **генерацию** — только когда освободится память, либо перейти на `qwen2.5:0.5b`/`1.5b`. После работы модель выгружается (`keep_alive=0`), чтобы не держать 1.2 ГБ в памяти. ## Замеры Ollama на этом железе (22.10) CT160: 2 ядра, 4 ГБ, CPU-only. | Операция | Результат | |---|---| | Обработка промпта | ~45 токенов/с | | Промпт 1000 токенов | ~22 с только на чтение | | Генерация 1 токена после этого | до 118 с | | Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент | **Вывод**: генерация ответов здесь непрактична. Поиск — работает и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация доступна через `&mode=ask` (для тех случаев, когда можно подождать). Если понадобится генерация — нужен GPU или модель меньше (0.5b уже поставлена), либо вынести LLM на отдельную машину. ## Источники (обновлено 22.10) | Источник | Что | Фрагментов | |---|---|---| | `ops/**/*.md` | документация репозитория | **292** | | Memos | заметки семьи | 0 (заметок пока нет) | | Paperless | тексты документов | 0 (документов пока нет) | Источник Paperless добавлен в код (`index_paperless`): как только в Paperless появятся документы, они попадут в индекс при следующей переиндексации. ## Переиндексация - **Еженедельно**: `hub-rag.timer`, воскресенье 04:00, полный проход `rag.py index` (может идти до часа — это нормально). - **Вручную**: `cd /opt/hub-core && python rag.py index`.