112 lines
5.5 KiB
Markdown
112 lines
5.5 KiB
Markdown
# Семантический поиск по документам (B-11)
|
||
|
||
## Что сделано
|
||
|
||
| Компонент | Где |
|
||
|---|---|
|
||
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
|
||
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
|
||
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
|
||
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
|
||
| Ответы | `/rag?q=...` (генерация) и `&mode=find` (поиск) |
|
||
|
||
## Как работает
|
||
|
||
1. Документ режется на фрагменты по 2500–3000 символов.
|
||
2. Каждый фрагмент превращается в вектор через Ollama.
|
||
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
|
||
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
|
||
с указанием источников.
|
||
|
||
## Источники (v1)
|
||
|
||
- `ops/**/*.md` — документация репозитория;
|
||
- заметки Memos (SQLite из CT110).
|
||
|
||
## Проверка
|
||
|
||
```bash
|
||
cd /opt/hub-core
|
||
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
|
||
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
|
||
```
|
||
|
||
## Ловушки
|
||
|
||
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
|
||
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
|
||
а не по 1000.
|
||
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
|
||
прерывании теряется всё (транзакция откатывается).
|
||
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
|
||
падает с `UnicodeEncodeError`.
|
||
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
|
||
на `/rag`.
|
||
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
|
||
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
|
||
|
||
## Что дальше
|
||
|
||
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
|
||
- Инкрементальная индексация по времени изменения файла.
|
||
- Вечерний отчёт: «добавлено N фрагментов».
|
||
|
||
## Режимы работы
|
||
|
||
| Режим | Запрос | Время | Что делает |
|
||
|---|---|---|---|
|
||
| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации |
|
||
| Ответ | `/rag?q=...` | минуты | поиск + генерация моделью |
|
||
|
||
**Проверено на живом примере**: вопрос «как устроен Beszel» →
|
||
первый результат `ops/ops/BESZEL.md#0` со счётом 0.63.
|
||
|
||
## Ограничение: генерация на CPU
|
||
|
||
`qwen2.5:3b` на этой машине генерирует ответ дольше 10 минут при
|
||
текущей нагрузке (память в свопе). Поэтому:
|
||
|
||
- **поиск использовать можно** — он быстрый и полезный;
|
||
- **генерацию** — только когда освободится память, либо перейти
|
||
на `qwen2.5:0.5b`/`1.5b`.
|
||
|
||
После работы модель выгружается (`keep_alive=0`), чтобы не держать
|
||
1.2 ГБ в памяти.
|
||
|
||
|
||
## Замеры Ollama на этом железе (22.10)
|
||
|
||
CT160: 2 ядра, 4 ГБ, CPU-only.
|
||
|
||
| Операция | Результат |
|
||
|---|---|
|
||
| Обработка промпта | ~45 токенов/с |
|
||
| Промпт 1000 токенов | ~22 с только на чтение |
|
||
| Генерация 1 токена после этого | до 118 с |
|
||
| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент |
|
||
|
||
**Вывод**: генерация ответов здесь непрактична. Поиск — работает
|
||
и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация
|
||
доступна через `&mode=ask` (для тех случаев, когда можно подождать).
|
||
|
||
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже
|
||
поставлена), либо вынести LLM на отдельную машину.
|
||
|
||
## Источники (обновлено 22.10)
|
||
|
||
| Источник | Что | Фрагментов |
|
||
|---|---|---|
|
||
| `ops/**/*.md` | документация репозитория | **292** |
|
||
| Memos | заметки семьи | 0 (заметок пока нет) |
|
||
| Paperless | тексты документов | 0 (документов пока нет) |
|
||
|
||
Источник Paperless добавлен в код (`index_paperless`): как только
|
||
в Paperless появятся документы, они попадут в индекс при следующей
|
||
переиндексации.
|
||
|
||
## Переиндексация
|
||
|
||
- **Еженедельно**: `hub-rag.timer`, воскресенье 04:00, полный проход
|
||
`rag.py index` (может идти до часа — это нормально).
|
||
- **Вручную**: `cd /opt/hub-core && python rag.py index`.
|