Files
buryan-infra/ops/hub/RAG.md

112 lines
5.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Семантический поиск по документам (B-11)
## Что сделано
| Компонент | Где |
|---|---|
| Эмбеддинги | Ollama `nomic-embed-text` (768), CT160:11434 |
| Хранилище | PostgreSQL + pgvector, CT151, база `rag` |
| Таблица | `chunks(source, ref, text, embedding vector(768))`, HNSW-индекс |
| Индексатор | `/opt/hub-core/rag.py` (полный), `rag_priority.py` (быстрый) |
| Ответы | `/rag?q=...` (генерация) и `&mode=find` (поиск) |
## Как работает
1. Документ режется на фрагменты по 2500–3000 символов.
2. Каждый фрагмент превращается в вектор через Ollama.
3. Вектор кладётся в pgvector с уникальным ключом `(source, ref)`.
4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа
с указанием источников.
## Источники (v1)
- `ops/**/*.md` — документация репозитория;
- заметки Memos (SQLite из CT110).
## Проверка
```bash
cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
```
## Ловушки
1. **Эмбеддинг на CPU медленный**: ~8–20 с на фрагмент при загруженной
машине. Поэтому индексируем крупными кусками (2500–3000 символов),
а не по 1000.
2. **Индексация должна коммитить каждые N фрагментов**, иначе при
прерывании теряется всё (транзакция откатывается).
3. **`psycopg2` требует `client_encoding=utf8`** — без него русский текст
падает с `UnicodeEncodeError`.
4. **`/ask` уже занят** (агентский ответ по медиа), поэтому RAG живёт
на `/rag`.
5. Ollama был привязан к `127.0.0.1`; открыт в LAN через
`OLLAMA_HOST=0.0.0.0` (drop-in в CT160).
## Что дальше
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
- Инкрементальная индексация по времени изменения файла.
- Вечерний отчёт: «добавлено N фрагментов».
## Режимы работы
| Режим | Запрос | Время | Что делает |
|---|---|---|---|
| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации |
| Ответ | `/rag?q=...` | минуты | поиск + генерация моделью |
**Проверено на живом примере**: вопрос «как устроен Beszel» →
первый результат `ops/ops/BESZEL.md#0` со счётом 0.63.
## Ограничение: генерация на CPU
`qwen2.5:3b` на этой машине генерирует ответ дольше 10 минут при
текущей нагрузке (память в свопе). Поэтому:
- **поиск использовать можно** — он быстрый и полезный;
- **генерацию** — только когда освободится память, либо перейти
на `qwen2.5:0.5b`/`1.5b`.
После работы модель выгружается (`keep_alive=0`), чтобы не держать
1.2 ГБ в памяти.
## Замеры Ollama на этом железе (22.10)
CT160: 2 ядра, 4 ГБ, CPU-only.
| Операция | Результат |
|---|---|
| Обработка промпта | ~45 токенов/с |
| Промпт 1000 токенов | ~22 с только на чтение |
| Генерация 1 токена после этого | до 118 с |
| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент |
**Вывод**: генерация ответов здесь непрактична. Поиск — работает
и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация
доступна через `&mode=ask` (для тех случаев, когда можно подождать).
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже
поставлена), либо вынести LLM на отдельную машину.
## Источники (обновлено 22.10)
| Источник | Что | Фрагментов |
|---|---|---|
| `ops/**/*.md` | документация репозитория | **292** |
| Memos | заметки семьи | 0 (заметок пока нет) |
| Paperless | тексты документов | 0 (документов пока нет) |
Источник Paperless добавлен в код (`index_paperless`): как только
в Paperless появятся документы, они попадут в индекс при следующей
переиндексации.
## Переиндексация
- **Еженедельно**: `hub-rag.timer`, воскресенье 04:00, полный проход
`rag.py index` (может идти до часа — это нормально).
- **Вручную**: `cd /opt/hub-core && python rag.py index`.