5.5 KiB
Семантический поиск по документам (B-11)
Что сделано
| Компонент | Где |
|---|---|
| Эмбеддинги | Ollama nomic-embed-text (768), CT160:11434 |
| Хранилище | PostgreSQL + pgvector, CT151, база rag |
| Таблица | chunks(source, ref, text, embedding vector(768)), HNSW-индекс |
| Индексатор | /opt/hub-core/rag.py (полный), rag_priority.py (быстрый) |
| Ответы | /rag?q=... (генерация) и &mode=find (поиск) |
Как работает
- Документ режется на фрагменты по 2500–3000 символов.
- Каждый фрагмент превращается в вектор через Ollama.
- Вектор кладётся в pgvector с уникальным ключом
(source, ref). - На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа с указанием источников.
Источники (v1)
ops/**/*.md— документация репозитория;- заметки Memos (SQLite из CT110).
Проверка
cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400
Ловушки
- Эмбеддинг на CPU медленный: ~8–20 с на фрагмент при загруженной машине. Поэтому индексируем крупными кусками (2500–3000 символов), а не по 1000.
- Индексация должна коммитить каждые N фрагментов, иначе при прерывании теряется всё (транзакция откатывается).
psycopg2требуетclient_encoding=utf8— без него русский текст падает сUnicodeEncodeError./askуже занят (агентский ответ по медиа), поэтому RAG живёт на/rag.- Ollama был привязан к
127.0.0.1; открыт в LAN черезOLLAMA_HOST=0.0.0.0(drop-in в CT160).
Что дальше
- Добавить Paperless (тексты документов) и Nextcloud (txt/md).
- Инкрементальная индексация по времени изменения файла.
- Вечерний отчёт: «добавлено N фрагментов».
Режимы работы
| Режим | Запрос | Время | Что делает |
|---|---|---|---|
| Поиск (по умолчанию) | /rag?q=... |
14 с | находит фрагменты, без генерации |
| Ответ | /rag?q=... |
минуты | поиск + генерация моделью |
Проверено на живом примере: вопрос «как устроен Beszel» →
первый результат ops/ops/BESZEL.md#0 со счётом 0.63.
Ограничение: генерация на CPU
qwen2.5:3b на этой машине генерирует ответ дольше 10 минут при
текущей нагрузке (память в свопе). Поэтому:
- поиск использовать можно — он быстрый и полезный;
- генерацию — только когда освободится память, либо перейти
на
qwen2.5:0.5b/1.5b.
После работы модель выгружается (keep_alive=0), чтобы не держать
1.2 ГБ в памяти.
Замеры Ollama на этом железе (22.10)
CT160: 2 ядра, 4 ГБ, CPU-only.
| Операция | Результат |
|---|---|
| Обработка промпта | ~45 токенов/с |
| Промпт 1000 токенов | ~22 с только на чтение |
| Генерация 1 токена после этого | до 118 с |
Эмбеддинг (nomic-embed-text) |
8–20 с на фрагмент |
Вывод: генерация ответов здесь непрактична. Поиск — работает
и полезен. Поэтому /rag по умолчанию делает поиск, а генерация
доступна через &mode=ask (для тех случаев, когда можно подождать).
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже поставлена), либо вынести LLM на отдельную машину.
Источники (обновлено 22.10)
| Источник | Что | Фрагментов |
|---|---|---|
ops/**/*.md |
документация репозитория | 292 |
| Memos | заметки семьи | 0 (заметок пока нет) |
| Paperless | тексты документов | 0 (документов пока нет) |
Источник Paperless добавлен в код (index_paperless): как только
в Paperless появятся документы, они попадут в индекс при следующей
переиндексации.
Переиндексация
- Еженедельно:
hub-rag.timer, воскресенье 04:00, полный проходrag.py index(может идти до часа — это нормально). - Вручную:
cd /opt/hub-core && python rag.py index.