Files
buryan-infra/ops/hub/RAG.md

5.5 KiB
Raw Permalink Blame History

Семантический поиск по документам (B-11)

Что сделано

Компонент Где
Эмбеддинги Ollama nomic-embed-text (768), CT160:11434
Хранилище PostgreSQL + pgvector, CT151, база rag
Таблица chunks(source, ref, text, embedding vector(768)), HNSW-индекс
Индексатор /opt/hub-core/rag.py (полный), rag_priority.py (быстрый)
Ответы /rag?q=... (генерация) и &mode=find (поиск)

Как работает

  1. Документ режется на фрагменты по 2500–3000 символов.
  2. Каждый фрагмент превращается в вектор через Ollama.
  3. Вектор кладётся в pgvector с уникальным ключом (source, ref).
  4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа с указанием источников.

Источники (v1)

  • ops/**/*.md — документация репозитория;
  • заметки Memos (SQLite из CT110).

Проверка

cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400

Ловушки

  1. Эмбеддинг на CPU медленный: ~8–20 с на фрагмент при загруженной машине. Поэтому индексируем крупными кусками (2500–3000 символов), а не по 1000.
  2. Индексация должна коммитить каждые N фрагментов, иначе при прерывании теряется всё (транзакция откатывается).
  3. psycopg2 требует client_encoding=utf8 — без него русский текст падает с UnicodeEncodeError.
  4. /ask уже занят (агентский ответ по медиа), поэтому RAG живёт на /rag.
  5. Ollama был привязан к 127.0.0.1; открыт в LAN через OLLAMA_HOST=0.0.0.0 (drop-in в CT160).

Что дальше

  • Добавить Paperless (тексты документов) и Nextcloud (txt/md).
  • Инкрементальная индексация по времени изменения файла.
  • Вечерний отчёт: «добавлено N фрагментов».

Режимы работы

Режим Запрос Время Что делает
Поиск (по умолчанию) /rag?q=... 14 с находит фрагменты, без генерации
Ответ /rag?q=... минуты поиск + генерация моделью

Проверено на живом примере: вопрос «как устроен Beszel» → первый результат ops/ops/BESZEL.md#0 со счётом 0.63.

Ограничение: генерация на CPU

qwen2.5:3b на этой машине генерирует ответ дольше 10 минут при текущей нагрузке (память в свопе). Поэтому:

  • поиск использовать можно — он быстрый и полезный;
  • генерацию — только когда освободится память, либо перейти на qwen2.5:0.5b/1.5b.

После работы модель выгружается (keep_alive=0), чтобы не держать 1.2 ГБ в памяти.

Замеры Ollama на этом железе (22.10)

CT160: 2 ядра, 4 ГБ, CPU-only.

Операция Результат
Обработка промпта ~45 токенов/с
Промпт 1000 токенов ~22 с только на чтение
Генерация 1 токена после этого до 118 с
Эмбеддинг (nomic-embed-text) 8–20 с на фрагмент

Вывод: генерация ответов здесь непрактична. Поиск — работает и полезен. Поэтому /rag по умолчанию делает поиск, а генерация доступна через &mode=ask (для тех случаев, когда можно подождать).

Если понадобится генерация — нужен GPU или модель меньше (0.5b уже поставлена), либо вынести LLM на отдельную машину.

Источники (обновлено 22.10)

Источник Что Фрагментов
ops/**/*.md документация репозитория 292
Memos заметки семьи 0 (заметок пока нет)
Paperless тексты документов 0 (документов пока нет)

Источник Paperless добавлен в код (index_paperless): как только в Paperless появятся документы, они попадут в индекс при следующей переиндексации.

Переиндексация

  • Еженедельно: hub-rag.timer, воскресенье 04:00, полный проход rag.py index (может идти до часа — это нормально).
  • Вручную: cd /opt/hub-core && python rag.py index.