Files
buryan-infra/ops/hub/RAG.md
T

3.6 KiB
Raw Blame History

Семантический поиск по документам (B-11)

Что сделано

Компонент Где
Эмбеддинги Ollama nomic-embed-text (768), CT160:11434
Хранилище PostgreSQL + pgvector, CT151, база rag
Таблица chunks(source, ref, text, embedding vector(768)), HNSW-индекс
Индексатор /opt/hub-core/rag.py (полный), rag_priority.py (быстрый)
Ответы /rag?q=... (генерация) и &mode=find (поиск)

Как работает

  1. Документ режется на фрагменты по 2500–3000 символов.
  2. Каждый фрагмент превращается в вектор через Ollama.
  3. Вектор кладётся в pgvector с уникальным ключом (source, ref).
  4. На вопрос: вектор вопроса → ближайшие 5 фрагментов → генерация ответа с указанием источников.

Источники (v1)

  • ops/**/*.md — документация репозитория;
  • заметки Memos (SQLite из CT110).

Проверка

cd /opt/hub-core
/opt/music-tools/venv/bin/python rag.py ask "как устроен мониторинг Beszel?"
curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 400

Ловушки

  1. Эмбеддинг на CPU медленный: ~8–20 с на фрагмент при загруженной машине. Поэтому индексируем крупными кусками (2500–3000 символов), а не по 1000.
  2. Индексация должна коммитить каждые N фрагментов, иначе при прерывании теряется всё (транзакция откатывается).
  3. psycopg2 требует client_encoding=utf8 — без него русский текст падает с UnicodeEncodeError.
  4. /ask уже занят (агентский ответ по медиа), поэтому RAG живёт на /rag.
  5. Ollama был привязан к 127.0.0.1; открыт в LAN через OLLAMA_HOST=0.0.0.0 (drop-in в CT160).

Что дальше

  • Добавить Paperless (тексты документов) и Nextcloud (txt/md).
  • Инкрементальная индексация по времени изменения файла.
  • Вечерний отчёт: «добавлено N фрагментов».

Режимы работы

Режим Запрос Время Что делает
Поиск /rag?q=...&mode=find ~14 с находит фрагменты, без генерации
Ответ /rag?q=... минуты поиск + генерация моделью

Проверено на живом примере: вопрос «как устроен Beszel» → первый результат ops/ops/BESZEL.md#0 со счётом 0.63.

Ограничение: генерация на CPU

qwen2.5:3b на этой машине генерирует ответ дольше 10 минут при текущей нагрузке (память в свопе). Поэтому:

  • поиск использовать можно — он быстрый и полезный;
  • генерацию — только когда освободится память, либо перейти на qwen2.5:0.5b/1.5b.

После работы модель выгружается (keep_alive=0), чтобы не держать 1.2 ГБ в памяти.