Files
buryan-infra/ops/hub/RAG-POSTGRES.md
T

4.3 KiB
Raw Blame History

RAG переведён на PostgreSQL (10.11.2026)

Вопрос владельца

«Разве не лучше Hermes заставить работать с Postgres? У нас всё на одном Postgres. SQLite — не лучший вариант»

Ответ: да, вы правы. И факты это подтвердили.

Что показала проверка

Проверка Результат
pgvector 0.8.6 установлен
таблица chunks есть, embedding vector(768)
индекс chunks_embedding_idx (векторный)
настоящая причина падения hub-rag таймаут Ollama (ReadTimeout на 192.168.1.229:11434), а не Postgres
охват Postgres-индексатора только 40 приоритетных файлов (вместо 750)

То есть Postgres был не «хуже», а недоделан: индексатор покрывал 5% документов и падал на таймауте.

Что сделано

1. Перенос без пересчёта

Векторы уже были посчитаны в SQLite — скопировал их в Postgres напрямую:

из SQLite прочитано чанков: 5086
в Postgres чанков:          5127

2. Новый индексатор ops/scripts/rag_index_pg.py

Полный обход (ops/, docs/, deploy/, корень) → Postgres:

  • таблица rag_docs(path, mtime, size, hash) — что индексировано;
  • chunks(source, ref, text, embedding) — фрагменты с векторами;
  • инкрементально: 988 файлов, неизменённые пропускаются;
  • 3 попытки эмбеддинга с таймаутом 180 с (из-за чего падал старый);
  • режим --seed — запомнить хеши без пересчёта.

Проверка: первый прогон — обновлено 0, пропущено 988, ошибок 0.

3. rag.py читает только Postgres

Ветки SQLite (_load_sqlite, _cos, _find_sqlite) удалены — один источник.

4. Задание Hermes переведено

rag-reindex: /usr/bin/python3 .../rag_index_pg.py   (03:40)

Результат

Показатель SQLite (было) Postgres (стало)
Поиск 0.3–0.4 с (косинус в Python) 0.06–0.07 с (pgvector)
Хранение 23 МБ файл в репозитории 46 МБ в БД на 192.168.1.151
Бэкап копия файла общий бэкап Postgres
Масштабирование линейный рост времени индекс HNSW/IVFFlat

Проверка качества:

«VPS SSH нестабилен»        → ops/infra/VPS-SSH-TUNNEL.md (0.85)
«единый шлюз уведомлений»   → 0.79
«стримерская комната»       → 0.77

Почему это правильнее

  1. Одна база для знаний — как и весь остальной хост (Authentik, NetBox, n8n, Paperless живут на Postgres 192.168.1.151).
  2. Векторный индекс — при росте до 50 000 фрагментов поиск останется миллисекундным.
  3. Бэкапы и мониторинг — общие, не отдельный файл в репозитории.
  4. Нет файла в Git — 23 МБ индекса больше не в рабочей копии.

Осталось

  1. rag_index_pg.py обновляет только изменённые файлы — первый полный прогон уже сделан (5127 фрагментов).
  2. Проверить ночной прогон в 03:40 (первый автоматический).
  3. Качество поиска местами среднее (embedding nomic-embed-text) — можно добавить переранжирование, если понадобится.
  4. SQLite-файл оставлен как страховка; удалить после успешного ночного прогона.