Files
buryan-infra/ops/hub/RAG-POSTGRES.md
T

90 lines
4.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# RAG переведён на PostgreSQL (10.11.2026)
## Вопрос владельца
> «Разве не лучше Hermes заставить работать с Postgres? У нас всё на одном
> Postgres. SQLite — не лучший вариант»
**Ответ: да, вы правы.** И факты это подтвердили.
## Что показала проверка
| Проверка | Результат |
|---|---|
| pgvector | **0.8.6** установлен |
| таблица `chunks` | есть, `embedding vector(768)` |
| индекс | **`chunks_embedding_idx`** (векторный) |
| настоящая причина падения `hub-rag` | **таймаут Ollama** (`ReadTimeout` на 192.168.1.229:11434), а не Postgres |
| охват Postgres-индексатора | только 40 приоритетных файлов (вместо 750) |
То есть Postgres был не «хуже», а **недоделан**: индексатор покрывал 5% документов
и падал на таймауте.
## Что сделано
### 1. Перенос без пересчёта
Векторы уже были посчитаны в SQLite — скопировал их в Postgres напрямую:
```
из SQLite прочитано чанков: 5086
в Postgres чанков: 5127
```
### 2. Новый индексатор `ops/scripts/rag_index_pg.py`
Полный обход (ops/, docs/, deploy/, корень) → Postgres:
* таблица `rag_docs(path, mtime, size, hash)` — что индексировано;
* `chunks(source, ref, text, embedding)` — фрагменты с векторами;
* инкрементально: 988 файлов, неизменённые пропускаются;
* **3 попытки** эмбеддинга с таймаутом 180 с (из-за чего падал старый);
* режим `--seed` — запомнить хеши без пересчёта.
Проверка: первый прогон — `обновлено 0, пропущено 988, ошибок 0`.
### 3. `rag.py` читает только Postgres
Ветки SQLite (`_load_sqlite`, `_cos`, `_find_sqlite`) удалены — один источник.
### 4. Задание Hermes переведено
```
rag-reindex: /usr/bin/python3 .../rag_index_pg.py (03:40)
```
## Результат
| Показатель | SQLite (было) | Postgres (стало) |
|---|---|---|
| Поиск | 0.3–0.4 с (косинус в Python) | **0.06–0.07 с** (pgvector) |
| Хранение | 23 МБ файл в репозитории | 46 МБ в БД на 192.168.1.151 |
| Бэкап | копия файла | общий бэкап Postgres |
| Масштабирование | линейный рост времени | индекс HNSW/IVFFlat |
Проверка качества:
```
«VPS SSH нестабилен» → ops/infra/VPS-SSH-TUNNEL.md (0.85)
«единый шлюз уведомлений» → 0.79
«стримерская комната» → 0.77
```
## Почему это правильнее
1. **Одна база для знаний** — как и весь остальной хост (Authentik, NetBox,
n8n, Paperless живут на Postgres 192.168.1.151).
2. **Векторный индекс** — при росте до 50 000 фрагментов поиск останется
миллисекундным.
3. **Бэкапы и мониторинг** — общие, не отдельный файл в репозитории.
4. **Нет файла в Git** — 23 МБ индекса больше не в рабочей копии.
## Осталось
1. `rag_index_pg.py` обновляет только изменённые файлы — первый полный
прогон уже сделан (5127 фрагментов).
2. Проверить ночной прогон в 03:40 (первый автоматический).
3. Качество поиска местами среднее (embedding `nomic-embed-text`) — можно
добавить переранжирование, если понадобится.
4. SQLite-файл оставлен как страховка; удалить после успешного ночного прогона.