90 lines
4.3 KiB
Markdown
90 lines
4.3 KiB
Markdown
# RAG переведён на PostgreSQL (10.11.2026)
|
||
|
||
## Вопрос владельца
|
||
|
||
> «Разве не лучше Hermes заставить работать с Postgres? У нас всё на одном
|
||
> Postgres. SQLite — не лучший вариант»
|
||
|
||
**Ответ: да, вы правы.** И факты это подтвердили.
|
||
|
||
## Что показала проверка
|
||
|
||
| Проверка | Результат |
|
||
|---|---|
|
||
| pgvector | **0.8.6** установлен |
|
||
| таблица `chunks` | есть, `embedding vector(768)` |
|
||
| индекс | **`chunks_embedding_idx`** (векторный) |
|
||
| настоящая причина падения `hub-rag` | **таймаут Ollama** (`ReadTimeout` на 192.168.1.229:11434), а не Postgres |
|
||
| охват Postgres-индексатора | только 40 приоритетных файлов (вместо 750) |
|
||
|
||
То есть Postgres был не «хуже», а **недоделан**: индексатор покрывал 5% документов
|
||
и падал на таймауте.
|
||
|
||
## Что сделано
|
||
|
||
### 1. Перенос без пересчёта
|
||
|
||
Векторы уже были посчитаны в SQLite — скопировал их в Postgres напрямую:
|
||
|
||
```
|
||
из SQLite прочитано чанков: 5086
|
||
в Postgres чанков: 5127
|
||
```
|
||
|
||
### 2. Новый индексатор `ops/scripts/rag_index_pg.py`
|
||
|
||
Полный обход (ops/, docs/, deploy/, корень) → Postgres:
|
||
|
||
* таблица `rag_docs(path, mtime, size, hash)` — что индексировано;
|
||
* `chunks(source, ref, text, embedding)` — фрагменты с векторами;
|
||
* инкрементально: 988 файлов, неизменённые пропускаются;
|
||
* **3 попытки** эмбеддинга с таймаутом 180 с (из-за чего падал старый);
|
||
* режим `--seed` — запомнить хеши без пересчёта.
|
||
|
||
Проверка: первый прогон — `обновлено 0, пропущено 988, ошибок 0`.
|
||
|
||
### 3. `rag.py` читает только Postgres
|
||
|
||
Ветки SQLite (`_load_sqlite`, `_cos`, `_find_sqlite`) удалены — один источник.
|
||
|
||
### 4. Задание Hermes переведено
|
||
|
||
```
|
||
rag-reindex: /usr/bin/python3 .../rag_index_pg.py (03:40)
|
||
```
|
||
|
||
## Результат
|
||
|
||
| Показатель | SQLite (было) | Postgres (стало) |
|
||
|---|---|---|
|
||
| Поиск | 0.3–0.4 с (косинус в Python) | **0.06–0.07 с** (pgvector) |
|
||
| Хранение | 23 МБ файл в репозитории | 46 МБ в БД на 192.168.1.151 |
|
||
| Бэкап | копия файла | общий бэкап Postgres |
|
||
| Масштабирование | линейный рост времени | индекс HNSW/IVFFlat |
|
||
|
||
Проверка качества:
|
||
|
||
```
|
||
«VPS SSH нестабилен» → ops/infra/VPS-SSH-TUNNEL.md (0.85)
|
||
«единый шлюз уведомлений» → 0.79
|
||
«стримерская комната» → 0.77
|
||
```
|
||
|
||
## Почему это правильнее
|
||
|
||
1. **Одна база для знаний** — как и весь остальной хост (Authentik, NetBox,
|
||
n8n, Paperless живут на Postgres 192.168.1.151).
|
||
2. **Векторный индекс** — при росте до 50 000 фрагментов поиск останется
|
||
миллисекундным.
|
||
3. **Бэкапы и мониторинг** — общие, не отдельный файл в репозитории.
|
||
4. **Нет файла в Git** — 23 МБ индекса больше не в рабочей копии.
|
||
|
||
## Осталось
|
||
|
||
1. `rag_index_pg.py` обновляет только изменённые файлы — первый полный
|
||
прогон уже сделан (5127 фрагментов).
|
||
2. Проверить ночной прогон в 03:40 (первый автоматический).
|
||
3. Качество поиска местами среднее (embedding `nomic-embed-text`) — можно
|
||
добавить переранжирование, если понадобится.
|
||
4. SQLite-файл оставлен как страховка; удалить после успешного ночного прогона.
|