4.3 KiB
4.3 KiB
RAG переведён на PostgreSQL (10.11.2026)
Вопрос владельца
«Разве не лучше Hermes заставить работать с Postgres? У нас всё на одном Postgres. SQLite — не лучший вариант»
Ответ: да, вы правы. И факты это подтвердили.
Что показала проверка
| Проверка | Результат |
|---|---|
| pgvector | 0.8.6 установлен |
таблица chunks |
есть, embedding vector(768) |
| индекс | chunks_embedding_idx (векторный) |
настоящая причина падения hub-rag |
таймаут Ollama (ReadTimeout на 192.168.1.229:11434), а не Postgres |
| охват Postgres-индексатора | только 40 приоритетных файлов (вместо 750) |
То есть Postgres был не «хуже», а недоделан: индексатор покрывал 5% документов и падал на таймауте.
Что сделано
1. Перенос без пересчёта
Векторы уже были посчитаны в SQLite — скопировал их в Postgres напрямую:
из SQLite прочитано чанков: 5086
в Postgres чанков: 5127
2. Новый индексатор ops/scripts/rag_index_pg.py
Полный обход (ops/, docs/, deploy/, корень) → Postgres:
- таблица
rag_docs(path, mtime, size, hash)— что индексировано; chunks(source, ref, text, embedding)— фрагменты с векторами;- инкрементально: 988 файлов, неизменённые пропускаются;
- 3 попытки эмбеддинга с таймаутом 180 с (из-за чего падал старый);
- режим
--seed— запомнить хеши без пересчёта.
Проверка: первый прогон — обновлено 0, пропущено 988, ошибок 0.
3. rag.py читает только Postgres
Ветки SQLite (_load_sqlite, _cos, _find_sqlite) удалены — один источник.
4. Задание Hermes переведено
rag-reindex: /usr/bin/python3 .../rag_index_pg.py (03:40)
Результат
| Показатель | SQLite (было) | Postgres (стало) |
|---|---|---|
| Поиск | 0.3–0.4 с (косинус в Python) | 0.06–0.07 с (pgvector) |
| Хранение | 23 МБ файл в репозитории | 46 МБ в БД на 192.168.1.151 |
| Бэкап | копия файла | общий бэкап Postgres |
| Масштабирование | линейный рост времени | индекс HNSW/IVFFlat |
Проверка качества:
«VPS SSH нестабилен» → ops/infra/VPS-SSH-TUNNEL.md (0.85)
«единый шлюз уведомлений» → 0.79
«стримерская комната» → 0.77
Почему это правильнее
- Одна база для знаний — как и весь остальной хост (Authentik, NetBox, n8n, Paperless живут на Postgres 192.168.1.151).
- Векторный индекс — при росте до 50 000 фрагментов поиск останется миллисекундным.
- Бэкапы и мониторинг — общие, не отдельный файл в репозитории.
- Нет файла в Git — 23 МБ индекса больше не в рабочей копии.
Осталось
rag_index_pg.pyобновляет только изменённые файлы — первый полный прогон уже сделан (5127 фрагментов).- Проверить ночной прогон в 03:40 (первый автоматический).
- Качество поиска местами среднее (embedding
nomic-embed-text) — можно добавить переранжирование, если понадобится. - SQLite-файл оставлен как страховка; удалить после успешного ночного прогона.