[SPRINT-V1.1][9] RAG без LLM-узла: поиск по ключевым словам, когда эмбеддинги недоступны
This commit is contained in:
1 parent
78ae93283a
commit
b86131b3fa
1 file changed
+11
-7
@@ -50,22 +50,26 @@ def load_chunks():
|
||||
|
||||
|
||||
def search(query, k=5):
|
||||
"""Гибридный поиск: косинус (0.7) + совпадение ключевых слов (0.3)."""
|
||||
"""Гибридный поиск. Если LLM-узел недоступен — работает по ключевым словам."""
|
||||
import re
|
||||
qv = embed(query)
|
||||
if not qv:
|
||||
return []
|
||||
words = [w.lower() for w in re.findall(r"[\w\-]{4,}", query)]
|
||||
qv = embed(query)
|
||||
DEGRADED = not qv
|
||||
scored = []
|
||||
for path, idx, text, vec in load_chunks():
|
||||
cos = cosine(qv, vec)
|
||||
# ключевые слова в тексте и в пути
|
||||
low = (text + " " + path).lower()
|
||||
hits = sum(1 for w in words if w in low)
|
||||
kw = hits / len(words) if words else 0.0
|
||||
score = 0.7 * cos + 0.3 * kw
|
||||
if DEGRADED:
|
||||
score = kw # только ключевые слова, без векторов
|
||||
else:
|
||||
score = 0.7 * cosine(qv, vec) + 0.3 * kw
|
||||
if score <= 0:
|
||||
continue
|
||||
scored.append((score, path, idx, text))
|
||||
scored.sort(key=lambda x: -x[0])
|
||||
if DEGRADED:
|
||||
print("! LLM-узел недоступен: поиск только по ключевым словам", file=sys.stderr)
|
||||
return scored[:k]
|
||||
|
||||
|
||||
|
||||
Reference in new issue
Block a user