diff --git a/ops/hermes/jobs.yaml b/ops/hermes/jobs.yaml index ec5b792..eb63098 100644 --- a/ops/hermes/jobs.yaml +++ b/ops/hermes/jobs.yaml @@ -76,3 +76,9 @@ hygiene-scan: notify_on_success: false timeout: 900 retries: 0 +rag-reindex: + command: /usr/bin/python3 /root/buryan-infra/ops/scripts/rag_index.py + daily_at: 03:40 + notify_on_success: false + timeout: 3600 + retries: 0 diff --git a/ops/rag/README.md b/ops/rag/README.md new file mode 100644 index 0000000..67797b5 --- /dev/null +++ b/ops/rag/README.md @@ -0,0 +1,71 @@ +# RAG — память мозга (V1, Фаза C) + +Индекс по всей документации проекта: агент отвечает на вопросы **со ссылками на наши runbook'и**, а не выдумывает. + +## Что индексируется + +- `ops/**` — ранбуки, аудиты, ADR, отчёты +- `docs/**` — планы, стратегии, заметки +- `deploy/**` — compose-файлы и правила +- `AGENTS.md`, `README.md` корня + +Исключены: `rag/`, `topology/`, `hygiene/`, `.git`, `node_modules`. + +## Как работает + +``` +chunk (900 симв., перекрытие 120) + → эмбеддинг nomic-embed-text (768 измерений, локальный узел) + → SQLite: ops/rag/index.db + → поиск: гибрид 0.7·косинус + 0.3·ключевые слова + → ответ: qwen2.5:7b по найденным фрагментам +``` + +## Использование + +```bash +# обновить индекс (инкрементально: только изменённые файлы) +python3 ops/scripts/rag_index.py + +# пересобрать с нуля +python3 ops/scripts/rag_index.py --rebuild + +# задать вопрос +python3 ops/scripts/rag_query.py "почему падал chronyd" + +# только найти фрагменты (без модели) +python3 ops/scripts/rag_query.py --search "sso настройка" --k 5 +``` + +## Текущее состояние + +| Параметр | Значение | +|---|---| +| Документов | **741** | +| Чанков | **3032** | +| Размер индекса | 11.5 МБ | +| Ошибок индексации | 0 | +| Модель эмбеддингов | nomic-embed-text (768) | +| Модель ответов | qwen2.5:7b | + +## Проверка качества + +Запрос «что случилось с chronyd и как починили»: + +``` +Chronyd не мог писать в /var/lib/chrony/chrony.drift.tmp из-за настроек +systemd-песочницы: ProtectSystem=strict делал ФС read-only, кроме +ReadWritePaths. Решение — drop-in с ReadWritePaths=/var/lib/chrony. + +Источники: + 0.625 ops/CHRONYD-SANDBOX-2026-11-04.md [1] + 0.607 ops/CHRONYD-SANDBOX-2026-11-04.md [0] +``` + +Ответ совпадает с тем, что мы реально делали — память работает. + +## Ограничения + +- Модель 7B на CPU: ответ 10–30 с. Для интерактивного диалога — DeepSeek. +- Индекс не обновляется сам: ночное задание Hermes `rag-reindex` (03:40). +- Эмбеддинги считаются без префиксов `search_document:/search_query:` — при пересборке можно улучшить. diff --git a/ops/scripts/rag_index.py b/ops/scripts/rag_index.py new file mode 100755 index 0000000..84e298a --- /dev/null +++ b/ops/scripts/rag_index.py @@ -0,0 +1,150 @@ +#!/usr/bin/env python3 +"""RAG-индекс по документации Buryans Hub (память мозга). + +Собирает markdown/text из ops/, docs/, deploy/, корня репозитория, +разбивает на чанки, считает эмбеддинги локальной моделью nomic-embed-text +и складывает в SQLite. + +Использование: + rag_index.py # обновить индекс (инкрементально) + rag_index.py --rebuild # пересобрать с нуля +""" +import hashlib +import json +import os +import struct +import sys +import time +import urllib.request + +LLM = "http://192.168.1.229:11434" +EMB_MODEL = "nomic-embed-text" +ROOT = "/root/buryan-infra" +DB = ROOT + "/ops/rag/index.db" +DIRS = ["ops", "docs", "deploy"] +EXTRA_FILES = ["AGENTS.md", "README.md"] +CHUNK = 900 +OVERLAP = 120 + + +def embed(text): + body = json.dumps({"model": EMB_MODEL, "prompt": text[:4000]}).encode() + req = urllib.request.Request(LLM + "/api/embeddings", data=body, method="POST") + req.add_header("Content-Type", "application/json") + for attempt in range(3): + try: + with urllib.request.urlopen(req, timeout=120) as r: + return json.loads(r.read().decode()).get("embedding") or [] + except Exception: + if attempt == 2: + return [] + time.sleep(2) + return [] + + +def pack(vec): + return struct.pack("%df" % len(vec), *vec) + + +def unpack(blob): + n = len(blob) // 4 + return list(struct.unpack("%df" % n, blob)) + + +def collect_files(): + files = [] + for d in DIRS: + base = os.path.join(ROOT, d) + if not os.path.isdir(base): + continue + for dirpath, dirnames, filenames in os.walk(base): + dirnames[:] = [x for x in dirnames if x not in + (".git", "node_modules", "rag", "topology", "hygiene", "__pycache__")] + for fn in filenames: + if fn.endswith((".md", ".txt", ".yml", ".yaml")) and not fn.startswith("."): + p = os.path.join(dirpath, fn) + if os.path.getsize(p) < 200: + continue + files.append(p) + for f in EXTRA_FILES: + p = os.path.join(ROOT, f) + if os.path.isfile(p): + files.append(p) + return sorted(set(files)) + + +def chunk_text(text): + text = text.replace("\r\n", "\n") + out, i = [], 0 + while i < len(text): + piece = text[i:i + CHUNK] + if piece.strip(): + out.append(piece) + i += CHUNK - OVERLAP + return out + + +def main(): + rebuild = "--rebuild" in sys.argv + os.makedirs(os.path.dirname(DB), exist_ok=True) + import sqlite3 + con = sqlite3.connect(DB) + cur = con.cursor() + cur.execute("""CREATE TABLE IF NOT EXISTS docs( + path TEXT PRIMARY KEY, mtime REAL, size INTEGER, hash TEXT)""") + cur.execute("""CREATE TABLE IF NOT EXISTS chunks( + id INTEGER PRIMARY KEY AUTOINCREMENT, path TEXT, idx INTEGER, + text TEXT, vec BLOB)""") + cur.execute("""CREATE TABLE IF NOT EXISTS meta(k TEXT PRIMARY KEY, v TEXT)""") + if rebuild: + cur.execute("DELETE FROM chunks") + cur.execute("DELETE FROM docs") + con.commit() + + files = collect_files() + known = {r[0]: r for r in cur.execute("SELECT path, mtime, size, hash FROM docs")} + added = skipped = failed = 0 + ch_total = 0 + + for p in files: + rel = os.path.relpath(p, ROOT) + try: + st = os.stat(p) + raw = open(p, encoding="utf-8", errors="ignore").read() + except Exception: + failed += 1 + continue + h = hashlib.sha1(raw.encode("utf-8", "ignore")).hexdigest() + old = known.get(rel) + if old and old[3] == h and not rebuild: + skipped += 1 + continue + + cur.execute("DELETE FROM chunks WHERE path=?", (rel,)) + n = 0 + for idx, chunk in enumerate(chunk_text(raw)): + vec = embed(chunk) + if not vec: + failed += 1 + continue + cur.execute("INSERT INTO chunks(path, idx, text, vec) VALUES(?,?,?,?)", + (rel, idx, chunk, pack(vec))) + n += 1 + ch_total += 1 + cur.execute("INSERT OR REPLACE INTO docs(path, mtime, size, hash) VALUES(?,?,?,?)", + (rel, st.st_mtime, st.st_size, h)) + con.commit() + added += 1 + print(" + %-60s чанков: %d" % (rel[:60], n), flush=True) + + cur.execute("INSERT OR REPLACE INTO meta(k, v) VALUES('updated', ?)", + (time.strftime("%Y-%m-%dT%H:%M:%S"),)) + con.commit() + total_chunks = cur.execute("SELECT COUNT(*) FROM chunks").fetchone()[0] + con.close() + print("\nфайлов: обновлено %d, пропущено %d, ошибок %d | чанков всего: %d" + % (added, skipped, failed, total_chunks)) + + +if __name__ == "__main__": + main() diff --git a/ops/scripts/rag_query.py b/ops/scripts/rag_query.py new file mode 100755 index 0000000..1b7e97f --- /dev/null +++ b/ops/scripts/rag_query.py @@ -0,0 +1,124 @@ +#!/usr/bin/env python3 +"""Поиск по документации (RAG) с ответом локальной модели. + +Использование: + rag_query.py "почему падал chronyd" # ответ + источники + rag_query.py --search "chronyd" # только фрагменты + rag_query.py --answer-only "вопрос" # только ответ +""" +import argparse +import json +import math +import os +import sqlite3 +import struct +import sys +import urllib.request + +LLM = "http://192.168.1.229:11434" +EMB_MODEL = "nomic-embed-text" +CHAT_MODEL = "qwen2.5:7b" +DB = "/root/buryan-infra/ops/rag/index.db" + + +def embed(text): + body = json.dumps({"model": EMB_MODEL, "prompt": text[:4000]}).encode() + req = urllib.request.Request(LLM + "/api/embeddings", data=body, method="POST") + req.add_header("Content-Type", "application/json") + with urllib.request.urlopen(req, timeout=120) as r: + return json.loads(r.read().decode()).get("embedding") or [] + + +def cosine(a, b): + if not a or not b or len(a) != len(b): + return 0.0 + dot = sum(x * y for x, y in zip(a, b)) + na = math.sqrt(sum(x * x for x in a)) + nb = math.sqrt(sum(y * y for y in b)) + return dot / (na * nb) if na and nb else 0.0 + + +def load_chunks(): + con = sqlite3.connect(DB) + rows = con.execute("SELECT path, idx, text, vec FROM chunks").fetchall() + con.close() + out = [] + for path, idx, text, blob in rows: + n = len(blob) // 4 + out.append((path, idx, text, list(struct.unpack("%df" % n, blob)))) + return out + + +def search(query, k=5): + """Гибридный поиск: косинус (0.7) + совпадение ключевых слов (0.3).""" + import re + qv = embed(query) + if not qv: + return [] + words = [w.lower() for w in re.findall(r"[\w\-]{4,}", query)] + scored = [] + for path, idx, text, vec in load_chunks(): + cos = cosine(qv, vec) + # ключевые слова в тексте и в пути + low = (text + " " + path).lower() + hits = sum(1 for w in words if w in low) + kw = hits / len(words) if words else 0.0 + score = 0.7 * cos + 0.3 * kw + scored.append((score, path, idx, text)) + scored.sort(key=lambda x: -x[0]) + return scored[:k] + + +def ask(question, contexts, max_tokens=500): + ctx = "\n\n".join("--- %s (фрагмент %s) ---\n%s" % (p, i, t) + for _, p, i, t in contexts) + prompt = ( + "Ты помощник по инфраструктуре Buryans Hub. Отвечай по-русски, кратко и по делу.\n" + "Используй ТОЛЬКО приведённые фрагменты документации. Если ответа в них нет — " + "так и скажи: «в документации этого нет».\n\n" + "ФРАГМЕНТЫ:\n%s\n\nВОПРОС: %s\n\nОТВЕТ:" % (ctx, question) + ) + body = json.dumps({"model": CHAT_MODEL, "prompt": prompt, "stream": False, + "options": {"num_predict": max_tokens, "temperature": 0.1}}).encode() + req = urllib.request.Request(LLM + "/api/generate", data=body, method="POST") + req.add_header("Content-Type", "application/json") + with urllib.request.urlopen(req, timeout=600) as r: + return json.loads(r.read().decode()).get("response", "").strip() + + +def main(): + ap = argparse.ArgumentParser() + ap.add_argument("query") + ap.add_argument("--k", type=int, default=5) + ap.add_argument("--search", action="store_true", help="только фрагменты") + ap.add_argument("--answer-only", action="store_true", dest="answer_only") + a = ap.parse_args() + + if not os.path.exists(DB): + print("индекс не собран: запустите rag_index.py", file=sys.stderr) + return 2 + + hits = search(a.query, a.k) + if not hits: + print("ничего не найдено (узел LLM недоступен?)", file=sys.stderr) + return 1 + + if a.search: + for score, path, idx, text in hits: + print("\n=== %.3f %s [%d]" % (score, path, idx)) + print(text[:400].strip()) + return 0 + + answer = ask(a.query, hits) + if not a.answer_only: + print(answer) + print("\nИсточники:") + for score, path, idx, _ in hits: + print(" %.3f %s [%d]" % (score, path, idx)) + else: + print(answer) + return 0 + + +if __name__ == "__main__": + sys.exit(main())