[A-51] Вики: безопасность, порты, учения восстановления
This commit is contained in:
1 parent
64ee577886
commit
a587ecc664
3 files changed
+276
-1
No files matched your search
@@ -321,7 +321,7 @@ curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 4
|
||||
|
||||
| Режим | Запрос | Время | Что делает |
|
||||
|---|---|---|---|
|
||||
| Поиск | `/rag?q=...&mode=find` | **~14 с** | находит фрагменты, без генерации |
|
||||
| Поиск (по умолчанию) | `/rag?q=...` | **14 с** | находит фрагменты, без генерации |
|
||||
| Ответ | `/rag?q=...` | минуты | поиск + генерация моделью |
|
||||
|
||||
**Проверено на живом примере**: вопрос «как устроен Beszel» →
|
||||
@@ -340,6 +340,25 @@ curl -s 'http://127.0.0.1:9120/rag?q=как+устроен+беczel' | head -c 4
|
||||
1.2 ГБ в памяти.
|
||||
|
||||
|
||||
## Замеры Ollama на этом железе (22.10)
|
||||
|
||||
CT160: 2 ядра, 4 ГБ, CPU-only.
|
||||
|
||||
| Операция | Результат |
|
||||
|---|---|
|
||||
| Обработка промпта | ~45 токенов/с |
|
||||
| Промпт 1000 токенов | ~22 с только на чтение |
|
||||
| Генерация 1 токена после этого | до 118 с |
|
||||
| Эмбеддинг (`nomic-embed-text`) | 8–20 с на фрагмент |
|
||||
|
||||
**Вывод**: генерация ответов здесь непрактична. Поиск — работает
|
||||
и полезен. Поэтому `/rag` по умолчанию делает поиск, а генерация
|
||||
доступна через `&mode=ask` (для тех случаев, когда можно подождать).
|
||||
|
||||
Если понадобится генерация — нужен GPU или модель меньше (0.5b уже
|
||||
поставлена), либо вынести LLM на отдельную машину.
|
||||
|
||||
|
||||
---
|
||||
|
||||
# Обучение агента: подсказки по повторяющимся сбоям (B-21)
|
||||
|
||||
Reference in new issue
Block a user