RAGAS这个框架怎么用本地的大模型呢?
2024-04-12 阅读 7
先把思路理清:RAGAS 本质是检索加生成,关键在把本地检索器和本地大模型串起来。具体做法是先把文档切块并用本地嵌入模型(如 sentence-transformers)算向量,存入本地向量库(FAISS/Chroma/Milvus),然后在查询时对 query 做嵌入、检索 top-k 片段,把这些片段按模板拼进 prompt 里调用本地大模型(如通过 llama.cpp、text-generation-webui 或者本地 Serving)生成答案。要注意片段长度和模型上下文限制、top-k、温度等参数,必要时增加重排序或置信度过滤以减少幻觉。配置上 RAGAS 的检索和生成后端指向本地向量库和本地模型接口即可。
更新于 2026年01月03日