RAGAS这个框架怎么用本地的大模型呢？
2024-04-12 阅读 14
先把思路理清：RAGAS 本质是检索加生成，关键在把本地检索器和本地大模型串起来。具体做法是先把文档切块并用本地嵌入模型（如 sentence-transformers）算向量，存入本地向量库（FAISS/Chroma/Milvus），然后在查询时对 query 做嵌入、检索 top-k 片段，把这些片段按模板拼进 prompt 里调用本地大模型（如通过 llama.cpp、text-generation-webui 或者本地 Serving）生成答案。要注意片段长度和模型上下文限制、top-k、温度等参数，必要时增加重排序或置信度过滤以减少幻觉。配置上 RAGAS 的检索和生成后端指向本地向量库和本地模型接口即可。
更新于 2026年01月03日
