对于chatglm-6b这种可本地部署语言模型,什么类型的本地知识库最能发挥模型的作用?
2023-05-10 阅读 7
最能发挥作用的是以语义向量检索为核心、支持检索增强生成(RAG)的本地知识库。具体表现为:把高质量的文档、FAQ、SOP、表格等按段落/句子切分并预计算向量,存入本地向量库(如 FAISS、Milvus、Weaviate),同时保留结构化事实在关系型或图数据库以便精确查询,采用稀疏检索(BM25)+稠密检索混合、再做重排序并附带元数据与来源出处,保证可增量更新与时间戳、控制召回条数以适配上下文窗口,这种混合型、带来源与细粒度切片的知识库最能发挥本地部署大模型的效果。
更新于 2025年12月05日