大语言模型为什么会一本正经地编造不存在的信息?
大语言模型并不是先建立一个完整、可核验的事实库,再从中检索答案;它主要根据训练中学到的语言规律,逐步预测接下来最可能出现的词(更准确地说是 token)。因此,它擅长生成听起来连贯、符合语境的文字,但“表达得像真的”并不等于“事实已经核实”。
编造通常来自几种情况:训练资料里没有相关信息、资料过时或互相矛盾时,模型仍可能沿着常见表达模式补出一个答案;问题含糊、前提错误或要求提供非常具体的名字、日期、出处时,它可能把熟悉的片段拼接起来,形成貌似完整却不存在的细节;生成过程本身也有不确定性,同一个问题换种问法可能得到不同回答。若模型没有连接可靠检索工具,或检索结果不足、质量不佳,也更容易把推测当成陈述。
这并不意味着每个答案都是随机的。模型学到的知识和推理模式能提供有用回答,只是它通常不能仅凭语气判断自己是否正确。对重要事实,可以要求它区分已知与推测、指出不确定处,并核对原始资料;涉及最新信息时应查阅当前来源,涉及数字、引文、法律或医疗建议时尤其不要只凭一段流畅的回答作决定。接入搜索或数据库能减少部分错误,但来源本身也可能不准,仍需检查。