大模型产生「幻觉」现象的根本原因是什么?
大模型出现“幻觉”,根本上是因为它的训练目标通常是根据上下文生成最可能接续的文本,而不是先检索并核验一个客观事实。模型学到的是词语和概念之间的统计关联及其表达方式;当问题超出训练覆盖、前提含糊或上下文不足时,它仍可能生成一段语言上连贯、看似合理的回答,却没有可靠依据。因此,流畅和自信并不等于正确。
这并非简单的“随机编造”。预训练语料本身可能含有错误、过时或相互矛盾的信息;训练数据也不可能覆盖所有事实。后续指令微调和人类反馈能让回答更符合人的期待,但如果评价更偏向完整、直接、像答案,而没有充分奖励承认不确定或拒答,模型就可能把猜测包装成确定陈述。采样等生成设置会影响输出变化,却不是幻觉的唯一根因。
可以把它理解为“生成机制”与“事实核验机制”并非一回事:模型内部的参数记忆是压缩且不保证可追溯的,单靠它生成文本,无法自动证明内容真实。接入可靠检索、引用原始来源、使用工具计算,并对关键主张做交叉核对,能降低风险,但检索结果的质量、问题表述和模型对证据的理解仍会带来误差。对医疗、法律、财务等重要问题,应核对权威来源,不要只凭回答的语气判断可信度。