OpenAI 的语言模型为什么会编造看似可信的内容?
语言模型“编造”内容,通常称为幻觉。核心原因是它的训练目标主要是根据上下文预测下一个 token,而不是像数据库那样只在核验过的事实中检索答案。模型学到的是语言和概念之间的统计关联;当问题超出知识范围、信息已经过时或上下文不足时,它仍可能生成一个语法通顺、符合常见表达模式的续写,却没有可靠证据支撑。
几个因素会让这种现象更明显:训练语料本身可能含有错误、矛盾或缺失;模型对自身不确定性的估计并不总是准确;问题带有错误前提时,模型可能顺着前提作答;要求精确的人名、日期、引文或来源时,模型也可能把相似信息拼接起来。随机采样等生成设置会影响措辞和多样性,但不是幻觉的根本来源,单纯调低随机性也不能保证事实正确。
因此,流畅、自信不等于真实。可以要求模型标明不确定之处、区分事实与推测,并给出可核查的出处;涉及医疗、法律、财务或近期事件时,应再用权威原始来源核实。接入检索或工具能减少一部分错误,但检索结果可能不相关或本身有误,模型也可能误读,所以仍需核对关键证据。