有趣的事

OpenAI 的模型为什么会生成看似合理但错误的内容?

OpenAI 的模型会生成看似合理但错误的内容,核心原因是它首先是一个根据上下文预测后续文本的模型,而不是每句话都先查证事实再作答的数据库或搜索引擎。

训练时,模型从大量文本中学习词语、概念和表达之间的统计关联。回答问题时,它会据此生成在语言和语境上较可能的内容。若问题涉及冷门事实、最新变化、含糊前提,或训练材料本身有遗漏和冲突,模型仍可能把熟悉的表达模式拼成流畅答案,却没有足够依据保证事实正确。这类现象常被称为“幻觉”。

几个因素会让它更容易发生:

  • 知识覆盖有限或过时。 模型的参数不是实时更新的百科全书;训练截止时间之后的事件,或很少出现在训练资料中的细节,尤其难以可靠回答。
  • 问题给出的线索不足。 同一个名称可能对应多个人、产品或版本。模型若不追问,而是按最常见的语境补全,就可能答错对象。
  • 训练目标偏向生成合适的文本。 语言流畅、结构完整,并不等同于经过事实核验。模型也可能在错误前提上继续推演。
  • 资料和推理本身会出错。 来源文本可能有误,模型也可能误读条件、混淆相近概念,或在多步计算中出错。

因此,回答的语气和确定程度不能单独作为可信度指标。涉及医疗、法律、财务、时效性信息或重要决策时,应核对原始文件、权威来源和日期;要求模型给出可核验的出处、说明假设并标出不确定之处,也有帮助,但引用仍需自行确认。若能使用联网搜索、数据库查询或计算工具,并检查工具返回的材料,通常比单靠模型记忆更可靠;这些工具也不能保证零错误。

相关阅读