有趣的事

为什么 OpenAI 的语言模型会编造看似可信的信息?

OpenAI 的语言模型会编造看似可信的信息,核心原因是:它擅长生成“接下来最像什么”,但这不等于它每句话都经过事实核验。

模型在训练中主要学习根据上下文预测后续文本。遇到熟悉的话题时,它能组合出流畅、符合常见表达的答案;遇到知识缺口、问题前提有误、信息过时或提问过于具体时,也可能沿用同一种生成机制,把零散线索补成一个貌似完整的说法。专有名词、日期、数字和引用尤其容易被补错,因为它们形式上很像真实答案,却未必有可靠依据。

还有几个因素会放大问题:训练材料本身可能含有错误或相互矛盾的信息;模型对“不知道”的判断并不总是可靠;提问者若在问题里暗示某个结论,模型可能顺着这个前提回答;即使模型能调用搜索或其他工具,工具结果也可能缺失、过期,或被错误理解。语言流畅度反映的是表达能力,不是事实置信度。

因此,重要结论应要求可核查的来源,并直接检查来源是否支持对应说法;对医疗、法律、财务、时效性信息和精确数字,尤其要用权威资料交叉验证。使用模型时也可以要求它区分已知与推测、标出不确定处;若它给不出可验证依据,就不应把听起来肯定当作证据。

相关阅读