有趣的事

为什么 OpenAI 的语言模型会一本正经地编造信息?

语言模型并不是先查到一个事实库、再把答案逐字取出来。它通常根据上下文逐词预测后续文本:训练让它学会了哪些表达和论证在类似语境中常见,却不自动保证每个生成的细节都对应现实。于是,当问题要求具体事实而上下文不足时,模型仍可能续写出语气连贯、结构完整但没有依据的内容,这通常被称为“幻觉”。

这不只是“故意撒谎”。模型没有人的意图;它是在优化文本生成,而不是天然地执行事实核验。几种情况尤其容易出错:问题含糊或前提错误;涉及冷门、最新或训练资料覆盖不足的信息;要求精确的人名、日期、数字、引文或出处;以及模型被要求必须给出答案、没有可靠检索工具或没有被训练成在不确定时停下来。即使大部分回答正确,一个小的实体或数字错误也可能改变结论。

降低风险要让生成与核验分工:对时效性问题使用可信来源检索,并检查来源是否直接支持对应说法;对数字、引文和关键专名逐项核对原文;要求模型区分已知事实、推断和不确定处,而不是把流畅度当作证据。检索增强能提供依据,但检索到的页面也可能过时或不可靠,因此仍需核验。用于医疗、法律、财务等高影响决策时,应由合格的人或权威资料复核。简言之,模型的确定语气不等于确定性,重要信息需要独立证据。

相关阅读