为什么 OpenAI 的语言模型会生成看似合理但错误的内容?
语言模型生成的是“在当前上下文中最可能接续的文字”,不是先查证事实再作答。训练时它从大量文本中学习语言和知识的统计关联,因此遇到熟悉的提问形式,即使缺少关键事实,也可能把相关概念拼成流畅、完整的答案;流畅度并不等于真实性。
常见原因有几类:训练资料本身可能含有错误、矛盾或过时信息;问题含糊或超出模型掌握范围时,模型仍可能倾向于给出确定回答;生成过程会受上下文和随机采样影响;而后续对话训练通常鼓励有帮助、自然的回应,却不能保证每个具体断言都经过外部核验。模型也可能把相似的人名、日期、论文或因果关系混在一起,甚至编出看起来像真的出处。
所以这不是每次都“故意撒谎”,而是生成机制与事实核验机制不同所造成的可靠性问题。涉及医疗、法律、财务、时效性信息或具体引文时,应查阅原始来源;也可以要求模型标明不确定之处、给出可核验依据,并逐项核对。检索工具和计算器能减少一部分错误,但检索结果、引用对应关系及推理本身仍需检查。