AIGC 生成的内容为什么会一本正经地编造事实?
AIGC“一本正经地编造事实”,核心原因是它通常在预测“接下来什么文字最像合理答案”,而不是像数据库那样先核验每句话是否真实。
大语言模型从大量文本中学习词语和句子的统计规律。遇到问题时,它会根据上下文逐词生成连贯的回答;如果训练中缺少某个事实、问题本身含糊,或用户要求的细节超出了模型掌握的范围,模型仍可能沿着最符合语言模式的方向补全。结果看起来结构完整、语气确定,却可能把相似人物、日期、论文或事件拼在一起,甚至生成并不存在的出处。这类现象常被称为“幻觉”。
还有几个因素会放大它:
- 知识并非实时且边界不清。 模型参数里编码的是训练中学到的模式,不是逐条带有来源和更新时间的事实表;新近变化或冷门细节尤其容易答错。
- 问题会诱导补全。 如果提问预设了一个错误前提,或要求给出模型无法确认的精确数字、引文,它可能顺着前提继续写,而不是主动指出前提有问题。
- 流畅度不等于置信度。 生成时倾向于选择连贯的表达,但这不代表它对事实有可靠把握;除非系统另有校准机制,语气强弱不能直接当作正确率。
- 检索也不是自动保险。 接入搜索或知识库可以提供依据,但检索结果可能过时、相关性不足,模型也可能误读或把来源没有支持的内容扩写出来。
使用时,可以把它当作起草和整理信息的工具,而不是最终事实裁判。对医疗、法律、财务、学术引用、具体日期和数据等重要内容,应要求它给出可核查的来源,并打开原文确认;来源不存在或无法支持结论,就不要采信。问题越具体,限定时间范围和适用条件越清楚,结果通常越容易核验。对于不确定的问题,让模型明确区分“已知、推测、无法确认”,也比要求它无论如何都给出肯定答案更稳妥。