人工智能为什么会一本正经地编造不存在的信息?
人工智能“一本正经地编造信息”,通常称为“幻觉”。以大语言模型为例,它的核心任务是根据上下文预测接下来最可能出现的词,并不等同于先查证事实再作答。训练中学到的是语言和知识的统计关联;当问题超出训练资料、涉及冷门或刚发生的事实,或提问本身含糊时,模型仍可能把零散线索拼成语法流畅、听起来合理但实际不存在的答案。
这种现象还与表达方式有关:模型往往倾向于给出连贯完整的回复,而不是准确判断“我不知道”。如果训练或使用中的评价更看重是否回答、是否顺畅,而没有充分惩罚无依据的断言,这种倾向就会更明显。模型给出的把握语气也不一定代表它对事实有可靠的置信度。
减少风险可以从几方面入手:让模型在不确定时明确说明;对日期、数字、引文和专有名词等可核查内容,要求提供可验证出处并实际核对;通过检索增强生成,让回答基于相关资料;对医疗、法律等高风险问题,再由专业人士复核。检索和引用能降低错误率,但不能保证零错误——模型可能误读资料,或引用并不支持结论的内容。因此,越是重要或具体的事实,越不应只凭回答听起来像真的就采信。