人工智能模型为什么会一本正经地给出错误答案?
人工智能模型通常不是先查到一个确定事实再复述,而是根据训练中学到的语言规律,逐步预测接下来最可能出现的词。因此,它能写出连贯、像专家的回答,却不等于回答经过事实核验。
当问题涉及训练资料中没有的信息、较新的变化、冷门细节,或问题本身有歧义时,模型仍会尽力补全文本。它可能把相似概念、不同来源的片段或看似合理的细节拼在一起,形成错误答案。这类现象常称为“幻觉”。如果上下文给了错误前提,模型也可能顺着前提回答,而没有主动指出问题。
语气的确定程度也不能直接反映事实可靠性。模型生成文字时,流畅和自信的表达是语言模式的一部分;除非系统另外接入检索、计算或校验机制,并核对了结果,否则它不一定知道自己何时答错。即使使用搜索或工具,来源过时、检索偏题、引用理解错误,也仍可能导致错误。
使用时可以把模型当作整理思路和提供线索的助手:要求它标明不确定之处、给出可核查的出处或计算过程;对于医疗、法律、财务等重要决定,以及日期、数字、引文和具体人物事实,应回到可靠的一手资料核实。模型给得越流畅,不代表越应该省略核验。