大模型为什么会一本正经地编造不存在的内容?
大模型会“编造”,核心原因是它的工作方式更像是在给定上下文后,逐词生成最可能接续的文本,而不是先查一份可靠数据库、确认事实后再作答。它学到的是语言和知识的统计关联;当问题超出训练数据、表述含糊,或要求精确到人名、日期、论文、网址时,仍可能生成一段听起来连贯、细节齐全却没有依据的内容。
训练目标也会放大这种倾向:模型通常被优化为给出有帮助、流畅的回答,而不是在每个断言前都完成外部事实核查。若它不确定却没有学会恰当地表达不确定,就可能把“合理的续写”说成“确定的事实”。此外,训练资料本身可能过时、互相矛盾或含有错误;上下文太长、提示中夹杂错误前提,也会使回答偏离事实。
这不等于模型每次都在有意撒谎。它没有像人一样的意图;所谓幻觉,是输出与可核实事实不符或缺少可靠依据。语言越流畅,只能说明表达自然,不能证明内容真实。
降低风险要按问题类型选择办法:查最新政策、价格或新闻时,应使用可信的实时来源并核对原文;涉及数字、引用和专有名词时,要求给出可验证出处,再逐条检查;高风险的医疗、法律、财务决策不能只依赖模型回答。检索增强、数据库查询、计算器和规则校验可以减少某些错误,但检索到的资料也可能不相关或不可靠,因此仍需核对。对模型使用者来说,一个实用信号是:当答案特别具体却没有来源,或对不确定问题表现得异常笃定时,把它当作待核实的假设,而非事实。