为什么生成式人工智能会生成看似合理但错误的信息?
生成式人工智能会出现“看似合理但错误”的回答,主要因为它的核心目标通常是根据上下文生成最可能接续的文本,而不是像数据库那样逐条检索并保证事实为真。训练让模型学会语言、概念之间的统计关联和常见表达方式;当问题的信息不足、表述含糊,或涉及罕见事实时,它仍会尽量补全一个连贯答案,于是可能把相近概念混在一起、补出不存在的细节,甚至编造来源。流畅和自信的措辞反映的是生成风格,不是事实核验结果。
这类错误也可能来自训练资料本身过时、互相矛盾或有误;模型对某些细节掌握不牢,却缺少可靠的“我不知道”判断;以及多步推理中某一步出错后,后续内容仍沿着错误前提展开。即便模型记住了某个事实,也可能因问题上下文、提示方式或生成随机性而取用不当。因此,不能仅凭答案听起来完整,就把它当成已经查证的结论。
降低风险要按任务选择办法:对时效性或可核实的问题,让模型检索可信资料,并检查引用是否确实支持对应说法;要求它区分已知事实、推断和不确定之处;对计算、代码或结构化结果,使用计算器、执行环境或规则校验,而不只依赖文字推演。高影响决策还应由专业人员复核。检索和工具能减少部分错误,但资料质量、检索覆盖和工具使用本身也可能出问题,所以关键结论仍需回到原始依据核验。