为什么 AIGC 能写出通顺的内容,却仍会编造信息?
因为“说得通顺”和“说得真实”是两种不同能力。大语言模型主要根据训练中学到的模式,逐步预测接下来最可能出现的词句;训练目标通常奖励语言连贯、符合上下文,并不等于逐条核验事实。因此它可以很擅长组织表达,却在证据不足时仍生成看起来合理、实际错误的内容,这通常称为“幻觉”。
训练资料本身也可能含有错误、过时或相互矛盾的信息;问题越冷门、含糊,或要求精确日期、数字、出处时,模型越容易用熟悉的表达模式补全空白。通顺、自信的语气并不能证明内容可靠。
降低风险的办法包括:让模型说明不确定之处并给出可核查来源;对重要或时效性信息用可靠资料交叉验证;把复杂问题拆开核实。即使附有引用,也应检查引用是否确实支持结论。