有趣的事

AI 给自己出题却把自己教傻了,原因是什么?推理模型该如何打破自我进化瓶颈?

AI给自己出题、再用自己的答案训练自己,容易陷入“自我确认”而不是持续进步。模型生成的题目和解答共享同一套偏差:题目可能只覆盖它擅长的模式,答案也可能把似是而非的推理包装得流畅;若再由模型或同源奖励模型判分,错误就会被反复筛选、放大。合成数据数量增加,并不等于有效信息增加。训练还可能过度集中在窄分布,使表达与解题策略趋同,遗忘原有能力,出现所谓模型坍塌或性能退化;但这不是“用合成数据必然变笨”,关键在数据质量、分布和筛选方式。

要打破瓶颈,重点不是让模型无限自我对话,而是让闭环中出现独立、可检验的新信号:

  • 对有客观标准的任务,用编译器、单元测试、定理证明器、计算器或环境交互结果验证答案;把可执行结果而非文字自评作为主要反馈。
  • 生成多样化、难度递进且有明确目标的问题,并用独立验证器过滤歧义、重复题和错误答案。对开放题,可以组合多个评审、盲评和人工抽检,监测评审器与被评模型是否同源偏置。
  • 保留高质量的人类数据、真实用户问题和外部新样本,按来源与时间追踪数据谱系;不要让未经验证的合成内容无限回流。训练时混合真实与合成数据,并用固定、未参与训练的基准和分布外任务监控退化。
  • 将“提出问题、作答、验证、更新”拆成不同角色或不同模型,必要时引入搜索、实验或工具调用;角色分离能减轻同一模型自我认同,但不能替代外部验证。

因此,自我进化的上限通常由反馈是否提供独立信息决定。对可验证任务,机器反馈可以支持规模化迭代;对价值判断、事实边界和复杂开放问题,仍需真实证据与适当的人类监督。衡量进步应看独立评测上的可靠性、泛化和校准,而不是自生成题库上的分数。

相关阅读