有趣的事

谷歌传奇工程师公开给智能爆炸泼冷水,现阶段自迭代 AI 还差哪些核心落地门槛?

“自迭代 AI”需要先拆成不同强度的说法:让模型在既定目标下搜索提示词、改代码或调参数,已经可以做;让系统自主提出可靠的新方法、验证其效果,并在真实环境中持续改进,则是另一回事。后者目前的门槛不只是模型够不够聪明,而是整个闭环能否可信运行。

首先是目标与评价。系统必须有可操作、难以投机的指标和独立验证集。若只优化一个代理指标,模型可能学会刷分,却没有改善实际任务;若评价依赖昂贵的人类判断,迭代速度和规模也会受限。更麻烦的是,评测集可能被训练过程“看熟”,因此需要留出未见任务、对照实验和重复验证。

其次是提出改动后的验证成本。模型生成的代码或方案可能表面合理,却引入回归、边界错误或安全漏洞。要有可复现的实验环境、自动测试、基准对比、回滚机制,并在多个随机种子或真实样本上确认收益。对模型结构、训练算法这类改动,训练和评估消耗的算力、数据与时间也可能远高于“提出一个点子”的成本;若改进幅度小于实验噪声,就谈不上可靠进步。

第三是数据和反馈质量。真实应用中的反馈往往稀疏、延迟且带偏差,用户行为不等于正确性;系统若用自己生成的数据继续训练,还可能放大错误或造成分布退化。需要数据来源与许可管理、污染检测、质量筛选,以及防止隐私泄露和反馈回路失控的措施。

最后是权限与部署边界。能修改自身代码、访问数据或调用工具的代理,一旦判断错误,影响面会比只生成文本大得多。实际落地通常要从沙箱、最小权限、人工审批、灰度发布和可审计日志开始;高风险变更不能仅凭系统自己的评测就自动上线。

因此,现阶段更务实的路径是“受约束的自动改进”:在范围明确的任务上提出候选改动,由独立评测筛选,再经人工或分级发布验证。它能减少工程师试验成本,但距离普遍、自主、可持续地改进自身,仍受评价可信度、验证成本、数据反馈和安全治理共同限制。

相关阅读