陈天桥称 AI 下半场竞争从「生成」转向「验证」,该路线落地存在哪些核心难点?
把竞争重点从“生成得像不像”转向“结果能不能被验证”,方向上很有价值,但验证并不是给答案再套一层模型打分。真正难的是建立可靠、可扩展且能对应实际风险的判定机制。
首先,不同任务的“正确”并不一样。数学题可以核对推导或运行程序,代码可以执行测试,事实问答可能要追溯证据;但开放式建议、审美判断和复杂决策往往没有唯一标准答案。若缺少独立的标准答案或可执行检查,验证器可能只是重复生成模型的偏见,形成“模型给答案、模型证明答案”的闭环。
其次,验证覆盖率和验证成本存在张力。逐条查证、调用工具、运行测试或请专家复核,都增加时延和费用;抽样或只检查部分条件则可能漏掉低频但严重的错误。系统必须根据后果分级:低风险任务可用轻量检查,高风险场景需要多源证据、边界条件测试和人工复核,并允许明确拒答,而非把“未发现错误”误当成“已经证明正确”。
再者,验证器本身也会失效。对抗性输入可能诱使检查器忽略关键条件;基准题被反复优化后会被“刷分”;外部资料、软件依赖和业务规则变化,也会让原先通过的检查不再适用。因此需要独立留出的评测集、红队测试、版本管理和持续监测,并检查验证器与生成器是否共享同一类盲点。
最后,验证结果要能解释并承担责任。一个分数或“通过”标签不足以支持业务决策,还要知道检查了什么、证据来自哪里、哪些条件未覆盖,以及失败时由谁处置。落地时通常应把可机器验证的子任务先自动化,把不确定和高影响部分升级给人,并记录生成、证据、检查规则及复核过程。核心难点因此不只是造出更强的验证模型,而是构建可信的评价标准、可审计的流程和与风险相匹配的成本机制。