李飞飞在 CoRL2026 演讲提出从「橱柜模型」到世界模型,机器人需要怎样的 AI 支持?
2026-11-17 阅读 1
机器人要从“橱柜模型”(只在固定场景、固定物体和固定流程里识别与执行)走向世界模型,AI 的支持不能只停留在看懂图像或生成动作指令,而要形成“感知—预测—行动—校正”的闭环。
首先,模型需要把摄像头、深度、触觉、关节状态等信号融合成可供行动的空间表征,知道物体在哪里、如何摆放、哪些部分可抓,以及自身姿态和障碍物之间的关系。其次,它要能预测动作后果:推一下会不会滑落,抓取时是否会碰撞,移动物体后周围空间会怎样变化;预测不必完美,但应表达不确定性,并在信息不足时主动观察或尝试低风险动作。
这类能力还需要大量真实交互经验。单靠互联网图文难以教会机器人摩擦、重量、柔顺性等物理规律,因此可结合仿真、遥操作示范、公开视频和少量现场数据,并通过仿真到现实的校准与持续学习来降低数据成本。通用模型可以提供语义理解和任务分解,机器人策略则必须接入具体的身体形态、传感器和控制约束;同一条“拿起杯子”的指令,在不同机械臂上并不是同一组动作。
最后,部署还要求可靠性与安全:对陌生物体和超出训练分布的情况能识别风险,动作受力、速度和工作空间受限,失败后能停下、回退或请求人协助。世界模型的价值不只是让机器人“会说、会看”,而是让它在真实环境中能预测、试错、纠正,并在不确定时谨慎行动。
更新于 2026年11月17日
赞 0