熊友军提及人形机器人可选真机、仿真、互联网视频三类数据,该怎么选?
这三类数据不是互相替代的选项,更像是从“可控但贵”到“便宜但间接”的不同工具。怎么选,先看机器人要学什么、数据最终要用来验证什么。
真机数据最适合学习接触、力控和真实环境中的细节:例如抓取时物体滑动、柔性物体形变、相机与机械臂标定误差。这些因素很难被仿真完整复现。缺点是采集成本高、速度慢,设备磨损和安全管理也要考虑;覆盖长尾场景尤其困难。若任务高度依赖接触,真机数据通常不可少,但可以通过遥操作、动作片段复用和规范化采集提高效率。
仿真数据适合大量生成可控、带精确状态标注的样本,也便于系统地改变物体、光照、位置和扰动,训练前期尤其有用。风险在于仿真与现实存在差距:模型可能学到仿真器的纹理、动力学或传感器偏差。应把仿真当作扩充覆盖面的手段,并用随机化、参数校准以及少量真机数据做迁移;最终仍要在真实硬件上评测,不能把仿真成功率直接当成上线表现。
互联网视频获取便宜、场景和物体丰富,能帮助模型学习物体常识、动作顺序和人与环境的交互。但视频通常没有机器人视角、精确动作、力觉或控制指令;画面中的人类动作也不等于机械臂可执行轨迹。因此它更适合作为表征或先验的来源,或用于学习任务语义和粗略步骤,不宜未经处理就当作机器人动作标签。若要转成操作数据,需要解决视角、动作对齐和可执行性问题。
实用的起步方式是按瓶颈分配数据:先用视频或已有模型提供广泛先验,用仿真补足可控变化和稀有情形,再围绕真实任务采集少量但高价值的真机示范与失败案例。随后以真实场景的成功率、安全性和恢复能力评测,定位误差来自感知、动作映射还是接触动力学,再针对性补数据。若任务是无接触的视觉导航,真机操作示范的优先级可能较低;若是精细插接或柔性物体操作,真机闭环数据的重要性会明显上升。关键不是追求某一来源占比,而是让训练数据覆盖目标任务,并让评测条件接近实际部署。