随着英伟达推进灵巧机器人智能,训练数据仍然与模型架构一样重要。有效的机器人数据收集将视觉观察、人类运动和可执行的机器人动作连接在一致的训练数据集中。

对于机器人团队来说,这意味着捕捉机器人模仿学习的可用演示,与不同的机器人手集成,并测量任务性能和适应能力的改善。
英伟达的研究记录了MANUS手套为这些跨视觉-语言-动作模型(VLAs)和世界动作模型(WAMs)的工作流做出的贡献。
VLA训练:从人类运动到机器人动作

GR00T N1使用MANUS手部跟踪手套进行机器人遥操作,将人类手部运动转化为机器人训练数据,以进行灵巧操作。
视觉-语言-行动模型将视觉观察和指令转化为行动。对于灵巧的操作,训练演示必须代表协调的手指关节和手腕运动。
GR00T N1记录了使用MANUS Metagloves进行手指跟踪和VIVE Ultimate Trackers进行手腕姿态跟踪的机器人远程操作管道。人类的动作被重新定向为机器人命令,并与视觉观察一起记录下来。
MANUS data手套提供手部运动测量数据。支持校准、运动重定向和同步记录,并将这些测量结果转化为机器人训练数据。
EgoScale:对准至关重要的精度

从20,854小时的人类视频到灵巧的操作,MANUS手套提供了人类与机器人一致的训练数据。
自我量表将大规模人类视频预训练与为精确人类-机器人对准而设计的较小数据集相结合。
它的VLA在超过20,854小时的以自我为中心的视频上进行了预训练。随后的对准阶段在包括大约50小时的人类数据和4小时的机器人数据的数据集中使用MANUS手套。手部运动测量、手腕跟踪和匹配的摄像机视点在人类演示和机器人传感和控制之间建立了对应关系。
在这个阶段,MANUS贡献了精确的手部运动数据,有助于将大规模人类运动先验转化为可执行的机器人动作。对于机器人数据收集,这说明了目标运动捕捉技术已经能够将广泛的人类经验与特定的机器人实施例联系起来。

EgoScale中以自我为中心的数据收集,将MANUS手部跟踪手套与头部和腕部摄像头相结合。
WAM训练:学习动作及其视觉效果

在没有机器人参与的情况下收集机器人数据,因为MANUS手跟踪手套捕获了GR00T 2培训的实验室任务。
世界动作模型共同预测未来的视频和机器人动作。GR00T 2演示显示MANUS捕捉的人体运动支持这种联合学习过程。
视频序列监督未来帧预测,而人类和机器人的动作训练一个共享的动作头。特定任务的人类演示与任务无关的机器人游戏数据相结合,使模型基于目标机器人的外观和运动。
这种方法能够在没有特定任务的机器人遥操作演示的情况下进行学习,同时保留机器人经验作为训练的一部分。
区别在于培养目标。在VLA的例子中,MANUS支持动作监督和化身对准。在GR00T2中,捕捉到的动作与视频一起参与学习未来的视觉结果和相应的机器人动作。
从研究到数据收集工作流程
对于开发机器人数据收集工作流的团队来说,捕获管道必须符合机器人的运动学和模型的训练目标。四个评估领域有助于确定工作流是否提供有用的数据并支持有效的学习。
评估区域 | 主要考虑事项 |
机器人集成 | 机器人关节范围内的校准、坐标对准和重定目标 |
培训数据质量 | 手部动作、手腕姿态和图像的同步;完整性和一致性 |
收集效率 | 每个可用演示的操作员时间、处理工作量和成本,包括重新录制 |
学习成果 | 任务成功、适应时间和对新任务或新对象的表现 |
MANUS支持这些研究管道中的手部动作捕捉和人-机器人对准。精确的手部跟踪和机器人特定的运动映射有助于将捕捉到的运动转化为可用的机器人训练数据。
关于爱迪斯通
爱迪斯通作为Manus创始代理商,将为您提供完善的服务。我们希望将更多标杆级与应用尖端技术的产品带入到蓬勃发展的国内市场中,以协助更多企业与高校拓展技术开发、加快项目落地。产品询价或购买请私信或电话联系。