在今年的英伟达GTC展会上,英伟达带来了Isaac Teleop。Isaac Teleop是一个跨模拟和现实世界系统的远程操作和数据收集的统一框架,标准化了人类输入如何转化为机器人动作。

全新版本的Isaac Teleop在机器人领域带来了更广泛应用。随着该领域向具身智能和通用机器人政策发展,瓶颈不再仅仅是模型架构,而是高质量人类演示数据方向转变。NVIDIA的Isaac生态系统一直在不断发展,其提供了一个端到端的堆栈,涵盖模拟(Isaac Sim)、学习(Isaac Lab)和遥操作(Isaac Teleop)。
Isaac Teleop与Manus的整合
MANUS作为高保真手部跟踪输入设备被集成到Isaac Teleop中,以高维形式捕捉精确的手部运动,供机器人和模拟环境实时使用。
通过采集精确交互动态,例如手指卷曲、收缩调制和微调,MANUS手套在工具使用、抓握适应和双手协调等任务中可实现灵巧操作。这使得遥操作工作流程能够包含对复杂操作至关重要的详细手部行为。
系统架构和集成
从系统的角度来看,MANUS通过一个专用插件集成到Isaac Teleop中,作为遥操作堆栈中的输入设备。手和手指的运动被实时捕捉,并通过重定目标管道进行处理,以生成机器人动作。
Isaac Teleop标准化了模拟和真实世界系统之间的管道,在两种环境中实现了一致的控制和数据收集。人类运动被翻译成机器人指令,同时能够收集演示数据。
MANUS可以捕捉精细的手和手指运动,提高远程操作精度和数据质量。MANUS SDK*支持将跟踪数据传输到Teleop框架中。
工作流程和集成优势
MANUS与Isaac Teleop的集成简化了遥操作工作流程的构建和扩展。MANUS手套可以通过插件连接到Isaac Teleop,而无需为每个系统建立定制的集成管道。这减少了集成工作,并支持跨不同机器人和环境的重复使用。
此外将Manus采集到的数据投入到机器人训练使用,还提高了模拟和真实世界系统之间的一致性。相同的MANUS设置可以在模拟和真实世界环境中重复使用,以减少数据收集的差异,并支持更有效的模拟到真实的工作流。
使用MANUS捕获的演示可用于学习管道,高保真手指跟踪保留了灵巧操作所需的细节,并提高了训练数据的质量。
Isaac生态系统中的MANUS:从遥操作到可扩展训练
在Isaac生态系统中,Isaac Teleop是Isaac lab中连接模拟、数据收集和学习的更广泛数据管道的一部分。MANUS通过在模拟和真实世界环境中提供高保真的手部数据输入,增强了这一渠道。
通过Isaac Teleop收集的演示可以集成到学习管道中,为灵巧手操作任务保留细粒度的运动。通过与Isaac lab整合,开发人员可以使用真实的人类运动来驱动虚拟机器人手部,从而在将策略部署到物理机器人投入生产之前,在模拟中实现快速原型制作、验证和数据生成。
Isaac Teleop和Isaac Lab共同提供了一个紧密集成的工作流程,从人工演示到策略培训和在真实硬件上的部署。最近NVIDIA主导的研究自我量表强调了大规模人类数据在训练灵巧机器人策略中的重要性。在这些方法中,准确的手和手指运动成为学习的关键输入信号。MANUS解决方案能够捕捉高保真的人体运动,支持小规模的远程操作数据收集和新兴的大规模人机学习工作流。
关于爱迪斯通
爱迪斯通作为Manus的中国大陆代理商将尽全力为您提供优质服务。我们希望将更多标杆级与应用尖端技术的科技产品带入到蓬勃发展的国内市场中,以协助更多企业与高校拓展技术开发、探索创新领域。