借助Manus从仿真与数小时真实世界数据中习得机器人灵巧操作

无需大量真实世界数据，教会机器人实现灵巧作业

训练机器人灵巧操作策略，通常依赖真实世界演示数据，但这类数据若要覆盖大量任务，成本十分高昂。该方案扩展性较差，因为每一项新任务都需要操作人员、实体机器人，还要反复开展数据采集工作。近期一项研究解决了这一难题：将绝大部分数据采集工作转移至仿真环境完成，再利用少量真实世界数据，把策略迁移适配到实体硬件上。

在仿真环境中采集多样化演示数据

预训练阶段，操作人员在物理仿真器内操控一台 56 自由度双臂灵巧机器人：借助 VR 头显追踪人手，通过逆运动学驱动机器人的机械臂与手指。由于数据采集无需依赖实体硬件，虚拟物体可以快速重置。5 名操作人员在 6 种场景、数百个物体样本下，累计采集 75 小时的演示数据，执行开放式任务，记录达成每个目标的多种不同操作方式。 研究人员利用这份数据训练了一个参数量达 2.22 亿的扩散变换器模型。该模型基于多视角图像与本体感受信息预测动作片段，依托感知运动历史，实现具备响应能力、时序连贯的控制效果。

依托高精度真实世界遥操作完成微调

预训练完成后，研究团队通过短时微调环节，将训练得到的策略部署到实体硬件。硬件平台搭载两台 YAM Pro 机械臂，每台机械臂装配一只 22 自由度 Sharpa 灵巧手；同时配备三台 RealSense D405 相机，分别采集俯视视角以及两只机械手的第一人称视角画面。 针对每项任务，研究人员使用一套复刻仿真环境配置的遥操作系统，采集 12 小时的真实演示数据。该阶段操作人员佩戴 MANUS 数据手套实现手指追踪，搭配外接 Quest 控制器完成手腕追踪，替代仿真环境里 VR 头显自带的手部追踪功能。团队表示，这套组合实现了更流畅、精度更高的控制，这对于机器人应对遮挡、远距离作业场景至关重要。

大规模仿真数据结合少量真实数据的实验结果

在全部五项双臂任务（摆放盘子、堆叠杯子、玩叠叠乐、悬挂马克杯、把瓶子投进收纳箱）中，经过仿真预训练的策略，性能均优于直接使用同等真实演示数据从零训练的同架构策略。并且前者全程训练损失值更低，研究人员认为该特征对应着更优秀的真机表现。 该研究证明：对灵巧操作策略做真机适配时，大规模仿真预训练能够降低对真实世界演示数据的依赖。在真实数据采集过程中，MANUS 数据手套作为遥操作系统的一部分完成手指追踪。据研究人员反馈，这套系统可以输出更顺滑、精度更高的控制信号，尤其适合存在遮挡以及远距离操作的工况。

关于爱迪斯通

爱迪斯通作为Manus的创始代理商将全力为您提供完善的服务。我们希望将更多标杆级与应用尖端技术的产品带入到蓬勃发展的国内市场中，以协助更多企业与高校拓展技术开发、加快项目落地。