iDP3 – 斯坦福大学联合多所高校推出的改进型3D视觉运动策略 | AI工具集

iDP3是什么

iDP3（Improved 3D Diffusion Policy）是斯坦福大学联合多所高校推出的改进型3D视觉运动策略(如三维扩散策略)，提升人形机器人在多样化环境中的自主操作能力。与传统3D策略不同，iDP3基于自我中心的3D视觉表征，摒弃对精确相机校准和点云分割的需求，让机器人能灵活地在真实世界中执行任务。iDP3在视图变化、新对象识别和新场景适应方面展现出卓越的泛化能力，显著提高人形机器人在未见过的环境中的实用性和灵活性。

iDP3的主要功能

• 自我中心3D视觉表征：用自我中心的3D视觉表征，直接在相机帧中处理3D数据，消除对相机校准和点云分割的需求。
• 泛化能力：
  • 视图泛化：在视图发生大的变化时仍然准确地抓取物体，而不受训练时特定视角的限制。
  • 对象泛化：能处理在训练中未见过的物体，得益于3D表征的使用，不依赖于特定对象的特征。
  • 场景泛化：在未见过的环境中执行任务，即使这些环境在复杂性和噪声水平上与训练环境有所不同。
• 高效率：在训练和部署时表现出高效率，减少对大量数据集的依赖，快速适应新环境。

iDP3的技术原理

• 3D视觉输入：基于从LiDAR相机获取的3D点云数据，数据提供了机器人周围环境的详细空间信息。
• 自我中心视角：与传统的3D策略不同，iDP3基于自我中心视角，即直接用相机帧中的3D表示。
• 扩大视觉输入：基于增加采样点的数量捕捉整个场景，提高对场景的全面理解。
• 改进的视觉编码器：用金字塔卷积编码器替代传统的多层感知器（MLP）视觉编码器，提高从人类示范中学习时的平滑性和准确性。
• 更长的预测视野：为应对人类专家的抖动和传感器噪声，基于延长预测视野提高学习效果。
• 优化和推理：在训练时用AdamW优化器，用DDIM（Denoising Diffusion Implicit Models）进行扩散过程的优化和推理。

iDP3的项目地址

iDP3的应用场景

• 家庭自动化：人形机器人在家庭中进行清洁和整理。
• 工业自动化：人形机器人在装配线进行精细的装配工作。
• 医疗辅助：人形机器人在医院辅助护理，帮助移动患者。
• 搜索与救援：人形机器人在灾难现场进行搜救。
• 教育与培训：人形机器人作为教学助手，展示复杂操作过程。