HOVER – 英伟达推出的通用人形机器人功能控制器1.5M小模型 | AI工具集

HOVER是什么

HOVER是英伟达推出的1.5M小模型，全称为“Humanoid Versatile Controller”，即人形机器人的多功能全身神经通用控制器。模型用150万参数实现对机器人复杂动作的控制，能适应多样任务如导航、桌面操作和移动操作等，每种任务需要独特的控制模式。HOVER的核心创新在于用全身运动模仿作为各种任务的通用抽象，提供通用的运动技能，用在学习多种全身控制模式。基于多模式策略蒸馏框架将不同控制模式整合到统一的策略中，实现模式间的无缝切换，且保留每种模式的优势，提高未来人形机器人应用的效率和灵活性。

HOVER的主要功能

• 多模式控制：HOVER能无缝切换不同的控制模式，如导航、桌面操作和移动操作等，每种模式都有特定的控制需求。
• 运动学位置跟踪：HOVER支持对机器人关键部位的3D位置进行跟踪，实现精确的运动复制。
• 关节角度跟踪：HOVER能跟踪每个机器人电机的目标关节角度，实现复杂的肢体动作。
• 根跟踪：HOVER能跟踪机器人的根速度、高度和方向，对保持平衡和执行动态动作至关重要。
• 统一命令空间：HOVER设计统一的命令空间，适应各种控制设备，如操纵杆、动作捕捉系统、外骨骼和虚拟现实头设。
• 策略蒸馏：HOVER从Oracle策略中提取和蒸馏，将多种控制技能整合到单一的“通用策略”中，提高效率和灵活性。

HOVER的技术原理

• 本体感觉和命令屏蔽：HOVER基于本体感觉（机器人自身的状态感知）和命令屏蔽（选择性激活不同的命令空间）确定任务命令，支持独立控制机器人的上半身和下半身。
• 多模式策略蒸馏框架：HOVER用策略蒸馏技术，将从大规模人类运动数据中学习到的Oracle策略转化为能处理多种控制模式的单一策略。
• DAgger框架：HOVER采用DAgger（Dataset Aggregation）框架对齐学生策略和Oracle策略的动作，基于监督学习优化学生策略。
• 模拟训练：HOVER的训练在NVIDIA Isaac模拟套件中进行，套件基于GPU加速，能快速模拟长时间的训练，将模型迁移到现实世界中，无需额外的微调。
• 统一命令空间设计：HOVER的命令空间设计既通用又原子，能覆盖大多数现有的控制配置，且能任意组合支持各种模式。
• 运动重定向：HOVER能将人类动作数据集重定向为机器人动作数据集，基于匹配关键点和优化参数实现。

HOVER的项目地址

HOVER的应用场景

• 导航与移动：HOVER能控制人形机器人在复杂环境中进行导航和移动，如在不平坦的地面上行走或在狭窄的空间中穿梭，适于搜索救援、导览服务等场景。
• 桌面操作：在需要精细操作的桌面任务中，如组装电子元件或进行实验室工作，HOVER能精确控制机器人的上肢和手部关节，实现复杂的手眼协调操作。
• 移动操作（Loco-manipulation）：结合移动与操作的任务，例如在移动过程中抓取和搬运物体，HOVER能协调机器人的全身动作，实现流畅的搬运和操作任务。
• 人机交互：HOVER支持各种输入设备（如VR头盔、动作捕捉系统、外骨骼）进行人机交互，让机器人能模仿人类的动作和行为，适于娱乐、教育和培训等领域。
• 远程操作与仿真：在远程操作场景中，HOVER能实时响应操作者的指令，执行精确的远程任务，如远程手术辅助或危险环境作业。