1月23日消息,如何将视觉语⾔基础模型(Vision Language Models, VLMs)应⽤于机器⼈以实现通⽤操作是具身智能领域的⼀个核⼼问题,这⼀⽬标的实现受两⼤关键挑战制约:
VLM缺少精确的3D理解能⼒:通过对⽐学习范式训练、仅以2D图像/⽂本作为输⼊的VLM的天然局限;
⽆法输出低层次动作:将VLM在机器⼈数据上进⾏微调以得到视觉 - 语⾔ - 动作(VLA)模型是⼀种有前景的解决⽅案,但⽬前仍受到数据收集成本和泛化能⼒的限制。
上海智元新创技术有限公司官方今日发文称,北⼤携⼿智元机器⼈团队提出OmniManip架构,基于以对象为中⼼的3D交互基元,将VLM的高层次推理能力转化为机器⼈的低层次高精度动作。
针对⼤模型幻觉问题和真实环境操作的不确定性,OmniManip引⼊了VLM规划和机器⼈执⾏的双闭环系统设计,实现了操作性能突破。目前项⽬主⻚与论⽂已上线,代码与测试平台即将开源。
从智元机器人官方获悉,OmniManip的关键设计包括:
基于VLM的任务解析:利⽤VLM强⼤的常识推理能⼒,将任务分解为多个结构化阶段(Stages),每个阶段明确指定了主动物体(Active)、被动物体(Passive)和动作类型(Action)。
以物体为中⼼的交互基元作为空间约束:通过3D基座模型⽣成任务相关物体的3D模型和规范化空间(canonical space),使VLM能够直接在该空间中采样3D交互基元,作为Action的空间约束,从⽽优化求解出Active物体在Passive物体规范坐标系下的⽬标交互姿态。
闭环VLM规划:将⽬标交互姿态下的Active/Passive物体渲染成图像,由VLM评估与重采样,实现VLM对⾃身规划结果的闭环调整。
闭环机器⼈执⾏:通过物体6D姿态跟踪器实时更新Active/Passive物体的位姿,转换为机械臂末端执⾏器的操作轨迹,实现闭环执⾏。
此外,OmniManip具备通⽤泛化能⼒,不受特定场景和物体限制。团队已将其应⽤于数字资产⾃动标注/合成管道,实现⼤规模的机器⼈轨迹⾃动采集。该研究团队将开源泛化操作⼤规模数据集和对应的仿真评测基准。
据此前报道,以“天才少年”身份加入华为的稚晖君于2022年底宣布离职,创业智元机器人。2024年9月3日,智元机器人完成A++++++轮融资,估值已超过70亿元,得到了包括北汽、上汽、比亚迪在内的国内汽车巨头支持。
目前,智元机器人量产的第1000台通用具身机器人已于本月(1月6日)正式下线,其中包括731台双足人形机器人(远征A2/灵犀X1)和269台轮式通用机器人(远征A2-D/A2-W)。
{{item.content}}