Astra：通过层次多模态学习实现通用移动机器人
Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang
发布日期: 6/10/2025
摘要
现代机器人导航系统在多样且复杂的室内环境中遇到诸多困难。传统方法依赖于多个模块，这些模块使用小型模型或基于规则的系统，因此缺乏对新环境的适应能力。为了解决这一问题，我们开发了Astra，这是一种全面的双模型架构，包括Astra-Global和Astra-Local，用于移动机器人导航。Astra-Global是一种多模态大语言模型（LLM），它处理视觉和语言输入，利用混合拓扑-语义图作为全局地图来执行自定位和目标定位，并且其性能优于传统的视觉位置识别方法。Astra-Local是一个多任务网络，负责局部路径规划和里程估计。其4D时空编码器通过自监督学习进行训练，生成稳健的4D特征以支持下游任务。规划头通过流匹配和一种新颖的掩码ESDF损失来最小化碰撞风险，生成局部轨迹；而里程计头则通过变压器编码器整合多传感器输入，预测机器人的相对姿态。在实际部署中，Astra被应用于内部的移动机器人上，在多种室内环境中实现了高整体任务成功率。