17 天前

Text2Pos:文本到点云的跨模态定位

Manuel Kolmet, Qunjie Zhou, Aljosa Osep, Laura Leal-Taixe
Text2Pos:文本到点云的跨模态定位
摘要

基于自然语言与移动设备及家用电器进行交互正日益流行,未来有望成为与移动机器人进行沟通的自然方式。为实现这一目标,我们研究了跨模态的文本到点云定位技术,以实现对车辆接驳点或货物交付位置等场景的精准指定。具体而言,我们提出了Text2Pos——一种跨模态定位模块,该模块采用粗到细的策略,学习将文本描述与环境中的定位线索进行对齐。给定环境的点云数据,Text2Pos能够根据对周围环境的自然语言描述,准确定位目标位置。为训练Text2Pos并评估其性能,我们构建了KITTI360Pose,这是首个基于近期发布的KITTI360数据集的此类任务专用数据集。实验结果表明,在前10个检索结果中,我们能够将65%的文本查询定位在距离目标位置15米以内的范围内。这一成果为基于语言的导航研究奠定了初步基础,我们希望它能激发未来在该方向上的进一步发展。