17 天前

Text2Loc:基于自然语言的三维点云定位

Yan Xia, Letian Shi, Zifeng Ding, João F. Henriques, Daniel Cremers
Text2Loc:基于自然语言的三维点云定位
摘要

我们针对基于少量自然语言描述的三维点云定位问题,提出了一种新型神经网络Text2Loc,能够充分解析点云与文本之间的语义关联。Text2Loc采用从粗到精的定位流程:首先进行文本-子地图的全局场景识别,随后实现精细定位。在全局场景识别阶段,通过一种结合最大池化机制的分层变压器(HTM)捕获每条文本提示之间的关系动态;同时,利用文本-子地图对比学习策略,有效平衡正负样本对之间的关系。此外,我们提出一种新颖的无需匹配的精细定位方法,进一步优化定位结果,完全摒弃了复杂文本-实例匹配过程,相较以往方法更加轻量、高效且精度更高。大量实验表明,在KITTI360Pose数据集上,Text2Loc将定位精度提升至当前最先进方法的2倍。项目主页已公开,访问地址为:\url{https://yan-xia.github.io/projects/text2loc/}。