融合视觉外观和几何信息的多模态6自由度物体跟踪

在许多高级机器人操作的应用中，需要连续获取六自由度（6DoF）物体姿态估计。在这项工作中，我们开发了一种多模态跟踪器，该跟踪器融合了视觉外观和几何信息来估计物体的姿态。算法扩展了我们之前的方法ICG（基于几何的方法），进一步考虑了表面外观。一般来说，物体表面包含来自文字、图形和图案的局部特征，以及由不同材料和颜色引起的全局差异。为了整合这些视觉信息，我们开发了两种模态。对于局部特征，使用关键点特征来最小化关键帧与当前图像之间的点距离。对于全局差异，提出了一种新的区域方法，该方法考虑了物体表面上的多个区域。此外，它还允许对外部几何形状进行建模。在YCB-Video和OPT数据集上的实验表明，我们的方法ICG+在这两个数据集上均表现最佳，优于传统的和基于深度学习的方法。同时，该算法具有很高的效率，运行频率超过300赫兹（Hz）。我们的跟踪器源代码已公开可用。