2 个月前
PVN3D:一种用于6自由度姿态估计的深度逐点3D关键点投票网络
He, Yisheng ; Sun, Wei ; Huang, Haibin ; Liu, Jianran ; Fan, Haoqiang ; Sun, Jian
摘要
在这项工作中,我们提出了一种新颖的数据驱动方法,用于从单个RGBD图像中进行鲁棒的六自由度(6DoF)物体姿态估计。与以往直接回归姿态参数的方法不同,我们采用基于关键点的方法来解决这一具有挑战性的任务。具体而言,我们提出了一种深度Hough投票网络,用于检测物体的三维关键点,然后通过最小二乘拟合的方式估计6D姿态参数。我们的方法是对在RGB基础上成功应用于6DoF姿态估计的二维关键点方法的自然扩展。它使我们能够充分利用刚体的几何约束条件,并结合额外的深度信息,从而便于网络的学习和优化。为了验证3D关键点检测在6D姿态估计任务中的有效性,我们进行了大量的实验。实验结果表明,我们的方法在多个基准测试中大幅超越了现有最先进的方法。代码和视频可在以下链接获取:https://github.com/ethnhe/PVN3D.git。