EPro-PnP：モノクロオブジェクト姿勢推定のための汎用的エンドツーエンド確率的Perspective-n-Points

単一のRGB画像から3次元オブジェクトを推定する問題は、コンピュータビジョン分野における長年の課題である。近年、エンドツーエンドの深層学習の進展により、Perspective-n-Points（PnP）を微分可能レイヤーとして解釈するアプローチが提案されており、2D-3D対応点をオブジェクトの姿勢に関する勾配を逆伝播することで部分的に学習可能としている。しかし、従来の手法では、制約のない2D-3D対応点の全セットを初期から学習しようとする試みは収束しないため、決定論的な姿勢は本質的に微分不可能であるという問題がある。本論文では、一般的なエンドツーエンド姿勢推定に適した確率的PnPレイヤー「EPro-PnP」を提案する。この手法は、SE(3)多様体上の姿勢の分布を出力することで、連続領域にカテゴリー的Softmaxを導入するものであり、本質的に確率的な姿勢推定を実現する。2D-3D座標および対応する重みは、予測された姿勢分布とターゲット分布の間のKLダイバージェンスを最小化する過程で学習される中間変数として扱われる。本手法の背後にある原理は既存のアプローチを統一しており、アテンション機構に類似している。EPro-PnPは、LineMOD 6DoF姿勢推定およびnuScenes 3Dオブジェクト検出ベンチマークにおいて、従来の競合手法を大きく上回り、PnPに基づく手法とタスク特化型の最先端手法との間の性能ギャップを大幅に縮小した。