EPro-PnP：モノクロオブジェクトポーズ推定における汎用的なエンドツーエンド確率的Perspective-n-Points

単一のRGB画像から3次元オブジェクトを推定する問題は、コンピュータビジョンにおける長年の課題である。近年、エンドツーエンドの深層学習の進展により、Perspective-n-Point（PnP）を微分可能なレイヤーとして解釈するアプローチが提案されており、姿勢損失の勾配を逆伝播することで、2次元-3次元点対応関係の一部を学習可能となっている。しかし、初期状態から完全な点対応関係を学習することは極めて困難であり、特に姿勢の解が曖昧な場合、理論上、最適な姿勢は点群に対して微分不可能となる。本論文では、一般のエンドツーエンド姿勢推定に適した確率的PnPレイヤーであるEPro-PnPを提案する。EPro-PnPは、SE(3)多様体上に微分可能な確率密度関数を持つ姿勢の分布を出力する。2次元-3次元座標およびそれに対応する重みは、予測された姿勢分布とターゲット分布のKLダイバージェンスを最小化することで学習される中間変数として扱われる。本手法の背後にある原理は従来のアプローチを一般化しており、アテンション機構に類似している。EPro-PnPは既存の対応関係ネットワークを強化し、LineMOD 6DoF姿勢推定ベンチマークにおいてPnPベース手法とタスク特化型最先端手法との性能ギャップを縮小する。さらに、EPro-PnPはネットワーク設計の新たな可能性を模索する手助けとなり、nuScenes 3Dオブジェクト検出ベンチマークにおいて最新の精度を達成する新たな可変対応ネットワークの構築を実証した。本研究のコードは、https://github.com/tjiiv-cprg/EPro-PnP-v2 にて公開されている。