PVN3D: 6DoF姿勢推定のための深層ポイントごとの3Dキーポイント投票ネットワーク

本研究では、単一のRGBD画像から堅牢な6自由度（6DoF）オブジェクト姿勢推定を行う新しいデータ駆動型手法を提案します。従来の方法が直接姿勢パラメータを回帰するのに対し、我々はこの困難な課題をキーポイントベースのアプローチで取り組みます。具体的には、深層学習に基づくHough投票ネットワークを提案し、オブジェクトの3Dキーポイントを検出し、その後最小二乗適合法により6D姿勢パラメータを推定します。本手法は、RGBベースの6DoF推定に成功している2Dキーポイントアプローチの自然な拡張であり、剛体の幾何学的制約と追加の深度情報を完全に活用でき、ネットワークが学習や最適化しやすい特徴があります。広範な実験を通じて、3Dキーポイント検出が6D姿勢推定タスクにおいて有効であることを示しました。実験結果はまた、いくつかのベンチマークにおいて当手法が最先端の方法を大幅に上回っていることを示しています。コードとビデオは以下のURLで公開されています: https://github.com/ethnhe/PVN3D.git.