16日前

SO-Pose:自己遮蔽を利用した直接6Dポーズ推定

Yan Di, Fabian Manhardt, Gu Wang, Xiangyang Ji, Nassir Navab, Federico Tombari
SO-Pose:自己遮蔽を利用した直接6Dポーズ推定
要約

複雑な環境下で単一のRGB画像から物体の6次元姿勢(6DoF:3次元回転および並進)を直接回帰する問題は、非常に困難である。近年、エンドツーエンド手法は高い効率性を示す有望な成果を上げているが、Pose Estimationにおける精度面では、精巧なP$n$P/RANSACベースのアプローチに比べて依然として劣っている。本研究では、自己遮蔽(self-occlusion)に関する新たな推論機構を導入することで、この課題を克服する。これにより、3次元物体に対する二層構造の表現を構築し、エンドツーエンドでの6DoF姿勢推定の精度を著しく向上させた。本研究で提案するフレームワーク「SO-Pose」は、単一のRGB画像を入力とし、共有エンコーダと二つの独立したデコーダを用いて、それぞれ2D-3D対応点群および自己遮蔽情報を生成する。その後、これらの出力を統合し、直接的に6DoF姿勢パラメータを回帰する。さらに、対応点、自己遮蔽情報、6DoF姿勢の間で層間の一貫性(cross-layer consistency)を導入することで、精度とロバスト性をさらに向上させ、さまざまな困難なデータセットにおいて、既存のすべての最先端手法を上回るか、あるいは同等の性能を達成した。

SO-Pose:自己遮蔽を利用した直接6Dポーズ推定 | 最新論文 | HyperAI超神経