PVNet: ピクセル単位の投票ネットワークによる6自由度ポーズ推定

本論文では、単一のRGB画像から重大な遮蔽や切断条件下での6自由度（6DoF）姿勢推定の課題に取り組んでいます。最近の多くの研究は、まずキーポイントを検出し、次にPerspective-n-Point (PnP)問題を解いて姿勢を推定する二段階アプローチが優れた性能を達成することを示しています。しかし、これらの方法の多くは、画像座標またはヒートマップを回帰することで一連のスパースなキーポイントのみを局所化するため、遮蔽や切断に対して敏感です。そこで、我々はピクセルごとの単位ベクトルをキーポイント方向に回帰し、これらのベクトルを使用してRANSACによりキーポイント位置を投票するピクセルごと投票ネットワーク（Pixel-wise Voting Network, PVNet）を提案します。これにより、遮蔽や切断されたキーポイントの局所化に対する柔軟な表現が得られます。この表現の重要な特徴は、キーポイント位置の不確実性を提供し、PnPソルバーでさらに活用できることです。実験結果によると、提案手法はLINEMOD, Occlusion LINEMOD, YCB-Videoデータセットにおいて大幅に最先端技術を超える性能を示しており、リアルタイムの姿勢推定にも効率的であることが確認されました。さらに、我々はTruncation LINEMODデータセットを作成し、提案手法が切断に対して堅牢であることを検証しました。コードはhttps://zju-3dv.github.io/pvnet/ で公開予定です。