生成的なカテゴリレベルの形状と姿勢推定にセマンティックプリミティブを用いる

自律エージェントに日常的な物体の3次元理解を付与することは、ロボット工学応用における大きな課題です。未知の環境を探検する際、物体の姿勢推定に関する既存の手法は、物体形状の多様性によりまだ満足できる結果を出していません。本論文では、単一のRGB-D画像からカテゴリレベルでの物体形状と姿勢推定を行う新しいフレームワークを提案します。カテゴリ内の変動に対処するために、多様な形状を統一された潜在空間に符号化する意味原始表現（semantic primitive representation）を採用しています。これは、観測された点群と推定された形状との間で信頼性のある対応関係を確立するための鍵となります。次に、SIM(3)不変形状記述子を使用することで、物体の形状と姿勢を優雅に分離し、任意の姿勢を持つ目標物体の潜在形状最適化をサポートします。広範な実験により、提案手法が現実世界データセットにおいて最先端（SOTA）の姿勢推定性能とより優れた汎化能力を達成していることが示されています。コードとビデオは https://zju3dv.github.io/gCasp で入手可能です。