要約
単一のRGB画像からSO(3)における車両の姿勢を回復する新しい学習ベースのフレームワークを提案します。従来の研究では、局所的な外観から観測角度へのマッピングが行われていましたが、我々は意味のある中間幾何表現（Intermediate Geometrical Representations: IGRs）を抽出して、自己中心的な車両向きを推定する段階的なアプローチを探求しています。このアプローチは、感知された強度をIGRsに変換し、カメラ座標系で物体の向きを符号化する3次元表現へとマッピングする深層モデルを特徴としています。核心的な問題は、どのようなIGRsを使用するか、そしてそれらをより効果的に学習する方法です。前者の問いには、原始的な3次元注釈から容易に導き出される補間キューブに基づいてIGRsを設計することで回答します。後者の問いは、射影不変量に基づく新しい損失関数を使用して幾何学的知識を取り入れることで動機付けられます。この損失関数により、ラベルなしデータも訓練段階で使用され、表現学習が向上します。追加のラベルなしで、我々のシステムはKITTIベンチマークにおいて単眼RGBベースの車両検出と姿勢推定に関する従来の手法を上回り、ステレオ手法に匹敵する性能を達成しています。コードおよび事前学習済みモデルはこのhttps URLから入手可能です。