正規化されたオブジェクト座標空間によるカテゴリレベルの6次元オブジェクト姿勢とサイズ推定

本論文の目的は、RGB-D画像において未見の物体インスタンスの6次元姿勢と寸法を推定することである。これは、「インスタンスレベル」の6次元姿勢推定タスクとは異なり、学習時やテスト時において正確な物体CADモデルが利用できないという前提のもとにかかる。異なる未見の物体インスタンスを扱うために、われわれは正規化された物体座標空間（Normalized Object Coordinate Space: NOCS）を導入する。これは、あるカテゴリ内のすべての可能な物体インスタンスに対する共有される標準的な表現である。われわれの領域ベースのニューラルネットワークは、観測されたピクセルからこの共有された物体表現（NOCS）への対応関係を直接推論するとともに、クラスラベルやインスタンスマスクなどの他の物体情報を推定するために訓練される。これらの予測結果は深度マップと組み合わせて、混雑したシーンにおける複数の物体の計量6次元姿勢と寸法を共同で推定することが可能となる。ネットワークを訓練するために、大量の完全アノテーション付きミックスドリアリティデータを生成する新しいコンテキスト認識技術を提案する。さらに、モデルの性能向上と実際のデータでの評価のために、環境やインスタンス変動が大きい完全アノテーション付き実世界データセットも提供する。広範な実験により、提案手法が実環境において未見の物体インスタンスの姿勢とサイズを堅牢に推定できることだけでなく、標準的な6次元姿勢推定ベンチマークでも最先端の性能を達成していることが示されている。