Pix3D: 単一画像からの3D形状モデリングのためのデータセットと手法

私たちは単一画像からの3次元形状モデリングを研究し、その分野に三つの側面から貢献しています。第一に、ピクセルレベルの2D-3Dアライメントを持つ多様な画像-形状ペアの大規模ベンチマークであるPix3Dを提示します。Pix3Dは形状再構築、検索、視点推定などの形状関連タスクにおいて広範な応用が可能です。しかしながら、このような大規模データセットの構築は非常に困難であり；既存のデータセットは合成データのみを含むか、2D画像と3D形状間の正確なアライメントが欠如しているか、または画像数が少ないという問題があります。第二に、行動学的研究を通じて3次元形状再構築の評価基準を校正し、それらを使用してPix3D上で最先端の再構築アルゴリズムを客観的かつ体系的にベンチマーク化しています。第三に、3次元再構築と姿勢推定を同時に実行する新しいモデルを設計しました；私たちのマルチタスク学習アプローチは両方のタスクで最先端の性能を達成しています。