MarrNet: 2.5Dスケッチを用いた3D形状再構成

単一画像からの3Dオブジェクト再構成は、実現可能な3D形状に関する強力な事前知識を必要とする極めて不定な問題である。これにより、学習ベースのアプローチには課題が生じる。実際の画像における3Dオブジェクトの注釈が少ないためである。従来の研究では、真値の3D情報を含む合成データで学習を行う方法を選択したが、実際のデータでテストするとドメイン適応の問題に直面した。本研究では、MarrNetというエンドツーエンドで学習可能なモデルを提案する。このモデルは2.5Dスケッチと3Dオブジェクト形状を順次推定する。我々の分離された二段階アプローチには三つの利点がある。第一に、完全な3D形状と比較して2.5Dスケッチは2D画像から回復させるのがずっと容易であり、2.5Dスケッチを回復するモデルは合成データから実際のデータへの転移もより容易である。第二に、2.5Dスケッチから3D再構成を行うシステムは、合成データのみから純粋に学習できる。これは、我々が物体の外観変動（照明、テクスチャなど）をモデル化することなく現実的な2.5Dスケッチを簡単にレンダリングできるためである。これによりドメイン適応の問題がさらに緩和される。第三に、我々は3D形状から2.5Dスケッチへの微分可能な射影関数を導出した；したがってフレームワークは人間による注釈なしで実際の画像上でエンドツーエンドで学習可能である。我々のモデルは3D形状再構成において最先端の性能を達成している。