要約
多視点投影法は、3次元形状認識において最先端の性能を達成する能力を示しています。これらの方法は、複数の視点から情報を集約する異なる手法を学習します。しかし、それらの視点は一般的に直感的に設定され、すべての形状に対して固定されています。現在の多視点法における動的な欠如を克服するために、私たちはこれらの視点を学習することを提案します。特に、微分レンダリングの進歩に基づいて、3次元形状認識のために最適な視点を回帰する Multi-View Transformation Network (MVTN) を導入します。その結果、MVTN は 3次元形状分類用の任意の多視点ネットワークとともにエンドツーエンドで訓練することができます。私たちは MVTN を統合した新しい適応型多視点パイプラインを提案し、これは 3次元メッシュまたはポイントクラウドをレンダリングすることができます。MVTN は追加の訓練監督なしで、3次元形状分類と3次元形状検索のタスクにおいて明確な性能向上を示します。これらのタスクでは、ModelNet40, ShapeNet Core55, および最新かつ現実的な ScanObjectNN データセットにおいて最先端の性能（最大6% の改善）を達成しています。興味深いことに、私たちはまた MVTN が3次元領域での回転や遮蔽に対するネットワークの堅牢性を提供できることも示しています。コードは https://github.com/ajhamdi/MVTN で公開されています。