3D-R2N2: 単一視点および複数視点の3Dオブジェクト再構成の統一的なアプローチ

最近の形状事前情報を利用した堅牢な3D再構築手法の成功に触発され、我々は新たな再帰型ニューラルネットワークアーキテクチャを提案します。このネットワークを3次元再帰型再構築ニューラルネットワーク（3D-R2N2）と呼びます。本ネットワークは、多数の合成データから物体の画像をその潜在的な3D形状にマッピングする学習を行います。我々のネットワークは、任意の視点からの1つまたは複数の物体インスタンスの画像を取り込み、それを3D占有グリッド形式での物体の再構築結果として出力します。既存の大半の手法とは異なり、本ネットワークは訓練やテストにおいて画像アノテーションや物体クラスラベルを必要としません。我々が行った広範な実験解析では、提案する再構築フレームワークがi) 単一視点からの再構築における最先端手法を上回り、ii) 伝統的なSFM/SLAM手法が失敗する状況（テクスチャ不足や広いベースラインなど）でも物体の3D再構築を可能にすることが示されています。