要約
本研究では、点群から非モーダル3D物体検出を行う新しい手法である\emph{Frustum ConvNet (F-ConvNet)}を提案します。RGB画像中の2D領域提案が与えられた場合、当手法はまず各領域提案に対して一連のフロンストラム（視錐体断面）を生成し、得られたフロンストラムを使用して局所的な点をグループ化します。F-ConvNetは、点ごとの特徴量をフロンストラムレベルの特徴ベクトルに集約し、これらの特徴ベクトルを特徴マップとして配列することで、完全畳み込みネットワーク(FCN)の後続コンポーネントでの利用が可能となります。このFCNは空間的にフロンストラムレベルの特徴量を融合し、3D空間における向き付きボックスのエンドツーエンドかつ連続的な推定をサポートします。また、多解像度のフロンストラム特徴量を抽出するFCNのバリエーションや、縮小された3D空間上でF-ConvNetを使用する改良版などのF-ConvNetのコンポーネントバリエーションも提案しています。詳細なアブレーションスタディにより、これらのコンポーネントバリエーションの効果が確認されています。F-ConvNetは作業環境の3Dに関する事前知識を持たないため、データセットに依存しない特性を持っています。室内SUN-RGBDデータセットと屋外KITTIデータセットでの実験結果を示しており、F-ConvNetはSUN-RGBDにおいて既存のすべての手法を上回り、提出時点ではKITTIベンチマークにおいてもすべての公開された研究を超える性能を達成しています。コードは以下のURLで公開されています: {\url{https://github.com/zhixinwang/frustum-convnet}}.