深層射影3次元セマンティックセグメンテーション

3D点群の意味分割は、多くの実世界応用を持つ難問です。深層学習は画像の意味分割分野を革命的に変革しましたが、点群データへの影響はまだ限定的です。最近の試みでは、3D深層学習手法（3D-CNN）に基づいて行われていますが、期待以下の結果しか達成できていません。これらの方法は、基礎となる点群データのボクセル化を必要とし、空間解像度の低下やメモリ消費量の増加につながります。さらに、3D-CNNはアノテーション付きデータセットの限られた可用性に大きく影響を受けます。本論文では、3D-CNNの制約を回避する代替フレームワークを提案します。問題を直接3Dで解決する代わりに、まず点群を一連の合成2D画像に投影します。これらの画像は次に、意味分割のために設計された2D-CNNへの入力として使用されます。最後に、得られた予測スコアを再投影して点群からセグメンテーション結果を得ます。また、色、深度、表面法線などの複数モダリティがマルチストリームネットワークアーキテクチャにおいて与える影響についても調査を行いました。実験は最新のSemantic3Dデータセットを使用して行われました。我々の手法は相対的な7.9%の向上率を達成し、従来の最良手法よりも優れた新しい最先端技術となりました。