3Dセマンティックセグメンテーションのためのバーチャルマルチビュー融合

3Dメッシュの意味的セグメンテーションは、3Dシーン理解において重要な課題である。本論文では、3Dメッシュの古典的なマルチビュー表現を再検討し、メッシュの3D意味的セグメンテーションに有効な複数の技術を検討する。RGBDセンサから再構成された3Dメッシュを入力として、本手法は3Dメッシュの異なる仮想ビューを効果的に選択し、2Dセグメンテーションモデルの学習に適した複数の2Dチャネルをレンダリングする。その後、各ビューごとの予測から得られる特徴量を3Dメッシュの頂点上で統合し、メッシュの意味的セグメンテーションラベルを予測する。大規模な屋内3D意味的セグメンテーションベンチマークであるScanNetを用いて、本手法で用いる仮想ビューは従来のマルチビュー手法よりも2D意味的セグメンテーションネットワークの学習をより効果的に行うことを示した。また、2Dピクセル単位の予測を3D表面に集約した場合、本手法の仮想マルチビュー統合は、すべての先行するマルチビュー手法よりも顕著に優れた3D意味的セグメンテーション結果を達成しており、最近の3D畳み込みアプローチと同等の性能を示した。