大規模点群のための完全畳み込みポイントネットワーク

本研究では、大規模3Dデータを効率的に処理するための汎用的な完全畳み込みネットワークアーキテクチャを提案します。当方針の特筆すべき特性は、点群などの非構造化3D表現を入力として処理し、内部でそれらを順序化された構造に変換して3D畳み込みによって処理することです。従来の手法が入力から出力まで非構造化または構造化表現のいずれかを維持するのに対し、当方針はメモリー効率の良い入力データ表現を扱いつつ、畳み込み操作の自然な構造を利用してネットワーク内の空間情報の冗長な計算や保存を避けるという利点があります。これにより、センサからの原始データを前処理や後処理する必要がなくなります。さらに、ネットワークが完全に畳み込み型であるため、巨大な空間や最大20万点もの点群を持つ部屋全体のようなものを一度に処理できるエンドツーエンド手法となっています。また、当ネットワークは順序化された出力を生成したり、予測結果を直接入力点群にマッピングしたりすることができます。この特性により、多くの3Dタスクに適用可能な汎用的な点群記述子として利用することが可能です。我々はベンチマークデータセットを使用して、当ネットワークが低レベル特徴量だけでなく複雑な組成関係も効果的に学習できることを示しています。具体的には、意味的ボクセル分割（semantic voxel segmentation）、意味的部分分割（semantic part segmentation）、および3Dシーンキャプショニング（3D scene captioning）に対する評価を行いました。