
画像は規則的な密集グリッドで表現されるのに対し、3次元点群は不規則かつ順序がなく、それらに畳み込みを適用することは困難である。本論文では、動的フィルターを拡張し、新しい畳み込み演算であるPointConvを開発した。PointConvは3次元点群に対して適用でき、深層畳み込みネットワークを構築することができる。我々は、畳み込みカーネルを3次元点の局所座標からなる重み関数と密度関数の非線形関数として扱う。与えられた点に対して、重み関数は多層パーセプトロンネットワークで学習され、密度関数はカーネル密度推定によって求められる。本研究の最も重要な貢献は、重み関数を効率的に計算するための新しい式の提案であり、これによりネットワークの大幅なスケールアップと性能の著しい向上が可能となった。学習された畳み込みカーネルを使用して、3次元空間内の任意の点集合に対する平行移動不変性および置換不変性を持つ畳み込みを計算できる。さらに、PointConvは逆畳み込み演算子としても使用でき、サブサンプリングされた点群から特徴量を元の解像度に戻すことが可能である。ModelNet40, ShapeNet, ScanNetでの実験結果から、PointConvに基づく深層畳み込みニューラルネットワークが3次元点群における挑戦的な意味分割ベンチマークで最先端の性能を達成できることを示した。また、CIFAR-10を点群に変換した実験では、PointConvに基づくネットワークが同様の構造を持つ2次元画像用の畳み込みネットワークと同等の性能を達成できることも確認された。注:「deconvolution operators」(逆畳み込み演算子)については、「deconvolution」(逆畳み込み)という一般的な用語を使用しました。「parallel translation-invariant and permutation-invariant convolution」(平行移動不変性および置換不変性を持つ畳み込み)についても、「translation-invariant」(平行移動不変性)と「permutation-invariant」(置換不変性)という一般的な用語を使用しました。