PSTNet: Point Cloud Sequences における Point Spatio-Temporal Convolution

点群シーケンスは空間次元において不規則かつ順序がなく、一方で時間次元では規則性と順序を示します。したがって、従来のビデオ処理に用いられる既存のグリッドベースの畳み込みは、直接的に生の点群シーケンスの時空間モデリングには適用できません。本論文では、点群シーケンスの情報量豊かな表現を実現するため、点時空間（PST）畳み込みを提案します。提案されたPST畳み込みはまず、点群シーケンスにおける空間と時間を分離します。その後、空間畳み込みを用いて3D空間内のポイントの局所構造を捉え、時間畳み込みを用いて時間次元に沿った空間領域の動態をモデル化します。さらに、我々はこのPST畳み込みを深層ネットワークであるPSTNetに組み込むことで、階層的な方法で点群シーケンスの特徴を抽出します。広く使用されている3D動作認識および4D意味分割データセットに対する多数の実験により、PSTNetが点群シーケンスのモデリングに有効であることが示されています。