要約
ポイントクラウド動画において、ポイントの座標は不規則かつ順序がない一方で、ポイントのタイムスタンプは規則性と順序を持つ。従来の動画処理に用いられるグリッドベースのネットワークは、原始的なポイントクラウド動画を直接モデル化するには適さない。そこで本研究では、原始的なポイントクラウド動画を直接扱えるポイントベースのネットワークを提案する。まず、ポイントクラウド動画の空間時間的局所構造を保持するため、空間的および時間的次元に沿って局所的な範囲をカバーする「ポイントチューブ」を設計した。フレームおよびポイントの段階的ダウンサンプリングを行い、高レベルの層へと特徴を伝える際に空間半径を拡大することで、ポイントチューブは空間時間的に階層的な方法で動画の構造を捉えることが可能となる。第二に、空間の不規則性が時間的モデリングに与える影響を低減するため、ポイントチューブ表現を抽出する際、空間と時間を分解して処理する。具体的には、チューブ内の各空間領域の局所構造を捉えるための空間演算と、チューブに沿った空間領域の動的変化をモデル化するための時間演算を別々に適用する。