RFNet-4D++: 4D ポイントクラウドからの物体再構成とフロー推定を実現するクロスアテンション時空間特徴を用いた手法

3D点群からの物体再構築は、コンピュータビジョンとコンピュータグラフィックスにおける長年の研究課題であり、著しい進歩を遂げています。しかし、時間変動する点群（4D点群とも呼ばれる）からの再構築は一般的に軽視されています。本論文では、4D点群から物体とその運動流れを同時に再構築する新しいネットワークアーキテクチャ、RFNet-4D++を提案します。重要な洞察は、空間特徴と時間特徴を点群のシーケンスから学習することで両方のタスクを同時に行うことができ、個々のタスクを強化し、全体的な性能が向上することです。この能力を証明するために、フロー推定タスクのために無教師学習アプローチを使用した時間ベクトル場学習モジュールを設計しました。これは、物体再構築のための教師あり学習による空間構造の学習によって補完されます。ベンチマークデータセットでの広範な実験と分析により、当方法の有効性と効率性が検証されました。実験結果によると、当方法はフロー推定と物体再構築において最先端の性能を達成しており、既存の手法よりも訓練および推論において大幅に高速に動作します。当コードとデータはhttps://github.com/hkust-vgd/RFNet-4Dで入手可能です。注：「hkust-vgd」は香港科技大学（HKUST）の可視化・グラフィックス・ディスプレイ研究グループ（Visualization, Graphics, and Display Research Group）の略称であると考えられます。