NeuralPCI: 3D ポイントクラウドのマルチフレーム非線形補間のための時空間ニューラルフィールド

近年、コンピュータビジョンにおける補間タスクに対する注目が著しく増加しています。ビデオ補間技術は大きく進歩しましたが、点群補間についてはまだ十分に研究されていません。また、実世界のシナリオには多くの非線形の大規模な動きが存在しており、これが点群補間タスクをより困難なものにしています。これらの問題に対処するため、私たちはNeuralPCI（Neural Point Cloud Interpolation）を提案します。これは、3次元点群補間のためにエンドツーエンドで設計された4次元空間時間ニューラルフィールドであり、非線形の大規模な動きを室内および屋外の両方のシナリオで扱うために複数フレームの情報を暗黙的に統合します。さらに、自動運転シーンにおける大規模な非線形運動を扱う新しい多フレーム点群補間データセットNL-Driveを構築し、私たちの手法の優位性をより明確に示すことを目的としています。最終的に、NeuralPCIはDHB（動的ヒューマンボディ）とNL-Driveデータセットにおいて最先端の性能を達成しました。補間タスクを超えて、当手法は点群の外挿、モーフィング、自動ラベリングにも自然に拡張できることから、他の分野での大きな潜在能力が示されています。コードはhttps://github.com/ispc-lab/NeuralPCI で公開されています。