CamLiFlow：共同オプティカルフローおよびシーンフロー推定を目的とした双向カメラ・LiDAR融合

本稿では、同期された2Dおよび3Dデータから光学フローとシーンフローを同時に推定する問題に取り組む。従来の手法は、連合タスクを独立した段階に分割する複雑なパイプラインを採用するか、2Dと3D情報を「イアリーフュージョン」または「レイトフュージョン」の形で統合するものであった。このような「一様適用型」のアプローチは、各モダリティの特徴を十分に活用できない、あるいはモダリティ間の補完性を最大化できないというジレンマに直面している。この問題に対処するため、本研究ではCamLiFlowと名付けた新しいエンドツーエンドフレームワークを提案する。本フレームワークは、特定の層において2Dと3Dのブランチ間を複数の双方向接続で結ぶ構造を持つ。従来の研究とは異なり、幾何学的特徴をより効果的に抽出できる点ベースの3Dブランチを採用し、密な画像特徴と疎な点群特徴を融合する対称的な学習可能演算子を設計した。実験の結果、CamLiFlowはパラメータ数を抑えながらも優れた性能を達成した。特にKITTIシーンフローベンチマークにおいて1位を獲得し、従来の最先端手法と比較してパラメータ数は7分の1にまで削減した。コードはhttps://github.com/MCG-NJU/CamLiFlowにて公開されている。