Helvipad: 実世界データセットによる全方位ステレオ深度推定

ステレオ深度推定において進歩が見られますが、全方向撮像は主に適切なデータの不足により十分に研究されていません。本稿では、全方向ステレオ深度推定用の実世界データセット「Helvipad」を紹介します。このデータセットには、多様な環境（混雑した室内や屋外シーンを含む）で撮影された4万フレームのビデオシークエンスが含まれています。上部と下部に配置された2つの360°カメラとLiDARセンサを使用して収集され、3次元点群を等方投影画像に射影することで正確な深度と視差ラベルが生成されています。さらに、深度補完を使用してラベル密度を増加させた拡張トレーニングセットも提供しています。私たちは標準的な画像および全方向画像に対する主要なステレオ深度推定モデルのベンチマークを行いました。結果は、最近のステレオ手法が良好な性能を示しているものの、全方向撮像における正確な深度推定には依然として課題があることを示しています。これを解決するために、ステレオモデルに必要な適応を行い、性能向上につなげました。