360SD-Net: 360° ステレオ深度推定に学習可能なコストボリュームを使用して

最近、エンドツーエンドで学習可能な深層ニューラルネットワークは、透視投影画像のステレオ深度推定において大幅な改善をもたらしました。しかし、等角投影によって撮影された360°画像は、既存の手法を直接適用することができません（すなわち、3次元の直線が2次元に直線として投影されないため）。この問題に対処するために、上下360°カメラペアを使用した球面視差用に特別に設計された新しいアーキテクチャを提案します。さらに、歪みの問題を軽減するために、(1) 球面座標における各ピクセルの位置と関係性を捉える追加の入力ブランチと、(2) 学習可能なシフトフィルタに基づくコストボリュームを提案します。360°ステレオデータが不足しているため、Matterport3DとStanford3Dから訓練および評価用に2つの360°ステレオデータセットを収集しました。広範な実験とアブレーションスタディを通じて、我々の手法が既存のアルゴリズムに対して有効であることを検証しています。最後に、消費者向けカメラ2台で撮影した実世界環境での有望な結果を示します。