360SD-Net：360°立体深度估计与可学习的成本体积

近日，端到端可训练的深度神经网络在透视图像的立体深度估计方面取得了显著进展。然而，由于等距柱状投影（equirectangular projection）引入的畸变（即三维中的直线在二维中无法投影为直线），现有的方法不能直接应用于360°图像。为了解决这一问题，我们提出了一种专为球面视差设计的新架构，该架构基于顶部-底部360°相机对的设置。此外，我们提出了通过以下两种方法来减轻畸变问题：(1) 增加一个输入分支，用于捕捉每个像素在球坐标系中的位置及其关系；(2) 基于可学习移位滤波器构建的成本体积。由于缺乏360°立体数据，我们从Matterport3D和Stanford3D收集了两个360°立体数据集用于训练和评估。我们进行了大量的实验和消融研究，以验证我们的方法相对于现有算法的有效性。最后，我们在使用两台消费级相机拍摄的真实环境中展示了有前景的结果。