基于几何结构与正则化的360°室内图像深度估计

受360°室内图像的深度与几何结构之间相关性的启发，我们提出了一种新颖的基于学习的深度估计框架，该框架利用场景的几何结构进行深度估计。具体而言，我们将室内场景的几何结构表示为角点、边界和平面的集合。一方面，一旦估计出深度图，即可从中推断出该几何结构，因此几何结构可作为深度估计的正则化项；另一方面，该估计过程也可从图像中提取的场景几何结构中获益，此时几何结构充当先验信息。然而，室内场景中的家具增加了从深度数据或图像中推断几何结构的难度。为此，我们引入了一个注意力图，以辅助从几何结构特征中进行深度估计，同时也支持从估计的深度图中反向推断几何结构。为在受控条件下验证框架中各组件的有效性，我们构建了一个合成数据集——Shanghaitech-Kujiale Indoor 360数据集，包含3550张360°室内图像。在多个主流数据集上的大量实验验证了所提方法的有效性。此外，我们还证明该方法可拓展应用于反事实深度估计（counterfactual depth）。