2 个月前

OmniLayout:基于室内球面全景图的房间布局重建

Rao, Shivansh ; Kumar, Vikas ; Kifer, Daniel ; Giles, Lee ; Mali, Ankur
OmniLayout:基于室内球面全景图的房间布局重建
摘要

给定一张RGB全景图,三维布局重建的目标是通过预测房间的角落、地板边界和天花板边界来估计房间布局。常用的方法是使用标准卷积网络预测角落和边界,然后通过后处理生成三维布局。然而,全景图像中的空间变化失真与标准卷积的平移等变性特性不兼容,从而降低了性能。为此,我们提出使用球面卷积。所提出的网络称为OmniLayout,该网络直接在球面上进行卷积运算,采样依据逆等距柱状投影(inverse equirectangular projection),因此对等距柱状投影失真具有不变性。通过引入一种新的评估指标,我们展示了与标准卷积网络相比,我们的网络在严重失真区域(接近极点)的误差减少了约25%。实验结果表明,OmniLayout在两个不同的基准数据集(PanoContext和Stanford 2D-3D)上优于现有最佳方法约4%。代码可在https://github.com/rshivansh/OmniLayout 获取。

OmniLayout:基于室内球面全景图的房间布局重建 | 最新论文 | HyperAI超神经