HorizonNet：使用一维表示和全景拉伸数据增强学习房间布局

我们提出了一种从单张全景图像估计三维房间布局的新方法。我们将房间布局表示为三个一维向量，这些向量在每个图像列上编码了地板-墙壁和天花板-墙壁的边界位置，以及墙壁-墙壁边界的是否存在。所提出的网络模型 HorizonNet 经过训练，可以预测一维布局，其性能优于以往的最先进方法。设计的后处理程序可以从一维预测中恢复三维房间布局，能够以较低的计算成本自动推断房间形状——对于一张全景图像，该过程耗时不到20毫秒，而先前的方法可能需要数十秒。我们还提出了 Pano Stretch 数据增强方法，该方法可以多样化全景数据，并应用于其他与全景相关的学习任务。由于非立方体布局的数据有限，我们对现有数据集中的65个一般布局进行了重新标注以进行微调。通过定性结果和交叉验证，我们的方法在一般布局上表现出良好的性能。