2 个月前

HoHoNet:基于潜在水平特征的360度室内整体理解

Sun, Cheng ; Sun, Min ; Chen, Hwann-Tzong
HoHoNet:基于潜在水平特征的360度室内整体理解
摘要

我们介绍了HoHoNet,这是一种用于全方位理解室内360度全景图的多功能且高效的框架,采用了潜在水平特征(LHFeat)。紧凑的LHFeat沿垂直方向展平了特征,并在房间布局重建中成功地建模了每列模态。HoHoNet在两个重要方面取得了进展。首先,深度架构经过重新设计,运行速度更快且精度更高。其次,我们提出了一种新颖的从地平线到密集模块(horizon-to-dense module),该模块放宽了每列输出形状的约束,使得可以从LHFeat进行逐像素的密集预测。HoHoNet速度快:使用ResNet-50和ResNet-34主干网络时,分别可以达到52帧/秒和110帧/秒的速度,以对高分辨率$512 \times 1024$全景图进行密集模态建模。HoHoNet也具有较高的准确性。在布局估计和语义分割任务中,HoHoNet达到了与当前最先进方法相当的结果。在密集深度估计任务中,HoHoNet大幅超越了所有先前的方法。