FreDSNet：基于快速傅里叶卷积的单目深度与语义分割联合网络

在本工作中，我们提出了 FreDSNet，一种基于深度学习的解决方案，能够从单张全景图像中实现对室内环境的语义三维理解。由于全景图像提供了关于整个环境的360度上下文信息，因此在解决场景理解问题时展现出任务相关的显著优势。然而，全景图像固有的几何特性也带来了新的挑战，使得准确的目标检测与分割或高质量的深度估计变得困难。为克服这些挑战，我们引入了频域卷积（convolutions in the frequential domain），在每一卷积层中扩展了感受野的范围，从而有效利用全景图像中的全局上下文信息。FreDSNet 是首个基于单张全景图像，联合实现单目深度估计与语义分割的网络架构，其核心创新在于采用快速傅里叶卷积（fast Fourier convolutions）。实验结果表明，FreDSNet 在语义分割和深度估计任务上的性能与当前最先进的专用方法相当。FreDSNet 的代码已公开，可访问 https://github.com/Sbrunoberenguel/FreDSNet 获取。