基于自蒸馏的室内360°语义分割互补双向特征压缩

近年来，基于水平表示的全景语义分割方法在性能上已超越基于投影的方法，这是因为通过在垂直方向上压缩球面数据，能够有效消除投影畸变。然而，这类方法忽略了畸变分布的先验信息，且受限于感受野的不平衡性——即在垂直方向上感受野充足，而在水平方向上则明显不足。与此不同，若在另一方向上对垂直表示进行压缩，可隐式地引入畸变先验信息，并有效扩展水平方向的感受野。本文从互补视角出发，融合两种不同的表示方式，提出了一种新颖的360°语义分割解决方案。所提出的网络架构包含三个模块：特征提取模块、双向压缩模块以及集成解码模块。首先，从全景图像中提取多尺度特征；随后，设计双向压缩模块，将特征压缩为两个互补的低维表示，分别提供内容感知能力与畸变先验信息；为进一步促进双向特征的融合，我们在集成解码模块中引入一种独特的自蒸馏策略，以增强不同特征之间的交互，从而进一步提升模型性能。实验结果表明，该方法在定量评估中相较当前最优方案至少提升了10%，并在视觉表现上取得了最佳效果。