解码器调制用于室内深度补全

深度补全任务旨在从传感器测量数据中恢复出稠密的深度图。当前大多数方法针对的是室外场景下来自激光雷达（LiDAR）的极稀疏深度测量，而在室内场景中，通常采用飞行时间（Time-of-Flight, ToF）或结构光传感器。这类传感器提供的深度图具有半稠密特性：部分区域具有密集的测量值，而其他区域则几乎为空。为此，我们提出一种新模型，能够有效考虑这些不同区域之间的统计差异。本研究的主要贡献在于，在经典的编码器-解码器架构中引入了一种全新的解码器调制分支。编码器从拼接的RGB图像与原始深度图中提取特征。在以缺失值掩码作为输入的前提下，所提出的调制分支能够根据不同区域的特性，对特征进行差异化的解码，从而生成稠密的深度图。这一机制通过在解码器内部利用空间自适应去归一化（Spatially-Adaptive Denormalization, SPADE）模块，动态调整输出信号的空间分布来实现。第二项贡献是一种新颖的训练策略，使得模型能够在缺乏真实稠密深度图的情况下，仅基于半稠密传感器数据进行有效训练。该方法在室内场景的Matterport3D数据集上取得了当前最优的性能表现。由于模型专为半稠密输入设计，其在KITTI数据集上的表现仍能与面向LiDAR数据的现有方法相媲美。在NYUv2数据集上的实验进一步验证了该训练策略的有效性：即使没有稠密真值深度图，模型的预测质量也得到了显著提升。