摘要
我们证明了现有的上采样算子可以通过索引函数的概念统一起来。这一概念源于在深度图像抠图解码过程中的一项观察，即索引引导的反池化通常比其他上采样算子（如双线性插值）能更好地恢复边界细节。通过将索引视为特征图的函数，我们引入了“学习索引”的概念，并提出了一种新的索引引导的编码器-解码器框架。在这个框架中，索引从数据中自适应地自我学习，并用于指导下采样和上采样阶段，而无需额外的训练监督。该框架的核心是一个新的可学习模块，称为索引网络（IndexNet），它根据特征图本身动态生成索引。索引网络可以作为插件应用于几乎所有具有耦合下采样和上采样阶段的标准卷积网络，赋予这些网络动态捕捉局部模式变化的能力。特别是，我们实例化并研究了五类索引网络，并展示了它们在四个密集预测任务中的有效性，包括图像去噪、图像抠图、语义分割和单目深度估计。代码和模型已发布在：https://tinyurl.com/IndexNetV1