SAPA：具有相似性感知的点隶属关系用于特征上采样

我们引入了点归属（point affiliation）的概念到特征上采样中，该概念描述了每个上采样点与其由具有语义相似性的局部解码器特征点形成的语义聚类之间的隶属关系。通过重新思考点归属，我们提出了一种生成上采样核的一般性公式。这些核不仅鼓励语义平滑性，还增强了上采样特征图中的边界锐度。这些特性对于一些密集预测任务（如语义分割）尤为有用。我们的公式的关键思想是通过比较每个编码器特征点与其空间相关的局部解码器特征区域之间的相似性来生成相似性感知核。这样，编码器特征点可以作为提示，指导上采样特征点的语义聚类。为了具体实现这一公式，我们进一步设计了一个轻量级的上采样算子，称为相似性感知点归属（Similarity-Aware Point Affiliation, SAPA），并研究了其变体。SAPA在多个密集预测任务中表现出一致的性能提升，包括语义分割、目标检测、深度估计和图像抠图。代码可在以下地址获取：https://github.com/poppinace/sapa