CARAFE：内容感知特征重组装

特征上采样是现代卷积网络架构中的一个关键操作，例如特征金字塔。其设计对于密集预测任务（如目标检测和语义/实例分割）至关重要。在本工作中，我们提出了内容感知特征重组（Content-Aware ReAssembly of FEatures, CARAFE），这是一种通用、轻量且高效的算子，旨在实现这一目标。CARAFE 具有以下吸引人的特性：大视野范围。与以往仅利用亚像素邻域的方法（如双线性插值）不同，CARAFE 可以在较大的感受野内聚合上下文信息。内容感知处理。不同于为所有样本使用固定核的方法（如反卷积），CARAFE 实现了特定实例的内容感知处理，能够即时生成自适应核。轻量且计算快速。CARAFE 引入的计算开销极小，可以轻松集成到现代网络架构中。我们在对象检测、实例/语义分割和图像修复的标准基准上进行了全面评估。结果表明，CARAFE 在所有任务中均表现出一致且显著的性能提升（分别为 1.2%、1.3%、1.8% 和 1.1 dB），同时计算开销几乎可以忽略不计。它具有作为未来研究的强大构建模块的巨大潜力。代码和模型可在 https://github.com/open-mmlab/mmdetection 获取。