17 天前

通过基于注意力的聚合增强卷积网络

Hugo Touvron, Matthieu Cord, Alaaeldin El-Nouby, Piotr Bojanowski, Armand Joulin, Gabriel Synnaeve, Hervé Jégou
通过基于注意力的聚合增强卷积网络
摘要

我们展示了一种方法,可将任意卷积网络通过引入基于注意力的全局特征图来实现非局部推理。具体而言,我们用一个基于注意力的聚合层替代原有的最终平均池化层,该层结构类似于单个Transformer模块,能够为不同图像块在分类决策中的参与程度赋予相应权重。该可学习的聚合层与一个参数量极简的基于图像块的卷积网络相连接,其仅由两个参数(宽度与深度)控制。与传统的金字塔式设计不同,该架构族在整个网络中始终保持输入图像块的原始分辨率。实验结果表明,该方法在多种计算机视觉任务(包括物体分类、图像分割与目标检测)上,实现了令人惊讶的准确率与模型复杂度之间的良好权衡,尤其在内存消耗方面表现突出。