摘要
尽管最初专为自然语言处理任务设计，自注意力机制近年来已在计算机视觉多个领域引发广泛关注。然而，图像的二维特性为自注意力机制在计算机视觉中的应用带来了三大挑战：（1）将图像视为一维序列会忽略其固有的二维结构；（2）二次方复杂度对高分辨率图像而言计算开销过大；（3）仅能捕捉空间上的自适应性，而忽略了通道层面的自适应能力。为此，本文提出一种新型线性注意力机制——大核注意力（Large Kernel Attention, LKA），能够在保持自适应性和长距离依赖建模能力的同时，有效规避上述缺陷。进一步地，我们基于LKA构建了一种新型神经网络结构，称为视觉注意力网络（Visual Attention Network, VAN）。尽管结构极为简洁，VAN在多项视觉任务中均显著超越了同等规模的视觉Transformer（ViT）与卷积神经网络（CNN），涵盖图像分类、目标检测、语义分割、全景分割、姿态估计等任务。例如，VAN-B6在ImageNet基准上达到87.8%的准确率，并在全景分割任务上创下58.2 PQ的新纪录，刷新了当前最先进水平。此外，VAN-B2在ADE20K语义分割任务上以50.1%的mIoU超越Swin-T模型4个百分点（46.1%），在COCO目标检测任务上以48.8%的AP表现领先Swin-T模型2.6个百分点（46.2%）。该工作为社区提供了一种新颖的方法与一个简洁而强大的基准模型。代码已开源，地址为：https://github.com/Visual-Attention-Network。