18 天前
一张图像的价值相当于16×16个词：面向大规模图像识别的Transformer
Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby
摘要
尽管Transformer架构已成为自然语言处理任务的默认标准，其在计算机视觉领域的应用仍较为有限。在视觉任务中，注意力机制通常与卷积神经网络（CNN）结合使用，或用于替代CNN的某些组件，同时保留其整体结构。本文表明，这种对CNN的依赖并非必需；仅将纯Transformer直接应用于图像块序列，即可在图像分类任务中取得优异表现。当在大规模数据上进行预训练，并迁移至多个中等规模或小型图像识别基准（如ImageNet、CIFAR-100、VTAB等）时，视觉Transformer（Vision Transformer, ViT）的表现优于当前最先进的卷积神经网络，同时训练所需计算资源显著减少。