17 天前
ViTMatte:通过预训练的纯视觉Transformer提升图像抠图性能
Jingfeng Yao, Xinggang Wang, Shusheng Yang, Baoyuan Wang

摘要
近期,视觉Transformer(Vision Transformers, ViTs)凭借其强大的建模能力以及大规模预训练的优势,在各类计算机视觉任务中展现出卓越的性能。然而,其在图像抠图(image matting)任务上尚未取得突破性进展。我们假设,ViT同样能够显著提升图像抠图的性能,并提出了一种高效且鲁棒的基于ViT的抠图系统——ViTMatte。本方法主要包含以下两个创新点:(i)采用融合卷积结构的混合注意力机制,结合轻量级卷积颈部(convolution neck),使ViT在抠图任务中实现了出色的性能与计算效率之间的平衡;(ii)进一步引入细节捕捉模块(detail capture module),该模块仅由简单的轻量级卷积构成,用于补充抠图任务所必需的精细纹理信息。据我们所知,ViTMatte是首个通过简洁适配方式充分挖掘ViT在图像抠图中潜力的工作。该方法继承了ViT的诸多优势,包括多样化的预训练策略、简洁的网络架构设计以及灵活的推理机制。在图像抠图领域最常用的两个基准数据集Composition-1k和Distinctions-646上进行的实验表明,ViTMatte达到了当前最优的性能水平,显著超越了以往各类抠图方法。