17 天前

AutoMix:揭示Mixup在构建更强分类器中的潜力

Zicheng Liu, Siyuan Li, Di Wu, Zihan Liu, Zhiyuan Chen, Lirong Wu, Stan Z. Li
AutoMix:揭示Mixup在构建更强分类器中的潜力
摘要

数据混合增强(data mixing augmentation)已被证明能够有效提升深度神经网络的泛化能力。早期方法通常采用人工设计的策略(如线性插值)进行样本混合,而近期方法则利用显著性信息,通过复杂的离线优化过程来实现混合样本与标签的精准匹配。然而,这一过程在混合策略的精确性与优化复杂度之间形成了权衡。为解决该挑战,本文提出一种新颖的自动混合框架——AutoMix,其中混合策略以参数化形式表示,并直接服务于最终的分类目标。具体而言,AutoMix将混合分类任务重构为两个子任务(即混合样本生成与混合分类),并分别设计对应的子网络,通过双层优化框架协同求解。在样本生成方面,我们设计了一个可学习的轻量级混合生成模块——Mix Block,该模块通过建模图像块间的局部关系,在对应混合标签的直接监督下生成混合样本。为进一步缓解双层优化带来的退化与不稳定性问题,我们引入了一种动量流水线机制,实现AutoMix的端到端训练。在九个图像基准数据集上的大量实验表明,与当前最先进的方法相比,AutoMix在多种分类场景及下游任务中均展现出显著优越的性能。