FMix：提升混合样本数据增强

近年来，混合样本数据增强（Mixed Sample Data Augmentation, MSDA）受到越来越多关注，其中 MixUp 和 CutMix 等成功变体广受青睐。通过分析变分自编码器（VAE）在原始数据与增强数据上所学习函数之间的互信息，我们发现 MixUp 会以 CutMix 所不具备的方式扭曲学习到的函数结构。进一步地，我们证明 MixUp 实质上起到了对抗训练的作用，能够提升模型对 DeepFool 攻击和均匀噪声等攻击的鲁棒性，这些攻击生成的样本与 MixUp 生成的样本具有相似特性。我们认为，这种扭曲会抑制模型对样本特异性特征的学习，从而有助于提升泛化性能。相比之下，我们提出 CutMix 更接近传统数据增强方法，其通过防止模型记忆训练样本而提升性能，同时不破坏数据分布。然而，我们认为，若在 CutMix 基础上构建一种支持任意形状掩码（而非仅限于方形）的 MSDA 方法，将能更有效地防止记忆化，同时保持数据分布不变。为此，我们提出 FMix，一种基于傅里叶空间中采样低频图像并施加阈值生成随机二值掩码的 MSDA 方法。这些随机掩码可呈现多样化的形状，适用于一维、二维及三维数据。FMix 在多个模型、多种数据集和任务设置下，均在不增加训练时间的前提下，优于 MixUp 和 CutMix，且在不依赖外部数据的情况下，于 CIFAR-10 数据集上取得了新的单模型最优性能。最后，我们揭示了插值型 MSDA（如 MixUp）与掩码型 MSDA（如 FMix）之间的本质差异，并证明二者可协同使用，进一步提升模型性能。所有实验代码已开源，详见：https://github.com/ecs-vlc/FMix。