DADA：可微分自动数据增强

数据增强（Data Augmentation, DA）技术旨在提升数据的多样性，从而训练出泛化能力更强的深度神经网络。早期的AutoAugment首次采用强化学习方法自动化搜索最优的数据增强策略，但其计算开销极为巨大，限制了其广泛应用。后续工作如基于种群的增强（Population Based Augmentation, PBA）和Fast AutoAugment虽在效率上有所提升，但优化速度仍存在瓶颈。本文提出一种可微分的自动数据增强方法——DADA（Differentiable Automatic Data Augmentation），显著降低了搜索成本。DADA通过Gumbel-Softmax将离散的数据增强策略选择过程松弛为可微分优化问题。此外，我们引入了一种无偏梯度估计器——RELAX，从而实现一种高效且有效的单次遍历优化策略，用于学习高效且准确的数据增强策略。我们在CIFAR-10、CIFAR-100、SVHN和ImageNet等多个数据集上进行了广泛实验。同时，我们还验证了自动数据增强在下游目标检测任务预训练中的价值。实验结果表明，DADA在速度上至少比当前最先进方法快一个数量级，同时达到了相当的精度水平。代码已开源，地址为：https://github.com/VDIGPKU/DADA。