DADA: 미분 가능한 자동 데이터 증강

데이터 증강(Data Augmentation, DA) 기법은 데이터의 변동성을 높여, 더 우수한 일반화 성능을 갖는 딥 네트워크를 훈련하는 것을 목표로 한다. 선구적인 AutoAugment은 강화 학습을 활용하여 최적의 DA 정책을 자동 탐색하는 방법을 제안하였다. 그러나 AutoAugment은 매우 높은 계산 비용을 수반하여 넓은 적용성에 한계가 있었다. 이후 제안된 Population Based Augmentation(PBA) 및 Fast AutoAugment 등의 연구들은 효율성을 개선했지만, 여전히 최적화 속도가 제한 요소로 남아 있었다. 본 논문에서는 계산 비용을 극적으로 줄이는 Differentiable Automatic Data Augmentation(DADA)을 제안한다. DADA는 Gumbel-Softmax를 통해 이산적인 DA 정책 선택 문제를 미분 가능한 최적화 문제로 변환한다. 또한, 편향 없는 기울기 추정기인 RELAX를 도입하여, 하나의 통과(One-pass)로 효율적이고 효과적인 DA 정책 학습 전략을 구현한다. CIFAR-10, CIFAR-100, SVHN 및 ImageNet 데이터셋을 대상으로 광범위한 실험을 수행하였으며, 하류 탐지 문제에 대한 사전 훈련에서 자동 DA의 가치를 입증하였다. 실험 결과, DADA는 최신 기술 대비 최소한 한 계단 이상 빠른 속도를 보이며, 매우 유사한 정확도를 달성함을 확인하였다. 코드는 https://github.com/VDIGPKU/DADA 에서 공개되어 있다.