FMix: 혼합 샘플 데이터 증강 개선

최근 몇 년간 혼합 샘플 데이터 증강(Mixed Sample Data Augmentation, MSDA)은 점점 더 많은 주목을 받고 있으며, MixUp 및 CutMix와 같은 성공적인 변형들이 많이 등장하고 있다. 기존 데이터와 증강된 데이터에 대해 VAE(Variational Autoencoder)가 학습하는 함수 간의 상호정보(mutual information)를 분석함으로써, MixUp는 CutMix가 가지지 않은 방식으로 학습된 함수를 왜곡함을 보였다. 이를 더욱 입증하기 위해, MixUp가 적대적 훈련(adversarial training)과 유사한 역할을 하며, Deep Fool 및 균일 노이즈(Uniform Noise)와 같은 공격에 대해 강건성을 높인다는 점을 보였다. 이러한 공격들은 MixUp가 생성하는 예시와 유사한 예시를 생성하기 때문이다. 우리는 이러한 왜곡이 모델이 데이터 내 샘플 특수 특징(sample-specific features)을 학습하는 것을 방해하며, 이는 일반화 성능을 향상시키는 데 기여한다고 주장한다. 반면, CutMix는 전통적인 증강 방식과 더 유사하게 작동하며, 데이터 분포를 왜곡하지 않고 기억화(memorisation)를 방지함으로써 성능을 향상시킨다고 제안한다. 그러나 우리는 CutMix를 기반으로 사각형 외에도 임의의 형태의 마스크를 포함할 수 있도록 확장한 MSDA가, 데이터 분포를 유지하면서도 더 효과적으로 기억화를 방지할 수 있을 것이라고 주장한다. 이를 위해 우리는 푸리에 공간(Fourier space)에서 샘플링한 저주파 이미지에 임계값(threshold)을 적용하여 얻은 임의의 이진 마스크(binary masks)를 사용하는 FMix라는 새로운 MSDA를 제안한다. 이러한 임의의 마스크는 다양한 형태를 가질 수 있으며, 1차원, 2차원, 3차원 데이터 모두에 적용 가능하다. FMix는 훈련 시간 증가 없이 다양한 모델과 데이터셋, 문제 설정에서 MixUp 및 CutMix보다 더 뛰어난 성능을 보이며, 외부 데이터 없이 CIFAR-10에서 새로운 단일 모델 최고 성능(SOTA) 기록을 달성하였다. 마지막으로, MixUp과 같은 보간 기반(MSDA)과 FMix와 같은 마스킹 기반(MSDA)의 차이가 성능 향상에 미치는 영향을 분석한 결과, 두 방식을 결합함으로써 성능을 더욱 향상시킬 수 있음을 보였다. 모든 실험에 대한 코드는 https://github.com/ecs-vlc/FMix 에 공개되어 있다.