AutoMix: 강력한 분류기 위한 Mixup의 힘 드러내기

데이터 믹싱 증강 기법은 심층 신경망의 일반화 능력을 향상시키는 데 효과적임이 입증되었다. 초기 방법들은 수작업으로 설계된 정책(예: 선형 보간)을 이용해 샘플을 혼합하였으나, 최근의 방법들은 복잡한 오프라인 최적화를 통해 믹싱된 샘플과 레이블 간의 일치를 위해 선명도(saliency) 정보를 활용한다. 그러나 정밀한 믹싱 정책과 최적화 복잡성 사이에는 상충 관계가 존재한다. 이 도전 과제를 해결하기 위해, 우리는 믹싱 정책을 파라미터화하여 최종 분류 목표에 직접 기여하는 새로운 자동 믹스업(AutoMix) 프레임워크를 제안한다. 구체적으로 AutoMix는 믹스업 분류 문제를 두 가지 하위 작업(즉, 믹싱된 샘플 생성 및 믹스업 분류)으로 재정의하고, 각각에 해당하는 하위 네트워크를 설계하여 이중 최적화(bi-level optimization) 프레임워크에서 동시에 해결한다. 샘플 생성을 위해, 믹싱된 레이블의 직접적인 감독 아래 패치 단위 관계를 모델링함으로써 믹싱된 샘플을 생성하는 학습 가능한 경량 믹싱 생성기인 Mix Block을 설계하였다. 또한 이중 최적화의 퇴화 및 불안정성을 방지하기 위해, AutoMix를 엔드투엔드(end-to-end) 방식으로 훈련할 수 있도록 모멘텀 파이프라인(momentum pipeline)을 도입하였다. 9개의 이미지 벤치마크에서 실시한 광범위한 실험을 통해 AutoMix가 다양한 분류 시나리오 및 후속 작업에서 최첨단 기법들과 비교해 우수한 성능을 보임을 입증하였다.