DecAug: 분해된 특징 표현과 의미 증강을 통한 분포 외 일반화

딥러닝은 독립적이고 동일하게 분포된(indpendent and identically distributed, IID) 데이터를 처리하는 데 강력한 능력을 보여주지만, 훈련 데이터와 다른 분포에서 나온 테스트 데이터(즉, 분포 외(out-of-distribution, OoD) 데이터)에 대한 일반화 성능이 떨어지는 문제가 자주 발생한다. 다양한 응용 분야에 적용 가능한 일반적인 OoD 일반화 프레임워크를 설계하는 것은 현실 세계에서 발생할 수 있는 분포 간 상관관계 변화(correlation shift) 및 다양성 변화(diversity shift)의 영향으로 인해 매우 어렵다. 기존의 대부분의 접근법은 특정한 한 가지 유형의 분포 변화만 해결할 수 있으며, 예를 들어 도메인 간 변화 또는 상관관계의 외삽(extrapolation)에 한정된다. 이러한 문제를 해결하기 위해 우리는 OoD 일반화를 위한 새로운 분해형 특징 표현 및 의미 증강 방법인 DecAug를 제안한다. DecAug는 카테고리 관련 특징(category-related features)과 컨텍스트 관련 특징(context-related features)을 분리한다. 카테고리 관련 특징은 대상 객체의 인과적 정보(causal information)를 포함하며, 컨텍스트 관련 특징은 분포 차이를 유발하는 속성, 스타일, 배경, 장면 등을 설명한다. 이 분해는 중간 특징에 대해 카테고리 레이블과 컨텍스트 레이블을 예측하는 손실 함수의 두 기울기(gradient)를 직교화(orthogonalization)함으로써 달성된다. 또한, 학습된 표현의 강건성(robustness)을 향상시키기 위해 컨텍스트 관련 특징에 기울기 기반 증강(gradient-based augmentation)을 수행한다. 실험 결과, DecAug는 다양한 OoD 데이터셋에서 다른 최신 기법들을 상회하며, 서로 다른 유형의 OoD 일반화 도전 과제를 동시에 다룰 수 있는 매우 드문 방법 중 하나임을 입증하였다.