SelfReg: Domain Generalization을 위한 자기 지도 대조 정규화

일반적으로 딥 러닝의 실험 환경은 학습 데이터셋과 테스트 데이터셋이 동일한 분포에서 샘플링되었다는 가정을 합니다. 그러나 실제 상황에서는 두 데이터셋 간의 분포 차이, 즉 도메인 시프트(domain shift)가 발생할 수 있으며, 이는 모델의 일반화 성능을 저해하는 주요 요인이 됩니다. 이러한 문제를 해결하기 위한 연구 영역은 도메인 일반화(domain generalization)로 불리며, 명시적 또는 암묵적으로 도메인 불변 특성을 추출하여 도메인 시프트 문제를 완화합니다. 최근 연구에서는 대조학습(contrastive learning) 기반의 도메인 일반화 접근법이 제안되어 높은 성능을 달성하였습니다. 이러한 접근법은 부정적인 데이터 쌍의 샘플링을 필요로 하지만, 대조학습의 성능은 근본적으로 부정적인 데이터 쌍의 품질과 양에 따라 결정됩니다. 이 문제를 해결하기 위해, 우리는 대조학습 기반의 새로운 정규화 방법론인 자기 지도 대조 정규화(self-supervised contrastive regularization, SelfReg)를 제안합니다. 제안된 접근법은 부정적인 데이터 쌍이 아닌 긍정적인 데이터 쌍만 사용하므로, 부정적 쌍 샘플링으로 인한 다양한 문제들을 해결할 수 있습니다. 또한, 긍정적인 데이터 쌍만 사용되더라도 mixup 증강을 효과적으로 적용할 수 있도록 하는 클래스별 도메인 변동 계층(class-specific domain perturbation layer, CDPL)을 제안합니다. 실험 결과는 SelfReg에 통합된 기술들이 성능 향상에 호환되는 방식으로 기여하였음을 보여줍니다. 최신 벤치마크인 DomainBed에서 제안된 방법론은 기존 최첨단 대안들과 유사한 성능을 보였습니다. 코드는 https://github.com/dnap512/SelfReg에서 확인할 수 있습니다.