StyleAdv: 도메인 간 소수 샘플 학습을 위한 메타 스타일 적대적 훈련

다중 도메인 소수 학습(Cross-Domain Few-Shot Learning, CD-FSL)은 최근 부상한 새로운 과제로, 서로 다른 도메인 간의 소수 학습 문제를 해결하는 것을 목표로 한다. 이 과제는 소스 데이터셋에서 학습한 사전 지식을 새로운 타겟 데이터셋으로 전이하는 데 초점을 맞춘다. CD-FSL은 서로 다른 데이터셋 사이에 존재하는 큰 도메인 갭(domain gap)으로 인해 특히 도전적인 과제이다. 특히 이러한 도메인 갭은 시각적 스타일의 변화로부터 비롯되며, wave-SAN은 소스 데이터의 스타일 분포를 확장함으로써 이 문제를 완화할 수 있음을 경험적으로 보여주었다. 그러나 wave-SAN은 단순히 두 이미지의 스타일을 교환하는 방식을 사용한다. 이와 같은 단순한 연산은 생성된 스타일이 '실제적'이면서 '간단한' 성질을 가지게 되어 여전히 원래 소스 스타일 집합 내에 머무르게 된다. 이를 해결하기 위해, 기존의 적대적 학습(adversarial learning)의 아이디어를 차용하여, 모델에 종속되지 않는 새로운 메타 스타일 적대적 학습(Style Adversarial training, StyleAdv) 방법과 함께 새로운 스타일 적대적 공격 방식을 제안한다. 특히 본 연구에서 제안하는 스타일 공격 방법은 모델 학습을 위해 '가상의'(virtual) 및 '어려운'(hard) 적대적 스타일을 동시에 합성한다. 이는 원래 스타일에 서명된 스타일 기울기(sign)를 이용해 변형함으로써 달성된다. 지속적으로 스타일에 대한 공격을 수행하면서 모델이 이러한 도전적인 적대적 스타일을 인식하도록 강제함으로써, 모델은 점차 시각적 스타일에 대해 강건해지며, 새로운 타겟 데이터셋에 대한 일반화 능력을 향상시킨다. 전형적인 CNN 기반 백본 외에도, 본 연구는 대규모 사전 학습된 비전 트랜스포머(Vision Transformer, ViT)에 대해서도 StyleAdv 방법을 적용하였다. 8개의 다양한 타겟 데이터셋에서 실시한 광범위한 실험 결과를 통해 제안 방법의 효과성을 입증하였다. ResNet 또는 ViT 기반 모델 모두에서 CD-FSL의 새로운 최고 성능(SOTA)을 달성하였다. 코드는 https://github.com/lovelyqian/StyleAdv-CDFSL 에서 공개되어 있다.