다양한 면을 가진 강건성: 분포 외 일반화에 대한 비판적 분석

우리는 이미지 스타일, 이미지 흐림 정도, 지리적 위치, 카메라 작동 방식 등 다양한 변화를 포함하는 네 가지 새로운 실세계 분포 변화(distribution shift) 데이터셋을 소개한다. 본 연구에서 제안한 새로운 데이터셋을 바탕으로 기존에 제안된 분포 외(Out-of-Distribution, OOD) 강건성 향상 방법들을 종합적으로 평가하고 실험한다. 그 결과, 기존 연구에서 주장한 것과는 달리, 더 큰 모델을 사용하거나 인공적인 데이터 증강 기법을 적용하는 것이 실세계 분포 변화에 대한 강건성을 향상시킬 수 있음을 발견하였다. 또한, 인공적인 강건성 평가 지표에서의 성능 향상이 실세계 분포 변화로까지 전이될 수 있음을 확인하였으며, 이 역시 기존 연구의 주장과 정반대되는 결과이다. 특히 데이터 증강이 실세계 분포 변화에 도움이 된다는 관찰에 착안하여, 새로운 데이터 증강 방법을 제안하였고, 이는 레이블이 1000배 더 많은 데이터로 사전 학습된 모델을 능가하는 성능을 달성하였다. 전반적으로, 일부 방법은 질감과 국부적인 이미지 통계 분포 변화에 대해 일관되게 강건성을 향상시키지만, 지리적 변화와 같은 다른 유형의 분포 변화에는 효과가 없음을 확인하였다. 본 연구 결과는 향후 연구가 단일 분포 변화가 아닌 여러 분포 변화를 동시에 고려해야 함을 시사하며, 평가된 모든 방법이 일관되게 강건성을 향상시키지 못함을 실증적으로 보여준다.