이미지 분류에서 자연스러운 분포 이동에 대한 강건성 측정

현재 ImageNet 모델이 데이터셋 내 자연스러운 변이에 의해 발생하는 분포 이동(distribution shift)에 얼마나 견고한지 연구한다. 기존의 견고성 연구 대부분은 합성 이미지 왜곡(노이즈, 시뮬레이션된 날씨 효과, 적대적 예제 등)에 초점이 맞춰져 있으며, 이는 합성 분포 이동에 대한 견고성과 실제 데이터에서 발생하는 분포 이동 간의 관계를 명확히 하지 못한 채 남겨둔다. 213개의 다양한 테스트 조건에서 204개의 ImageNet 모델을 평가한 결과, 현재의 합성 분포 이동에 대한 견고성이 자연스러운 분포 이동으로의 전이(transfer)가 거의 없거나 전혀 없다는 점을 발견했다. 또한, 대부분의 현재 기술들은 본 연구에서 사용한 테스트 베드에서 발생하는 자연 분포 이동에 대해 별다른 견고성을 제공하지 못한다. 유일한 예외는 더 크고 다양한 데이터셋으로 학습하는 방식으로, 여러 사례에서 견고성이 향상되기는 하나, 여전히 성능 격차를 완전히 해소하진 못하고 있다. 본 연구 결과는 실제 데이터에서 발생하는 분포 이동이 현재로서는 여전히 해결되지 않은 연구 과제임을 시사한다. 본 연구에서 사용한 테스트 베드와 데이터는 향후 연구를 위해 https://modestyachts.github.io/imagenet-testbed/ 에 공개한다.