ImageNet의 레이블 재정의: 단일 레이블에서 다중 레이블로, 전역 레이블에서 국소화된 레이블로

ImageNet은 논란의 여지 없이 가장 인기 있는 이미지 분류 벤치마크이지만, 동시에 레이블 노이즈가 상당히 높은 벤치마크이기도 하다. 최근 연구들은 이미지가 단일 레이블 벤치마크로 간주되긴 했지만, 실제로는 많은 샘플이 다수의 클래스를 포함하고 있음을 밝혀냈다. 이에 따라 연구자들은 이미지당 포괄적인 다중 레이블(annotation)을 제공함으로써 ImageNet 평가를 다중 레이블 작업으로 전환할 것을 제안했다. 그러나 그들은 학습 데이터셋을 수정하지 않았으며, 이는 상당한 레이블링 비용이 발생하기 때문일 것으로 추정된다. 우리는 단일 레이블 레이블링과 실제로 다중 레이블을 가진 이미지 간의 불일치가, 특히 랜덤 컷(Crop)이 적용되는 학습 환경에서 더 심각한 문제를 야기한다고 주장한다. 단일 레이블 레이블링을 사용할 경우, 이미지의 랜덤 컷 영역이 진짜 레이블과 전혀 다른 객체를 포함할 수 있으며, 이는 학습 과정에서 노이즈가 심하거나 심지어 잘못된 지도 신호를 유발한다. 따라서 우리는 ImageNet 학습 세트를 다중 레이블로 재레이블링한다. 레이블링 비용 문제를 해결하기 위해, 추가 데이터 소스에서 사전 학습된 강력한 이미지 분류기로 다중 레이블을 자동 생성한다. 최종 풀링 레이어 전의 픽셀 단위 다중 레이블 예측을 활용함으로써, 위치에 특화된 추가적인 지도 신호를 효과적으로 활용한다. 재레이블링된 샘플로 학습함으로써, 전반적인 모델 성능이 향상된다. 본 연구에서 제안하는 국소화된 다중 레이블을 사용한 ResNet-50은 ImageNet에서 상위-1 분류 정확도 78.9%를 달성하며, CutMix 정규화 기법을 추가하면 80.2%까지 개선할 수 있다. 또한 국소화된 다중 레이블로 학습된 모델은 객체 탐지 및 인스턴스 세그멘테이션 작업으로의 전이 학습, 다양한 강건성 벤치마크에서도 기존 베이스라인을 능가함을 보여준다. 재레이블링된 ImageNet 학습 세트, 사전 학습된 가중치, 그리고 소스 코드는 {https://github.com/naver-ai/relabel_imagenet}에서 공개되어 있다.