웹리 서포트드 이미지 분류: 자기 포함 신뢰도를 활용한 방법

이 논문은 웹에서 샘플을 크롤링하여 검색어를 그대로 웹 레이블로 사용하는 웹리 서포트드 러닝(WSL, Webly Supervised Learning)에 초점을 맞추고 있다. WSL은 빠르고 저비용의 데이터 수집이라는 장점을 지니고 있지만, 웹 레이블 내 포함된 노이즈로 인해 이미지 분류 모델의 성능 향상이 제한된다. 이러한 문제를 완화하기 위해 최근 연구에서는 웹리 서포트드 손실 $\mathcal{L}_w$ 외에 모델 자체가 예측한 의사 레이블(pseudo labels)에 기반한 자체 레이블 서포트드 손실 $\mathcal{L}_s$ 를 함께 활용한다. 웹 레이블 또는 의사 레이블의 정확성은 각 웹 샘플에 따라 달라지므로, $\mathcal{L}_s$ 와 $\mathcal{L}_w$ 사이의 균형을 샘플 단위로 조정하는 것이 바람직하다. 딥 신경망(DNN)이 신뢰도 예측에 뛰어난 능력을 갖추고 있다는 점에 착안하여, 본 연구에서는 WSL 환경에 적합하도록 모델 불확실성(uncertainty)을 적응시킨 자기 포함 신뢰도(Self-Contained Confidence, SCC)를 제안하고, 이를 통해 $\mathcal{L}_s$ 와 $\mathcal{L}_w$ 를 샘플 단위로 균형 있게 조절한다. 이에 따라 간단하면서도 효과적인 WSL 프레임워크가 제안된다. 다양한 SCC 친화적인 정규화 기법을 탐색한 결과, 제안된 그래프 기반 믹스업(Graph-enhanced Mixup)이 가장 뛰어난 품질의 신뢰도를 제공하여 본 프레임워크의 성능을 향상시키는 데 기여하였다. 제안된 WSL 프레임워크는 WebVision-1000과 Food101-N이라는 두 개의 대규모 WSL 데이터셋에서 최신 기준(SOTA, State-of-the-Art) 성능을 달성하였다. 코드는 https://github.com/bigvideoresearch/SCC 에서 공개되어 있다.