8일 전

동적 손실을 통한 강건한 학습

Shenwang Jiang, Jianan Li, Jizhou Zhang, Ying Wang, Tingfa Xu
동적 손실을 통한 강건한 학습
초록

라벨 노이즈와 클래스 불균형은 실제 데이터에서 자주 함께 존재한다. 그러나 기존의 로버스트 학습 기법들은 일반적으로 이러한 데이터 편향 중 하나만 다루며, 둘 다 존재할 경우 성능이 저하되는 경향이 있다. 이 격차를 해소하기 위해, 본 연구는 장기간의 노이즈 데이터로부터 분류기를 로버스트하게 학습할 수 있도록 훈련 과정에 따라 목적 함수를 자동 조정하는 새로운 메타학습 기반의 동적 손실 함수를 제안한다. 구체적으로, 본 동적 손실은 라벨 보정기와 마진 생성기로 구성되며, 각각 데이터의 내재적 분포와 분류기의 학습 상태를 인식함으로써 노이즈 라벨을 보정하고, 클래스별로 추가적인 분류 마진을 생성한다. 새로운 계층적 샘플링 전략을 도입하여 소량의 편향 없는 메타 데이터를 다양한 어려운 샘플들로 풍부하게 확장함으로써, 동적 손실 내 두 구성 요소는 메타학습을 통해 공동 최적화되며, 분류기가 깨끗하고 균형 잡힌 테스트 데이터에 잘 적응하도록 유도한다. 광범위한 실험을 통해 본 방법은 다양한 유형의 데이터 편향을 포함한 여러 실제 및 합성 데이터셋(CIFAR-10/100, Animal-10N, ImageNet-LT, Webvision 등)에서 최신 기법들을 능가하는 정확도를 달성함을 확인하였다. 코드는 곧 공개될 예정이다.