불균형 데이터셋을 사용한 라벨 분포 인식 마진 손실 학습

딥러닝 알고리즘이 훈련 데이터셋이 극심한 클래스 불균형을 가지고 있지만, 테스트 기준이 빈도가 낮은 클래스에서 좋은 일반화를 요구할 때 성능이 저하될 수 있습니다. 이러한 시나리오에서 성능을 개선하기 위해 두 가지 새로운 방법을 설계하였습니다. 첫째, 이론적으로 타당한 라벨 분포 인식 마진(LDAM) 손실 함수를 제안합니다. 이 손실 함수는 마진 기반 일반화 경계를 최소화하는 것을 목표로 하며, 훈련 중 표준 크로스 엔트로피 목적함수를 대체하여 사용할 수 있으며, 클래스 불균형을 다루기 위한 재가중(re-weighting) 또는 재샘플링(re-sampling)과 같은 사전 전략과 함께 적용할 수 있습니다. 둘째, 초기 단계 이후에 재가중을 연기하는 간단하지만 효과적인 훈련 일정을 제안합니다. 이는 모델이 초기 표현을 학습하면서 재가중 또는 재샘플링과 관련된 일부 복잡성을 피할 수 있게 합니다. 우리는 여러 벤치마크 비전 작업 및 실제 세계의 불균형 데이터셋인 iNaturalist 2018에서 우리의 방법들을 검증하였습니다. 실험 결과, 이들 방법 중 어느 하나만으로도 기존 기술보다 개선되었으며, 두 방법의 조합은 더욱 우수한 성능 향상을 보였습니다.