초록
딥 신경망은 훈련 데이터가 길게 분포되어 있을 경우, 다수의 주요 클래스가 훈련 과정을 지배하게 되어 모델이 편향되며 성능 저하를 겪는 경우가 흔하다. 최근 연구들은 데이터 공간에서 우수한 표현을 얻는 방식으로 이 문제를 해결하기 위해 많은 노력을 기울였지만, 특징 노름(feature norm)이 예측 결과에 미치는 영향에 대한 관심은 여전히 부족한 실정이다. 본 논문에서는 특징 공간 측면에서 길게 분포된 문제를 다루며, 특징 균형 손실(feature-balanced loss)을 제안한다. 구체적으로, 꼬리 클래스(tail classes)의 특징 노름을 더 크게 하기 위해 상대적으로 강한 자극을 부여한다. 또한, 이 자극의 강도는 커리큘럼 학습(curriculum learning) 방식으로 점진적으로 증가시켜 꼬리 클래스의 일반화 능력을 향상시키면서도 헤드 클래스(head classes)의 성능은 유지한다. 다양한 인기 있는 길게 분포된 인식 벤치마크에서 실시한 광범위한 실험 결과, 제안하는 특징 균형 손실이 최신 기술 대비 우수한 성능 향상을 달성함을 확인할 수 있었다.