10일 전
불균형 학습을 위한 재가중 및 로짓 조정의 통합 일반화 분석. 논문 및 코드
{Qingming Huang, Xiaochun Cao, Yuan He, Zhiyong Yang, Qianqian Xu, Zitai Wang}

초록
실제 세계의 데이터셋은 일반적으로 불균형한 구조를 가지고 있으며, 일부 클래스는 많은 샘플을 가지고 있지만, 많은 클래스는 단지 몇 개의 샘플만을 가진다. 이로 인해 단순한 ERM(경험적 위험 최소화) 학습 과정은 다수 클래스에 편향되며, 소수 클래스에 대한 일반화가 어려워진다. 이러한 문제를 해결하기 위해 손실 함수를 수정하여 소수 클래스에 대한 학습을 강조하는 간단하면서도 효과적인 접근법이 존재한다. 예를 들어, 클래스별 가중치를 조정하거나 클래스에 의존적인 항을 통해 로짓(logit)을 조정하는 방식이 있다. 그러나 기존의 이러한 손실 함수에 대한 일반화 분석은 여전히 거시적이고 산만하여 일부 실험적 결과를 설명하지 못하고 있다. 이러한 격차를 메우기 위해, 우리는 다양한 클래스를 어떻게 다루는지 파악할 수 있는 새로운 기법인 '데이터에 의존하는 수축(data-dependent contraction)'을 제안한다. 이 기법을 기반으로 불균형 학습을 위한 미세한 일반화 경계를 도출하였으며, 이는 가중치 조정과 로짓 조정의 메커니즘을 통합적으로 해명하는 데 기여한다. 더 나아가 이 이론적 통찰을 바탕으로 체계적인 학습 알고리즘을 개발하였다. 마지막으로, 벤치마크 데이터셋에서의 실험 결과는 이론적 분석을 검증할 뿐만 아니라 제안된 방법의 효과성을 입증한다.