이질분산 및 불균형한 딥러닝에 대한 적응형 정규화

실세계의 대규모 데이터셋은 비동질분산성(heteroskedastic)이고 불균형한 특성을 지닌다. 즉, 레이블에는 다양한 수준의 불확실성이 존재하며, 레이블 분포는 긴 꼬리(long-tailed) 형태를 띤다. 비동질분산성과 불균형은 잘못 레이블링된 데이터, 모호한 예, 희귀 예를 구분하는 데 어려움을 초래하여 딥러닝 알고리즘에 도전을 안긴다. 비동질분산성과 불균형을 동시에 해결하는 연구는 아직 충분히 탐색되지 않았다. 본 연구에서는 비동질분산성 데이터셋을 위한 데이터 의존적 정규화 기법을 제안한다. 이 기법은 입력 공간의 각 영역에 대해 서로 다른 방식으로 정규화를 수행한다. 일차원 비모수 분류 설정에서 최적의 정규화 강도에 대한 이론적 도출을 영감으로 삼아, 본 연구의 접근법은 불확실성이 높고 밀도가 낮은 영역의 데이터 포인트에 더 강하게 적응형 정규화를 적용한다. 제안한 방법은 WebVision을 포함한 여러 벤치마크 작업에 대해 검증되었으며, 실세계의 비동질분산성 및 불균형 데이터셋에서 효과를 입증하였다. 실험 결과는 이론적 근거를 뒷받침하며, 노이즈에 강한 딥러닝 기법에서 기존 방법들에 비해 상당한 성능 향상을 보여준다.