초록
비교 학습(contrastive learning) 방법은 다양한 표현 학습 과제에서 뛰어난 성능을 보여주고 있으나, 학습 데이터셋이 길게 분포된(long-tailed) 경우 어려움을 겪는다. 많은 연구자들이 이 문제를 해결하기 위해 비교 학습과 로짓 조정(logit adjustment) 기법을 결합해 왔으나, 이러한 결합은 임의적(ad-hoc)으로 이루어졌으며, 이에 대한 이론적 기반은 아직 제시되지 않았다. 본 논문의 목적은 이러한 이론적 배경을 제공하고, 성능을 더욱 향상시키는 것이다. 먼저, 비교 학습 방법이 길게 분포된 과제에서 어려움을 겪는 근본적인 원인은 잠재적 특징(latent features)과 입력 데이터 간의 상호정보량(mutual information)을 최대화하려는 시도에 있음을 보여준다. 이 최적화 과정에서 진정한 레이블(ground-truth labels)이 고려되지 않기 때문에 클래스 레이블 간의 불균형을 해결할 수 없다. 반면, 우리는 길게 분포된 인식 과제를 잠재적 특징과 진정한 레이블 간의 상호정보량 최대화로 재해석한다. 이 접근은 비교 학습과 로짓 조정을 자연스럽게 통합하여, 길게 분포된 인식 벤치마크에서 최신 기술 수준의 성능을 보이는 손실 함수(loss function)를 도출한다. 또한 이 방법은 이미지 세그멘테이션 과제에서도 효과를 입증하여, 이미지 분류를 넘어서는 유연성과 적용 가능성을 확인한다.