일반화된 파라메트릭 대비 학습

본 논문에서는 불균형 데이터와 균형 데이터 모두에서 우수한 성능을 발휘하는 일반화된 파라메트릭 대비 학습(Generalized Parametric Contrastive Learning, GPaCo/PaCo)을 제안한다. 이론적 분석을 바탕으로, 감독형 대비 손실은 고주파 수준의 클래스에 편향을 유도하며, 이로 인해 불균형 학습의 난이도가 증가함을 관찰하였다. 이를 해결하기 위해 최적화 관점에서 클래스별로 학습 가능한 중심점(learnable centers)을 도입하여 데이터 분포를 재균형화한다. 또한 균형된 설정 하에서 GPaCo/PaCo 손실의 성질을 분석한 결과, 동일한 클래스의 샘플들이 해당 중심점과 함께 더 많이 끌어모일수록 같은 클래스 내 샘플 간의 밀집 강도가 자동으로 증가하며, 어려운 예제 학습에 유리함을 입증하였다. 긴 꼬리(long-tailed) 기준 데이터셋에 대한 실험 결과, 본 연구는 긴 꼬리 인식 분야에서 새로운 최고 성능(state-of-the-art)을 달성하였다. 전체 ImageNet에서 CNN부터 비전 트랜스포머까지 다양한 모델을 GPaCo 손실로 학습한 결과, MAE 모델 대비 더 우수한 일반화 성능과 강화된 로버스트성(내성)을 보였다. 더불어 GPaCo는 세그멘테이션 작업에도 적용 가능하며, 가장 인기 있는 4개의 기준 데이터셋에서 뚜렷한 성능 향상이 관측되었다. 본 연구의 코드는 https://github.com/dvlab-research/Parametric-Contrastive-Learning 에서 공개되어 있다.