10일 전

장테일 인식을 위한 타겟 기반 감독형 대비 학습

Tianhong Li, Peng Cao, Yuan Yuan, Lijie Fan, Yuzhe Yang, Rogerio Feris, Piotr Indyk, Dina Katabi
장테일 인식을 위한 타겟 기반 감독형 대비 학습
초록

실세계 데이터는 다수 클래스가 학습 과정을 지배하고 소수 클래스의 결정 경계를 왜곡하는 심한 클래스 불균형을 동반한 긴 꼬리 분포(long-tailed distribution)를 자주 보인다. 최근 연구자들은 긴 꼬리 인식(long-tailed recognition)에 대해 감독형 대조 학습(supervised contrastive learning)의 잠재력을 탐구하여, 이 기법이 강력한 성능 향상을 제공함을 입증하였다. 본 논문에서는 감독형 대조 학습이 성능 향상에 도움이 되지만, 기존의 기준 모델들이 불균형한 데이터 분포로 인해 낮은 균일성(uniformity)을 겪는다는 점을 밝힌다. 이러한 낮은 균일성은 소수 클래스의 샘플들이 특징 공간에서 잘 분리되지 않는 형태로 나타난다. 이 문제를 해결하기 위해, 우리는 초구(hypersphere) 상에 균일하게 분포된 타겟을 생성하고, 각 클래스의 특징이 이들 서로 다른 균일한 타겟으로 수렴하도록 유도하는 타겟 기반 감독형 대조 학습(Targeted Supervised Contrastive Learning, TSC)을 제안한다. 이를 통해 소수 클래스를 포함한 모든 클래스가 특징 공간 내에서 균일한 분포를 유지하도록 강제함으로써, 결정 경계를 개선하고 긴 꼬리 데이터가 존재하더라도 더 나은 일반화 성능을 달성할 수 있다. 다양한 데이터셋에서 수행한 실험 결과, TSC는 긴 꼬리 인식 작업에서 최신 기준(SOTA) 성능을 달성함을 확인하였다.