긴 꼬리 인식을 위한 재균형 시엠즈 대비 채굴

심층 신경망은 극도로 클래스 불균형이 심한 데이터셋에서 성능이 저조하다. 대조 학습(contrastive learning)의 희망적인 성능을 고려하여, 불균형 인식 문제를 해결하기 위해 재균형화된 사미스(Siamese) 대조적 마이닝(Rebalanced Siamese Contrastive Mining, ResCom)을 제안한다. 수학적 분석과 시뮬레이션 결과를 바탕으로, 감독형 대조 학습은 원본 배치 수준과 사미스 배치 수준에서 이중적인 클래스 불균형 문제에 시달리며, 이는 긴 꼬리(long-tailed) 분류 학습보다 더욱 심각하다고 주장한다. 본 논문에서는 원본 배치 수준에서 각 클래스에 대해 적응형 가중치를 부여하기 위해 클래스 균형화된 감독형 대조 손실을 도입한다. 사미스 배치 수준에서는 모든 클래스에 대해 동일한 수의 키를 유지하는 클래스 균형화 큐를 제안한다. 또한, 대조 로짓에 대한 불균형 대조 손실의 기울기가 긍정 샘플과 부정 샘플로 분리될 수 있으며, 쉬운 긍정 샘플과 쉬운 부정 샘플은 대조 기울기를 소멸시킨다는 점을 관찰한다. 이를 해결하기 위해 정보량이 풍부한 긍정 및 부정 쌍을 탐색하는 감독형 하드 쌍 마이닝을 제안하여 표현 학습을 향상시킨다. 마지막으로, 두 개의 시각 간 상호 정보를 근사적으로 최대화하기 위해 사미스 균형화 소프트맥스(Siamese Balanced Softmax)를 제안하고, 이를 대조 손실과 결합하여 단일 단계 학습을 수행한다. 광범위한 실험을 통해 ResCom이 여러 긴 꼬리 인식 벤치마크에서 기존 방법들에 비해 큰 성능 우위를 보임을 입증하였다. 본 연구의 코드 및 모델은 공개되어 있으며, 다음 주소에서 확인할 수 있다: https://github.com/dvlab-research/ResCom.