일반화된 긴 꼬리 분류를 위한 불변 특징 학습

기존의 긴꼬리 분류(Long-tailed classification, LT) 기법들은 머리 클래스(head classes)가 꼬리 클래스(tail classes)보다 더 많은 샘플을 가지는 계층 간 불균형에만 초점을 맞추지만, 속성 간 불균형(attribute-wise imbalance)은 간과하고 있다. 실제로 클래스가 균형을 이룬 상태라도, 각 클래스 내부의 샘플들이 다양한 속성(attribute)에 따라 여전히 긴꼬리 형태를 띌 수 있다. 특히 후자의 불균형은 전자의 불균형보다 근본적으로 더 흔하고 도전적인 문제이다. 왜냐하면 대부분의 데이터셋에서 속성은 암묵적인 특성일 뿐 아니라, 조합적으로 매우 복잡하여 균형을 맞추는 것이 실질적으로 불가능하기 때문이다. 따라서 우리는 이러한 두 가지 유형의 불균형을 동시에 고려할 수 있는 새로운 연구 문제인 일반화 긴꼬리 분류(Generalized Long-Tailed classification, GLT)를 제안한다. 여기서 ‘일반화(generalized)’란, GLT 방법이 기존의 LT 문제를 자연스럽게 해결할 수 있어야 하며, 그 반대는 성립하지 않아야 한다는 의미이다. 예상하듯이, 우리는 대부분의 계층 간 LT 기법들이 본 연구에서 제안한 두 가지 벤치마크인 ImageNet-GLT와 MSCOCO-GLT에서 성능이 저하됨을 발견하였다. 우리는 이 원인이 이러한 기법들이 계층 분포 조정에 과도하게 집중하면서도 속성 불변 특징(attribute-invariant features)을 학습하지 못했기 때문이라고 주장한다. 이를 해결하기 위해 우리는 GLT에 대한 첫 번째 강력한 베이스라인으로 불변 특징 학습(Invariant Feature Learning, IFL) 방법을 제안한다. IFL은 부정확한 예측에서 내부 클래스 분포가 상이한 환경(environment)을 탐지한 후, 이러한 환경들 간에 불변하는 특징을 학습한다. 희망적으로도, IFL은 개선된 특징 백본으로서 기존의 모든 LT 기법—단일/이단계 재균형, 증강, 앙상블—의 성능을 향상시킨다. 코드와 벤치마크는 GitHub에서 공개되어 있다: https://github.com/KaihuaTang/Generalized-Long-Tailed-Benchmarks.pytorch