ELF: 긴 꼬리 분류를 위한 조기 종료 프레임워크

자연 세계는 일반적으로 긴 꼬리(data distribution)를 따르며, 이는 소수의 클래스가 대부분의 예시를 차지함을 의미한다. 이러한 긴 꼬리 구조는 분류기가 다수 클래스에 과적합(overfit)되게 만든다. 이를 완화하기 위해 기존의 접근법은 데이터 재샘플링과 손실 함수 재구성(loss reshaping)과 같은 클래스 균형 조정 전략을 주로 사용한다. 그러나 이러한 방법들은 클래스 내 각 예시를 동일하게 취급하므로, 예시의 난이도(예: 클래스 내에서 일부 예시는 다른 예시보다 분류하기 쉬움)라는 중요한 개념을 반영하지 못한다. 이러한 난이도 개념을 학습 과정에 통합하기 위해 우리는 EarLy-exiting Framework(ELF)를 제안한다. 훈련 과정에서 ELF는 백본 네트워크에 부가적인 분기(auxiliary branches)를 연결하여 쉬운 예시에 대해 조기 종료(early-exit)를 학습한다. 이는 두 가지 이점을 제공한다. 첫째, 신경망이 전체 손실에 더 큰 기여를 하는 어려운 예시에 점점 더 집중하게 되며, 둘째, 어려운 예시를 구분하는 데 필요한 추가적인 모델 용량을 확보할 수 있다. ImageNet LT와 iNaturalist'18이라는 두 개의 대규모 데이터셋에서의 실험 결과는 ELF가 최신 기술의 정확도를 3퍼센트 이상 향상시킬 수 있음을 보여준다. 또한 추론 시간의 FLOPS를 최대 20퍼센트까지 감소시키는 추가적인 이점도 있다. ELF는 기존 연구와 보완 관계에 있으며, 다양한 기존 방법과 자연스럽게 통합되어 긴 꼬리 분포 문제에 대응할 수 있다.