초록
실세계 데이터는 주로 불균형하고 긴 꼬리를 가진 특성을 가지고 있지만, 깊은 모델들은 빈도가 높은 클래스가 존재하는 환경에서 드문 클래스를 인식하는 데 어려움을 겪습니다. 종종, 클래스들은 텍스트 설명과 같은 부수적인 정보를 동반할 수 있지만, 이러한 정보를 불균형한 긴 꼬리 데이터 학습에 어떻게 활용할지 명확히 밝혀지지 않았�습니다. 이러한 설명은 주로 (일반화된) 제로샷 학습(ZSL)에서 사용되어 왔으며, 이는 클래스 설명이 포함된 ZSL이 긴 꼬리 분포에서도 유용할 수 있음을 시사합니다. 우리는 DRAGON이라는 후기 융합 아키텍처를 소개합니다. 이 아키텍처는 (1) 샘플별로 머리 클래스에 대한 편향을 수정하고, (2) 클래스 설명으로부터 얻은 정보를 융합하여 꼬리 클래스의 정확도를 개선하도록 학습됩니다. 또한, 기존 속성 기반 학습 데이터셋과 클래스 설명이 포함된 Imagenet-LT 버전을 기반으로 한 새로운 벤치마크인 CUB-LT, SUN-LT, AWA-LT를 제시합니다. DRAGON은 새로운 벤치마크에서 최신 연구 모델들을 능가하며, 기존의 GFSL-d(클래스 설명을 이용한 일반화된 제로샷 학습) 및 표준(비전만을 이용한) 긴 꼬리 학습 벤치마크인 ImageNet-LT, CIFAR-10, 100, Places365에서도 새로운 최고 성능(SoTA)을 달성했습니다.