테스트 무관 장기미만 인식에서 계층적 라벨 분포 변동 활용

본 논문은 테스트에 독립적인 장미 꼬리 인식(test-agnostic long-tail recognition)을 탐구합니다. 이는 테스트 라벨 분포가 알려지지 않고 임의로 불균형한 상태에서 수행되는 어려운 장미 꼬리 문제입니다. 우리는 이러한 분포의 변화를 전역(global) 수준과 지역(local) 수준으로 계층적으로 분해할 수 있다고 주장합니다. 전역 수준의 변화는 다양성의 넓은 범위를 반영하는 반면, 지역 수준의 변화는 보통 특정 이웃에 초점을 맞춘 경미한 변화에서 발생합니다. 기존 방법들은 주로 전문가 혼합(Mixture-of-Expert, MoE) 접근법을 사용하여 상당한 전역 변동성을 나타내는 몇 가지 고정된 테스트 라벨 분포를 대상으로 합니다. 그러나 지역 변동성은 고려되지 않았습니다.이 문제를 해결하기 위해, 우리는 새로운 MoE 전략인 $\mathsf{DirMixE}$를 제안합니다. $\mathsf{DirMixE}$는 각각 특정 지역 변동성 측면을 목표로 하는 라벨 분포의 디리클레 메타분포(Dirichlet meta-distributions)에 전문가들을 할당합니다. 또한, 이러한 디리클레 메타분포 간의 다양성이 본질적으로 전역 변동성을 포착합니다. 이 두 가지 수준의 접근 방식은 더 안정적인 목적 함수(objective function)를 제공하며, 이를 통해 다양한 테스트 분포를 샘플링하여 성능 결과의 평균과 분산을 정량화할 수 있습니다.이론적으로, 우리는 제안된 목적 함수가 분산 기반 정규화(variance-based regularization) 덕분에 일반화 성능이 향상됨을 증명하였습니다. 다수의 벤치마크에서 수행된 포괄적인 실험들은 $\mathsf{DirMixE}$의 효과성을 확인하였습니다. 코드는 \url{https://github.com/scongl/DirMixE}에서 이용 가능합니다.