LEEP: 학습된 표현의 전이 가능성 평가를 위한 새로운 지표

우리는 분류기에서 학습된 표현의 전이 가능성을 평가하기 위한 새로운 지표를 소개합니다. 이 지표인 로그 기대 경험적 예측값(LEEP, Log Expected Empirical Prediction)은 간단하고 계산하기 쉽습니다: 소스 데이터 세트에서 학습된 분류기가 주어지면, 타겟 데이터 세트를 이 분류기를 한 번만 통과시키는 것이 필요합니다. 우리는 LEEP의 특성을 이론적으로 분석하고, 그 효과를 실증적으로 입증합니다. 우리의 분석 결과에 따르면, LEEP는 작은 또는 불균형한 데이터에서도 전이 학습 및 메타-전이 학습 방법의 성능과 수렴 속도를 예측할 수 있습니다. 또한, LEEP는 최근 제안된 전이 가능성 지표들인 음의 조건부 엔트로피와 H 점수보다 우수한 성능을 보입니다. 특히, ImageNet에서 CIFAR100으로 전이할 때, LEEP는 실제 전이 정확도와의 상관관계 측면에서 최고의 경쟁 방법보다 최대 30%의 개선을 이루어낼 수 있습니다.