ETran: 에너지 기반 전이 가능성 추정

이 논문은 객체 검출 및 이미지 분류를 위한 사전 학습 모델의 순위 결정 문제를 다룹니다. 최적의 사전 학습 모델을 미세 조정(fine-tuning)하여 선택하는 것은 비용이 많이 들고 시간이 소요되는 작업입니다. 이전 연구에서는 사전 학습 모델에서 추출한 특징(feature)을 기반으로 전이 가능성(transferability)을 추정하는 방법을 제안했습니다. 우리는 목표 데이터셋이 사전 학습 모델에 대해 분포 내(in-distribution, IND)인지 분포 외(out-of-distribution, OOD)인지를 정량화하는 것이 전이 가능성 추정에서 중요한 요소라고 주장합니다. 이를 위해 우리는 에너지 기반 전이 가능성 평가 지표인 ETran을 제안합니다. ETran은 세 가지 점수를 포함하며, 이는 1) 에너지 점수, 2) 분류 점수, 3) 회귀 점수입니다. 우리는 에너지 기반 모델을 사용하여 목표 데이터셋이 OOD인지 IND인지 여부를 판단합니다. 이전 연구들과 달리, ETran은 분류, 회귀, 그리고 객체 검출(분류+회귀)과 같은 다양한 작업에 적용할 수 있습니다. 이는 객체 검출 작업에 대한 전이 가능성 추정을 제안한 첫 번째 연구입니다. 우리가 네 개의 벤치마크와 두 가지 작업에 걸쳐 수행한 광범위한 실험 결과는 ETran이 객체 검출 벤치마크에서 평균 21%, 이미지 분류 벤치마크에서 평균 12% 개선된 성능을 보임을 확인하였습니다. 또한 ETran은 전이 가능성 평가에서 최상의 성능(SOTA)을 달성하였습니다.