모든 모델이 동등하지 않다: 자기 도전적 피셔 공간에서의 모델 전이성 예측

본 논문은 사전 학습된 딥 뉴럴 네트워크의 순위를 매기고 하류 작업에 가장 전이 가능한 모델을 선별하는 중요한 문제를 다룹니다. 이는 각 작업의 실제 모델 순위를 생성하기 위해서는 대상 데이터셋에서 사전 학습된 모델들을 미세 조정(fine-tuning)해야 하는데, 이 과정은 무차별적이고 계산 비용이 많이 드는 작업이기 때문에 도전적입니다. 최근 고급 방법들은 이러한 문제를 해결하기 위해 경량화된 전이 가능성 지표를 제안하였지만, 이러한 접근 방식은 정적인 표현만 포착하고 미세 조정 동역학을 간과하였습니다. 이를 해결하기 위해 본 논문에서는 새로운 전이 가능성 지표인 자기 도전형 피셔 판별 분석(\textbf{S}elf-\textbf{C}hallenging \textbf{F}isher \textbf{D}iscriminant \textbf{A}nalysis, \textbf{SFDA})를 제안합니다. SFDA는 기존 연구들이 갖지 못한 여러 가지 매력적인 장점을 가지고 있습니다. 첫째, SFDA는 정적 특성을 피셔 공간으로 임베딩하여 클래스 간 구분력을 개선할 수 있습니다. 둘째, SFDA는 자기 도전 메커니즘을 사용하여 다른 사전 학습된 모델들이 어려운 예제에서 차별화하도록 유도합니다. 셋째, SFDA는 쉽게 여러 개의 사전 학습된 모델을 앙상블(ensemble)로 선택할 수 있습니다. 11개의 하류 작업에 대한 33개의 사전 학습된 모델에 대한 광범위한 실험 결과, SFDA가 사전 학습된 모델의 전이 가능성을 측정할 때 효율적이며 효과적이며 견고함을 입증하였습니다. 예를 들어, 최신 기술(NLEEP)과 비교하여 SFDA는 평균 59.1%의 성능 향상을 보이며, 실제 시간(wall-clock time)으로 22.5배 더 빠른 속도를 제공하였습니다. 코드는 \url{https://github.com/TencentARC/SFDA}에서 이용 가능할 것입니다.