PACTran: PAC-Bayesian 메트릭을 이용한 사전 학습 모델의 분류 작업으로의 전이 가능성 추정

최근 몇 년간 사전 학습 모델의 증가에 따라, 특정 다운스트림 분류 작업을 위한 최적의 사전 학습 체크포인트 선택 문제에 대한 관심이 점차 높아지고 있습니다. 최근에는 이 선택 문제를 해결하기 위한 여러 방법(LEEP, H-score 등)이 제안되었지만, 이러한 방법들은 학습 이론으로 충분히 설명되지 않는 휴리스틱을 적용하는 경향이 있습니다. 본 논문에서는 사전 학습 모델 선택과 전이 가능성을 측정하기 위한 이론적으로 근거한 지표군인 PACTran을 소개합니다. 먼저 전이 학습 환경에서 최적의 PAC-Bayesian bound를 도출하여 PACTran 지표를 유도하는 방법을 설명합니다. 그 다음, PACTran의 세 가지 지표 인스턴스를 다양한 시각 작업(VTAB) 및 언어-시각 작업(OKVQA)에서 실증적으로 평가합니다. 결과 분석은 PACTran이 기존 선택 방법보다 일관성 있고 효과적인 전이 가능성 측정 지표임을 보여줍니다.