신경망 체크포인트 순위 매기기

본 논문은 다운스트림 작업으로의 전이 학습을 위해 여러 개의 사전 훈련된 딥 뉴럴 네트워크(DNNs)를 순위 매기는 문제에 대해 다룹니다. DNNs의 광범위한 사용 덕분에, 우리는 다양한 출처에서 수백 개의 체크포인트를 쉽게 수집할 수 있습니다. 이 중 어떤 체크포인트가 우리의 관심사인 다운스트림 작업으로 가장 잘 전이될까요? 이 질문에 대해 철저히 답하기 위해, 우리는 신경망 체크포인트 순위 벤치마크(NeuCRaB)를 설립하고 몇 가지 직관적인 순위 측정 방법을 연구하였습니다. 이러한 측정 방법들은 일반적이며, 체크포인트들이 어떤 데이터셋에서 사전 훈련되었는지 알 필요 없이 서로 다른 출력 유형의 체크포인트들에 적용됩니다. 또한 낮은 계산 비용을 초래하여 실질적으로 의미가 있습니다. 우리의 결과는 체크포인트가 추출한 특징들의 선형 분리 가능성이 전이 가능성의 강력한 지표임을 제시합니다. 또한 실험에서 최고 성능을 보이는 새로운 순위 측정 방법인 NLEEP도 도출되었습니다.