저데이터 전이학습을 위한 딥 엔셈블리

저데이터 환경에서는 처음부터 좋은 지도 학습 모델을 훈련하는 것이 어렵다. 따라서 실무자들은 사전 훈련된 모델을 활용하여 전이 학습(transfer learning)을 수행한다. 앙상블(ensembling)은 이론적으로도 실험적으로도 강력한 예측 모델을 구성하는 매력적인 방법이지만, 서로 다른 난수 초기화를 사용해 여러 개의 딥 네트워크를 별도로 훈련하는 기존 접근 방식은 사전 훈련된 가중치를 통한 전이 학습의 필요성과 충돌한다. 본 연구에서는 사전 훈련된 모델들로부터 앙상블을 구성하는 다양한 방법을 탐구한다. 사전 훈련 과정 자체가 이미 충분한 다양성(diversity)을 제공함을 보이며, 하류 데이터셋에 적합한 사전 훈련 모델의 효율적인 하위 집합을 식별할 수 있는 실용적인 알고리즘을 제안한다. 제안하는 방법은 간단하다: 가장 가까운 이웃( nearest-neighbour) 정확도를 기준으로 사전 훈련된 모델들을 순위 매기고, 최상의 모델들에 대해 작은 하이퍼파라미터 탐색을 통해 미세 조정(fine-tune)한 후, 검증 데이터의 교차 엔트로피를 최소화하도록 탐욕적(greedy) 방식으로 앙상블을 구성한다. 19개의 다양한 하류 작업(Visual Task Adaptation Benchmark)에서 강력한 기준 모델들과 비교하여 평가한 결과, 2,000개 이상의 사전 훈련 모델 중에서 선택하더라도, 훨씬 낮은 추론 예산(inference budget)으로도 최신 기술(SOTA) 수준의 성능을 달성하였다. 또한 ImageNet 변형 데이터셋에서도 제안한 앙상블의 성능을 평가하여, 분포 이동(distribution shift)에 대한 강건성(robustness)이 향상됨을 확인하였다.