현재 이미지 분류 데이터셋인 ImageNet과 같은 대규모 데이터셋에서 사전 학습된 가중치를 기반으로 미세 조정(fine-tuning)하는 방식이, 레이블링된 학습 예제 수가 적은 다양한 컴퓨터 비전 작업의 표준으로 자리 잡고 있다. 전이 학습(transfer learning) 및 전이 학습 방법의 적용은 일반적으로 이진적(binary)으로 이루어진다. 즉, 모델은 사전 학습 여부에 따라 '사전 학습됨' 또는 '사전 학습되지 않음'으로 간주되며, 사전 학습은 성능을 향상시키거나 저하시키는 두 가지 결과만을 초래한다. 후자의 경우를 '부정적 전이(negative transfer)'라고 정의한다. L2-SP 정규화는 사전 학습된 가중치 방향으로 가중치를 감쇠시키는 방식으로 적용되며, 이는 적용 여부가 명확하거나 모든 가중치가 0으로 감쇠되는 방식으로만 이루어진다. 본 논문은 이러한 기존 가정을 재검토한다. 우리의 제안은 다양한 전이 학습 하이퍼파라미터를 비이진적(non-binary) 방식으로 조정함으로써 최적의 성능을 달성할 수 있음을 보여주는 광범위한 실험적 평가에 기반한다. (1) 각 개별 데이터셋에서 최고의 성능을 달성하기 위해서는 일반적으로 고려되지 않는 다양한 하이퍼파라미터, 예를 들어 전이할 계층 수, 각 계층에 대해 다른 학습률을 설정하는 것, L2-SP와 L2 정규화의 다양한 조합 등을 신중하게 조정해야 한다. (2) 사전 학습된 가중치가 타겟 데이터셋에 얼마나 잘 적합하는지를 평가하는 여러 지표를 활용하여 최적의 하이퍼파라미터를 도출할 수 있다. 본 논문에서는 L2-SP와 L2 정규화를 결합하거나 전통적인 미세 조정 하이퍼파라미터 탐색 방식을 벗어나는 비전통적 탐색 기법을 포함한 비이진적 전이 학습 방법을 제안한다. 마지막으로 최적의 전이 학습 하이퍼파라미터를 결정하기 위한 힌트(heuristics)를 제시한다. 이러한 비이진적 접근 방식의 효과는 다양한 전이 학습에 기존에 어려웠던 과제들에 대해 최첨단 성능에 근접하거나 이를 초월하는 최종 결과를 통해 입증된다.