사전에 훈련된 심층 신경망(DNN)을 대상 데이터셋에 맞추는 미세조정(fine-tuning), 즉 전이학습(transfer learning)은 컴퓨터 비전과 자연어처리(NLP) 분야에서 널리 사용된다. 특정 작업에 특화된 레이어는 주로 범주 정보를 포함하고 있으며, 이 범주들은 데이터셋에 따라 달라지기 때문에, 실무자들은 주로 작업에 특화된 레이어를 제거하고 하위 레이어만 미세조정함으로써 사전 훈련 모델을 부분적으로 전이한다. 그러나 사전 훈련 모델의 총 파라미터 중 최대 20%까지 차지하는 작업 특화 파라미터를 단순히 버리는 것은 무모한 손실이다. 따라서 사전 훈련 모델을 완전히 전이하기 위해, 본 연구에서는 두 단계 프레임워크인 Co-Tuning을 제안한다. 첫째, 사전 훈련 모델과 보정된 예측값을 기반으로 원본 범주와 대상 범주 간의 관계를 학습한다. 둘째, 대상 레이블(일반화된 레이블, one-hot labels)과 원본 레이블(범주 관계에 의해 변환된 확률적 레이블, probabilistic labels)이 함께 미세조정 과정을 지도한다. 이 프레임워크의 간단한 구현 사례는 네 가지 시각 분류 작업과 하나의 NLP 분류 작업에서 강력한 실험적 성능을 보였으며, 최대 20%의 상대적 성능 향상을 가져왔다. 최신 미세조정 기법은 데이터가 부족할 때 정규화(regularization)를 어떻게 적용할지를 주로 다루지만, Co-Tuning은 중규모 데이터셋(클래스당 100개 샘플)뿐 아니라 대규모 데이터셋(클래스당 1000개 샘플)에서도 효과적으로 작동하며, 정규화 기반 방법이 원시적인 미세조정보다 성능 향상을 가져오지 못하는 상황에서도 유의미한 성능을 발휘한다. Co-Tuning은 사전 훈련 데이터셋이 충분히 다양하다는 일반적으로 타당한 가정에 기반하고 있으며, 이는 그 적용 가능성이 매우 넓다는 것을 시사한다.