초록
딥 신경망의 실제적인 제한 중 하나는 단일 작업과 시각 영역에 대한 높은 전문화도입니다. 최근에는 전이 학습의 성공 사례에서 영감을 받아 여러 저자가 모든 딥 네트워크의 첫 단계로 사용될 수 있으며 여러 작업과 영역에서 동시에 잘 작동하는 보편적인 고정된 특성 추출기를 학습하는 방법을 제안하였습니다. 그럼에도 불구하고 이러한 보편적 특성은 여전히 전문화된 네트워크보다 열등합니다.이 제한을 극복하기 위해 본 논문에서는 대신 보편적인 매개변수 가족의 딥 신경망을 고려하는 방법을 제안합니다. 이는 여전히 문제별로 전문화된 모델들을 포함하지만, 몇 개의 매개변수만 다르다는 점에서 차이가 있습니다. 우리는 이러한 매개변수화 설계를 연구하였으며, 직렬 및 병렬 잔여 어댑터, 공동 어댑터 압축, 매개변수 할당 등을 포함하여 가장 높은 압축률을 제공하는 설계를 경험적으로 식별하였습니다.또한 성능을 최대화하기 위해서는 딥 네트워크의 얕은 층과 깊은 층 모두를 조정해야 함을 보였습니다. 그러나 필요한 변경사항은 매우 적습니다. 또한 이러한 보편적인 매개변수화가 전이 학습에서 매우 효과적임을 보였으며, 기존 미세 조정(fine-tuning) 기술보다 우수한 성능을 나타냈습니다.