초록
기존에 훈련된 신경망이 있을 때, 이미 학습한 성능을 저해하지 않고 새로운 기능을 학습하는 것이 종종 바람직합니다. 기존 접근 방식들은 하위 최적 해를 학습하거나, 공동 훈련을 요구하거나, 각 추가 도메인마다 원래 네트워크와 비슷한 수의 매개변수 증가를 초래합니다. 우리는 새로 학습된 필터가 기존 필터의 선형 조합이 되도록 제약하는 방법인 \emph{딥 어댑테이션 네트워크} (DAN)를 제안합니다. DAN은 원래 도메인에서의 성능을 정확히 유지하며, 표준 미세조정 절차에 비해 매개변수 수의 일부(일반적으로 13%, 네트워크 구조에 따라 다름)만 필요하며, 유사하거나 더 나은 수준의 성능으로 수렴하는데 필요한 훈련 주기가 적습니다. 표준 네트워크 양자화 기술과 결합하면 매개변수 비용을 원래의 약 3%로 줄일 수 있으며, 정확도 손실은 거의 없거나 없습니다. 학습된 아키텍처는 다양한 학습된 표현 간에 전환할 수 있도록 제어될 수 있어 단일 네트워크가 여러 다른 도메인에서 작업을 해결할 수 있습니다. 우리는 광범위한 실험을 수행하여 다양한 이미지 분류 작업에서 우리 방법의 효과성을 보여주고 그 행동 특성의 여러 측면을 탐구하였습니다.