초록
이 연구는 이미 학습된 작업의 성능에 영향을 주지 않으면서 단일 고정된 딥 뉴럴 네트워크를 여러 작업에 적응시키는 방법을 제시합니다. 네트워크 양자화와 프루닝 아이디어를 바탕으로, 우리는 기존 네트워크에 탑승하거나 해당 네트워크의 수정되지 않은 가중치에 적용하여 새로운 작업에서 좋은 성능을 제공하는 이진 마스크를 학습합니다. 이러한 마스크는 엔드투엔드 미분 가능한 방식으로 학습되며, 각 작업당 네트워크 매개변수 1비트의 낮은 오버헤드를 초래합니다. 기저 네트워크가 고정되어 있더라도 개별 가중치를 마스킹할 수 있는 능력 덕분에 많은 필터를 학습할 수 있습니다. 우리는 ImageNet과 같은 초기 작업에서 큰 도메인 시프트가 있는 다양한 분류 작업과 다양한 네트워크 아키텍처에서 전용 미세 조정된 네트워크와 비교 가능한 성능을 보여줍니다. 이전 연구와 달리, 우리는 재앙적 잊음(catastrophic forgetting)이나 작업 간 경쟁 문제를 겪지 않으며, 성능은 작업 순서와 무관합니다. 코드는 https://github.com/arunmallya/piggyback에서 이용 가능합니다.