크로스 스티치 네트워크를 이용한 다중 작업 학습

다중 작업 학습은 컨벌루션 네트워크에서 인식 분야에서 뛰어난 성공을 거두었습니다. 이 성공은 여러 감독 작업으로부터 공유 표현을 학습하는 것에 크게 기인합니다. 그러나 기존의 다중 작업 접근 방식은 일반화되지 않는 특정 작업에 대한 여러 네트워크 구조를 열거하는 데 의존하고 있습니다. 본 논문에서는 ConvNets에서 다중 작업 학습을 사용하여 공유 표현을 학습하는 원칙적인 접근 방식을 제안합니다. 특히, 새로운 공유 단위인 "크로스-스티치" 단위를 제안합니다. 이러한 단위는 여러 네트워크의 활성화를 결합할 수 있으며, 엔드투엔드로 훈련될 수 있습니다. 크로스-스티치 단위가 포함된 네트워크는 공유 표현과 작업 특이적 표현의 최적 조합을 학습할 수 있습니다. 제안된 방법은 여러 작업에 걸쳐 일반화되며, 적은 훈련 예제가 있는 범주에서 기준 방법보다 현저히 개선된 성능을 보입니다.