17일 전

다양한 도메인에서의 소수 샘플 학습을 위한 태스크 특화 어댑터

Wei-Hong Li, Xialei Liu, Hakan Bilen
다양한 도메인에서의 소수 샘플 학습을 위한 태스크 특화 어댑터
초록

본 논문에서는 소량의 레이블 데이터를 가지고 사전에 미처 경험하지 못한 클래스와 도메인에 대해 분류기를 학습하는 교차 도메인 소수 샘플 분류 문제를 다룬다. 최근의 접근 방식들은 일반적으로 태스크 무관(weight)과 태스크 특정(weight)의 가중치를 사용하여 소수 샘플 분류기를 파라미터화하며, 전자는 대규모 훈련 세트에서 사전 학습되고, 후자는 작은 서포트 세트에 조건부한 보조 네트워크를 통해 동적으로 예측된다. 본 연구에서는 후자의 추정에 초점을 맞추어, 소량의 서포트 세트 위에서 태스크 특정 가중치를 직접 처음부터 학습하는 방식을 제안한다. 이는 기존의 동적 추정 방식과 대비되는 접근이다. 특히 체계적인 분석을 통해, 백본 네트워크의 여러 중간 레이어에 잔차 연결(residual connection)을 갖는 행렬 형태의 파라메트릭 어댑터(parametric adapter)를 통해 태스크 특정 가중치를 학습할 경우, Meta-Dataset 벤치마크에서 최신 기술의 성능이 상당히 향상되며, 추가 비용은 극히 미미함을 보여준다.