깊은 적응 네트워크를 이용한 전이 가능한 특성 학습

최근 연구에서는 깊은 신경망이 새로운 작업에 대해 잘 일반화되는 전이 가능한 특징을 학습할 수 있음을 밝혔습니다. 그러나 깊은 특징이 네트워크를 따라 일반적인 것에서 특정한 것으로 변화함에 따라, 도메인 간의 차이가 증가하면서 고층에서의 특징 전이 가능성은 크게 감소합니다. 따라서, 데이터셋 편향을 공식적으로 줄이고 작업별 층에서의 전이 가능성을 높이는 것이 중요합니다. 본 논문에서는 도메인 적응 시나리오에 적용 가능한 새로운 깊은 적응 네트워크(DAN, Deep Adaptation Network) 구조를 제안합니다. DAN에서는 모든 작업별 층의 은닉 표현들이 재현 커널 힐베르트 공간에 임베딩되어, 서로 다른 도메인 분포의 평균 임베딩을 명시적으로 일치시키는 것이 가능합니다. 또한, 평균 임베딩 일치를 위해 최적의 다중 커널 선택 방법을 사용하여 도메인 간의 차이를 더욱 줄입니다. DAN은 통계적 보장 하에 전이 가능한 특징을 학습할 수 있으며, 커널 임베딩의 편향되지 않은 추정값으로 선형적으로 확장될 수 있습니다. 광범위한 경험적 증거는 제안된 구조가 표준 도메인 적응 벤치마크에서 최고 수준의 이미지 분류 오류율을 제공함을 보여줍니다.