초록
최근의 논문들은 신경망이 여러 다른 시퀀스 태깅 작업에서 최고 수준의 성능을 달성한다는 것을 보여주고 있습니다. 이러한 시스템의 매력적인 특성 중 하나는 일반성을 갖추고 있다는 점으로, 통일된 아키텍처를 사용하고 작업별 특징 엔지니어링 없이도 뛰어난 성능을 얻을 수 있습니다. 그러나 대규모 학습 데이터가 없는 작업에 이러한 시스템을 사용할 수 있는지는 불분명합니다. 본 논문에서는 신경 시퀀스 태거를 위한 전이 학습 문제를 탐구하는데, 주로 주석이 풍부한 소스 작업(예: Penn Treebank에서의 품사 태깅)을 이용하여 주석이 적은 대상 작업(예: 마이크로블로그에서의 품사 태깅)의 성능을 개선하는 방법에 대해 다룹니다. 우리는 도메인, 애플리케이션, 언어 간에서 깊은 계층적 순환 네트워크를 위한 전이 학습의 효과를 분석하고, 종종 상당한 개선 효과가 있음을 보여줍니다. 이러한 개선은 여러 잘 연구된 작업에서 현재 최고 수준의 성능을 초월하는 결과를 가져왔습니다.