부품 태깅의 영역 적응을 위한 사전 학습된 유닛과 랜덤 유닛의 공동 학습

신경망의 미세 조정(fine-tuning)은 고자원(high-resource) 영역에서 저자원(low-resource) 영역으로 유용한 지식을 전송하는 데 널리 사용됩니다. 표준 미세 조정 방식에서는 소스 문제와 대상 문제가 동일한 아키텍처를 사용하여 학습됩니다. 새로운 영역에 적응할 수는 있지만, 사전 학습된 유닛들은 대상 특유의 비일반적인 패턴을 학습하는 데 어려움을 겪습니다. 본 논문에서는 대상 네트워크에 정규화(normalised), 가중(weighted), 그리고 무작위로 초기화된 유닛들을 추가하여 더 나은 적응성을 달성하면서도 소스 지식을 유지시키는 방법을 제안합니다. 우리 연구팀이 수행한 소셜 미디어 텍스트(Tweets 영역)의 품사 태깅(POS tagging) 실험 결과, 제안된 방법이 3개의 일반적으로 사용되는 데이터셋에서 최고 수준의 성능을 보임을 입증하였습니다.