초록
다수의 노력이 다중 작업 학습(Multi-Task Learning)을 활용하여 다양한 자연어 처리(Natural Language Processing, NLP) 하류 응용 프로그램에서 사용할 수 있는 풍부한 표현을 학습하는 데에 기울여져 왔습니다. 그러나 아직 다중 작업 학습이 상당한 영향을 미치는 환경에 대한 이해가 부족합니다. 본 연구에서는 신중하게 선택된 의미론적 작업들의 집합 위에서 다중 작업 학습 설정으로 훈련된 계층적 모델을 소개합니다. 이 모델은 모델의 하위 층에서 저수준 작업들을, 상위 층에서는 더 복잡한 작업들을 감독함으로써 계층적으로 훈련되어 귀납적 편향(inductive bias)을 도입합니다. 이 모델은 문법 분석기(syntactic parsers)와 같은 수작업 특징(hand-engineered features)이나 외부 NLP 도구 없이도 명명 실체 인식(Named Entity Recognition), 실체 언급 탐지(Entity Mention Detection), 관계 추출(Relation Extraction) 등의 여러 작업에서 최신 성능(state-of-the-art results)을 달성하였습니다. 계층적인 훈련 감독은 모델의 하위 층에서 공유된 의미론적 표현들의 집합을 유도합니다. 우리는 모델의 하위 층에서 상위 층으로 올라갈수록 층의 은닉 상태(hidden states)가 더욱 복잡한 의미론적 정보를 나타내는 경향이 있음을 보여줍니다.