깊은 문맥화된 단어 표현

우리는 단어 사용의 복잡한 특성(예: 구문론과 의미론)을 모델링하고, 이러한 사용이 언어적 맥락에 따라 어떻게 변화하는지를 모델링하는 새로운 유형의 심층 문맥화된 단어 표현을 소개합니다(즉, 다의어를 모델링하기 위함입니다). 우리의 단어 벡터는 대규모 텍스트 코퍼스에서 사전 학습된 심층 양방향 언어 모델(biLM)의 내부 상태들의 학습된 함수입니다. 우리는 이러한 표현이 기존 모델에 쉽게 추가될 수 있으며, 질문 응답, 텍스트 함축 관계 분석, 감정 분석 등 6가지 어려운 자연어 처리 문제에서 현행 최고 수준을 크게 개선할 수 있음을 보여줍니다. 또한 사전 학습된 네트워크의 심층 내부를 노출시키는 것이 필수적이며, 이를 통해 후속 모델들이 다양한 유형의 준감독 신호를 혼합할 수 있다는 분석 결과도 제시합니다.