자연어 추론 데이터를 활용한 보편적 문장 표현의 지도 학습

많은 현대의 자연어 처리(NLP) 시스템은 대규모 말뭉치에서 사전에 비지도 방식으로 학습된 단어 임베딩을 기본 특성으로 사용합니다. 그러나 문장과 같은 더 큰 텍스트 조각에 대한 임베딩을 얻기 위한 노력은 그렇게 성공적이지 않았습니다. 비지도 방식으로 문장의 표현을 학습하려는 여러 시도가 만족스러운 성능을 달성하지 못하여 널리 채택되지 않았습니다. 본 논문에서는 스탠퍼드 자연어 추론 데이터셋의 지도 데이터를 사용하여 학습된 보편적 문장 표현이 SkipThought 벡터와 같은 비지도 방법보다 다양한 전이 작업에서 일관되게 우수한 성능을 보이는 방법을 제시합니다. 컴퓨터 비전이 ImageNet을 사용하여 특성을 얻고 이를 다른 작업으로 전이시키는 것처럼, 우리의 연구는 자연어 추론이 다른 NLP 작업으로의 전이 학습에 적합함을 나타냅니다. 우리의 인코더는 공개적으로 이용 가능합니다.