Skip-Thought Vectors

우리는 일반적인 분산 문장 인코더의 비지도 학습 방법을 설명합니다. 책에서 텍스트의 연속성을 활용하여, 인코딩된 구절 주변의 문장을 재구성하려는 인코더-디코더 모델을 훈련시킵니다. 이로써 의미적 및 구문적 특성을 공유하는 문장들은 유사한 벡터 표현으로 매핑됩니다. 다음으로, 훈련 과정에서 보지 못한 단어를 인코딩할 수 있는 간단한 어휘 확장 방법을 소개합니다. 이를 통해 우리의 어휘를 100만 개의 단어로 확장할 수 있습니다. 모델 훈련 후, 우리는 선형 모델을 사용하여 8가지 작업(의미 관련성, 동의어 검출, 이미지-문장 순위 지정, 질문 유형 분류 및 4개의 벤치마크 감성 및 주관성 데이터셋)에서 벡터를 추출하고 평가합니다. 최종 결과는 실용적으로 견고하며 성능이 우수한 매우 일반적인 문장 표현을 생성할 수 있는 오프더shelf 인코더입니다. 우리는 이 인코더를 공개할 예정입니다.