초록
컴퓨터 비전은 ImageNet과 같은 대규모 지도 학습 세트에서 사전 훈련된 가중치를 사용하여 여러 깊은 계층을 초기화함으로써 혜택을 받았습니다. 자연어 처리(NLP)는 일반적으로 깊은 모델의 가장 낮은 계층만 사전 훈련된 단어 벡터로 초기화됩니다. 본 논문에서는 기계 번역(MT)을 위해 훈련된 주의 메커니즘 기반 시퀀스-투-시퀀스 모델의 깊은 LSTM 인코더를 사용하여 단어 벡터를 문맥화합니다. 우리는 이러한 문맥 벡터(CoVe)를 추가하면 감성 분석(SST, IMDb), 질문 분류(TREC), 의미 함축(SNLI), 그리고 질문 응답(SQuAD) 등 다양한 일반적인 NLP 작업에서 비지도 단어 및 문자 벡터만 사용하는 것보다 성능이 개선됨을 보여줍니다. 미세한 감성 분석과 의미 함축 작업에서 CoVe는 우리의 기준 모델의 성능을 최신 수준까지 끌어올립니다.