초록
문장 수준의 표현은 다양한 자연어 처리(NLP) 작업에 필수적입니다. 순환 신경망(RNN)은 분산 표현을 학습하는 데 매우 효과적이며, 자연어 추론 작업에서 효율적으로 훈련될 수 있음이 입증되었습니다. 우리는 이러한 모델 중 하나를 기반으로 하여 반복적인 개선 전략을 구현하고 SciTail 데이터셋에서 최고의 성능을, SNLI 및 MultiNLI에서 우수한 성능을 내는 BiLSTM과 최대 풀링(max pooling) 층의 계층구조를 제안합니다. 이 방법으로 학습된 문장 임베딩이 다양한 전이 학습 작업에서 활용될 수 있으며, 10개 중 7개의 SentEval 문장 임베딩 평가 작업에서 InferSent를, 9개 중 8개의 작업에서 SkipThought를 능가함을 보일 수 있습니다. 또한, 우리의 모델은 문장 임베딩이 문장의 중요한 언어학적 특성을 포착하는 능력을 평가하기 위해 설계된 최근에 발표된 10개 중 8개의 SentEval 탐침(probing) 작업에서도 InferSent 모델을 이겼습니다.