自然言語推論データからの普遍的な文表現の監督学習

多くの現代の自然言語処理（NLP）システムは、大規模なコーパス上で事前に行われた非監督学習によって得られた単語埋め込みを基本的な特徴として利用しています。しかし、文章のようなより大きなテキスト塊の埋め込みを取得する試みはそれほど成功していません。非監督的な文章表現の学習に関するいくつかの試みは、十分な性能に達せず、広く採用されるには至っていません。本論文では、スタンフォード自然言語推論データセットの教師ありデータを使用して訓練された普遍的な文章表現が、SkipThoughtベクトルなどの非監督方法よりも多様な転移タスクで一貫して優れた性能を示すことを示します。コンピュータビジョンがImageNetから特徴を取得し、それを他のタスクに転移させるように、私たちの研究は自然言語推論が他のNLPタスクへの転移学習に適していることを示唆しています。私たちのエンコーダーは公開されています。