
要約
文レベルの表現は、様々な自然言語処理(NLP)タスクにおいて必要不可欠です。再帰型ニューラルネットワーク(RNN)は分散表現を学習する上で非常に効果的であり、自然言語推論タスクで効率的に訓練することができます。本研究では、そのようなモデルを基盤として、反復的な改良戦略を実装し、SciTailデータセットで最先端の結果を達成するとともに、SNLIおよびMultiNLIでも優れた結果を示す階層的なBiLSTMと最大プーリング層の構造を提案します。この方法で学習された文埋め込みが多様な転移学習タスクに利用できることを示しており、10つのSentEval文埋め込み評価タスクのうち7つでInferSent、9つのうち8つでSkipThoughtを上回る性能を発揮しています。さらに、当モデルは最近公開された10つのSentEval探査タスクのうち8つにおいてInferSentモデルを凌駕しており、これらの探査タスクは文埋め込みが文の重要な言語的特性を捉える能力を評価するものとなっています。