
要約
本論文では、文章エンコーディングに基づくモデルを提案し、テキスト意味包含認識に適用しました。当方のアプローチにおいて、文章のエンコーディングは2段階のプロセスで行われます。まず、単語レベルの双方向LSTM(biLSTM)上で平均プーリングを使用して、第1段階の文章表現を生成します。次に、より良い表現を得るため、同じ文章上で平均プーリングを置き換えるために注意機構(attention mechanism)が用いられました。ターゲット文章がソース文章内の単語に注目するのではなく、当方は文章の第1段階表現が自らの内部に現れる単語に注目する方法を採用しました。この手法は本論文中で「内向き注意」(Inner-Attention)と呼ばれています。スタンフォード自然言語推論(SNLI)コーパスでの実験により、「内向き注意」機構の有効性が証明されました。パラメータ数が少ないにもかかわらず、当方のモデルは既存の最良の文章エンコーディングベースアプローチを大幅に上回る性能を示しました。