2ヶ月前

注意強化順序推論モデル

Guanyu Li; Pengfei Zhang; Caiyan Jia
注意強化順序推論モデル
要約

アテンションメカニズムは、自然言語処理において効果的であることが証明されています。本論文では、従来の双方向LSTM(Bi-LSTM)層に単語アテンションと適応的な方向性指向アテンションメカニズムを追加することで、自然言語推論モデルの性能を向上させる新たなモデルaESIMを提案します。これにより、推論モデルaESIMは単語の表現を効果的に学習し、前提文と仮説文の対間で局所的な部分文推論をモデリングする能力が得られます。SNLI、MultiNLIおよびQuoraベンチマークにおける実験結果は、aESIMが元のESIMモデルよりも優れていることを示しています。