2ヶ月前

分解可能な注意モデルによる自然言語推論

Ankur P. Parikh; Oscar Täckström; Dipanjan Das; Jakob Uszkoreit
分解可能な注意モデルによる自然言語推論
要約

自然言語推論のための単純なニューラルアーキテクチャを提案します。当手法は、注意機構を使用して問題を個別に解決可能なサブプロブレムに分解するため、並列処理が容易となります。スタンフォード自然言語推論(SNLI)データセットにおいて、従来の研究と比較してほぼ一桁少ないパラメータ数で最先端の結果を得ました。また、最小限の単語順序情報を考慮する文内注意機構を追加することで、さらなる改善が見られました。