再帰型ニューラルネットワークに基づくゲート付き注意機構を用いた文エンコーダーの自然言語推論への応用

RepEval 2017 共有タスクは、文表現のための自然言語理解モデルを評価することを目指しています。このタスクでは、文をニューラルネットワークを使用して固定長のベクトルとして表現し、その表現の質を自然言語推論タスクでテストします。本稿では、共有タスクにおいてトップクラスの成績を収めた当方のシステム（alpha）について説明します。ドメイン内テストセットにおいて74.9%の精度を達成し、クロスドメインテストセットでも同様に74.9%の精度を達成したことから、当モデルがクロスドメインデータに対して良好な汎化性能を持つことが示されました。当モデルには、文内のゲート付き注意機構（intra-sentence gated-attention composition）が搭載されており、これによりより高い性能が実現されています。共有タスクへの提出に加えて、当モデルはスタンフォード自然言語推論（SNLI）データセットでもテストされました。クロスセンテンス注意機構を使用しないという同じ条件のもとで、SNLI上で報告されている最高精度である85.5%を達成しました。これはRepEval 2017でも強制された条件です。