2ヶ月前

多領域推論のためのショートカットスタック文エンコーダー

Yixin Nie; Mohit Bansal
多領域推論のためのショートカットスタック文エンコーダー
要約

私たちは、多ドメインの自然言語推論向けの単純な逐次文エンコーダーを提案します。このエンコーダーは、ショートカット接続を持つスタック型双方向LSTM-RNNと単語埋め込みの微調整に基づいています。全体的な監督学習モデルは、上記のエンコーダーを使用して2つの入力文を2つのベクトルにエンコードし、その後、これらのベクトルの組み合わせに対して分類器を使用して、2つの文間の関係を包含関係(entailment)、矛盾関係(contradiction)、または中立関係(neural)としてラベル付けします。私たちのショートカット・スタック型文エンコーダーは、マッチしたおよびミスマッチした多ドメイン自然言語推論において既存のエンコーダーを大幅に上回る結果を達成しています(EMNLP RepEval 2017 共同タスクにおけるトップ非アンサンブル単一モデル結果 (Nangia et al., 2017))。さらに、元のSNLIデータセット (Bowman et al., 2015) において新しい最先端のエンコーディング結果を達成しています。