要約
再帰型ニューラルネットワークは、特に自然言語処理におけるテキストデータの表現において、系列データの計算表現に広く使用されるようになりました。特に、双方向LSTM（BiLSTM）は、NLPの多様なタスクで最先端の性能を達成するいくつかのニューラルモデルの中心的な役割を果たしています。しかし、BiLSTMは系列バイアスに悩まされていることが知られています。つまり、トークンの文脈表現は、文内で近接するトークンによって大きく影響を受けます。本研究では、双方向LSTMモデルに対する一般的かつ効果的な改良案を提案します。このモデルは、トークン列の各サフィックスとプレフィックスを前向きおよび後ろ向きの両方向で符号化します。私たちはこのモデルをサフィックス双方向LSTM（Suffix Bidirectional LSTMまたはSuBiLSTM）と呼びます。これにより、長距離依存関係を重視する別のバイアスが導入されます。私たちはSuBiLSTMを文モデリングが必要な複数のタスクに適用しました。既存のモデルでBiLSTMのかわりにSuBiLSTMを使用することで、一般的な文表現学習、テキスト分類、テキスト意味論的包含判定（textual entailment）、パラフレーズ検出における性能向上が示されました。また、微細感情分類と質問分類においても新たな最先端結果を達成しました。