2ヶ月前

細胞認識型スタックLSTMを用いた文のモデル化

Jihun Choi; Taeuk Kim; Sang-goo Lee
細胞認識型スタックLSTMを用いた文のモデル化
要約

我々は、文のモデリングのために複数の長短期記憶(LSTM)層を積み重ねる方法を提案します。従来の積み重ねられたLSTMでは、隠れ状態のみが次の層への入力として供給されるのに対し、提案されたアーキテクチャでは、前の層の隠れ状態とメモリセル状態の両方を受け入れ、LSTMのソフトゲーティング機構を使用して左側および下部コンテキストからの情報を融合します。したがって、このアーキテクチャは水平方向の再帰だけでなく垂直方向の接続においても情報量を調整し、下位層から抽出された有用な特徴量が効果的に上位層に伝達されます。このアーキテクチャをセル認識型積み重ねLSTM(Cell-aware Stacked LSTM: CAS-LSTM)と呼び、実験結果から当該モデルが自然言語推論、パラフレーズ検出、感情分類、機械翻訳などのベンチマークデータセットで標準的なLSTMよりも大幅な性能向上をもたらすことを示しています。また、提案手法の内部動作を理解するために広範な定性的分析も行っています。