双方向LSTMと2次元最大プーリングを組み合わせたテキスト分類の改善

再帰型ニューラルネットワーク（RNN）は、その再帰的な構造が可変長のテキスト処理に非常に適しているため、自然言語処理（NLP）タスクで最も一般的に使用されるアーキテクチャの一つです。RNNはまず各テキストを構成するトークンをベクトルに変換し、それらが行列を形成することで、単語の分散表現を利用することができます。この行列には2つの次元が含まれています：時間ステップ次元と特徴ベクトル次元です。その後、既存の多くのモデルでは、通常、時間ステップ次元に対してのみ1次元（1D）最大プーリング操作または注意メカニズムに基づく操作を使用して固定長のベクトルを得ます。しかし、特徴ベクトル次元上の特徴は互いに独立ではなく、時間ステップ次元に対して独立に1Dプーリング操作を適用すると、特徴表現の構造が破壊される可能性があります。一方で、2つの次元に対して2次元（2D）プーリング操作を適用することで、シーケンスモデリングタスクにおいてより意味のある特徴をサンプリングできる可能性があります。行列の両方の次元上の特徴を統合するために、本論文では2D最大プーリング操作を用いてテキストの固定長表現を得ることを探ります。また、本論文では2D畳み込みも利用して行列からより意味のある情報をサンプリングします。実験は感情分析、質問分類、主観性分類およびニュースグループ分類など6つのテキスト分類タスクで行われました。提案されたモデルは最新のモデルと比較して6つのタスク中の4つで優れた性能を達成しました。特に、提案されたモデルの一つはStanford Sentiment Treebank二値分類および細かい粒度の分類タスクにおいて最高精度を達成しています。