
要約
再帰型ニューラルネットワーク(RNN)は、多くの自然言語処理タスクにおいて大きな成功を収めています。しかし、再帰構造のため並列化が困難であり、RNNの学習には多くの時間がかかっています。本論文では、シーケンスを多数の部分シーケンスに分割することで並列化可能なスライスト再帰型ニューラルネットワーク(SRNN)を紹介します。SRNNは、わずかな追加パラメータで複数の層を通じて高次情報を取り扱う能力を持っています。線形活性化関数を使用する場合、標準的なRNNはSRNNの特殊なケースであることを証明しています。再帰ユニットを変更せずに、SRNNは標準的なRNNよりも136倍速く動作し、より長いシーケンスを学習する際にはさらに高速になる可能性があります。6つの大規模な感情分析データセットでの実験結果から、SRNNが標準的なRNNよりも優れた性能を達成することが示されています。