要約
再帰型ニューラルネットワーク（RNN）は、時系列データのモデリングに強力なツールですが、各時間ステップの計算が前の時間ステップの出力に依存するため、並列処理が制限され、非常に長いシーケンスに対して扱いづらくなることがあります。本稿では、準再帰型ニューラルネットワーク（Quasi-Recurrent Neural Networks: QRNNs）を導入します。QRNNは、時間ステップ間で並列的に適用される畳み込み層と、チャネル間で並列的に適用される最小限の再帰プーリング関数を交互に配置したアプローチです。学習可能な再帰層を持たないにもかかわらず、同じ隠れ層サイズを持つ積み重ねLSTMよりも予測精度が高いことが示されています。また、並列処理度が高いため、訓練時およびテスト時には最大16倍速くなることがあります。言語モデル化、感情分類、文字レベルの神経機械翻訳における実験結果はこれらの利点を示し、QRNNが様々なシーケンスタスクの基本的な構成要素として利用可能であることを強調しています。