残差シャッフル・エクスチェンジネットワークによる長系列の高速処理

アテンションはシーケンス処理で一般的に使用されるメカニズムですが、その計算量がO(n^2)であるため、長尺シーケンスへの適用が制限されています。最近導入されたニューラルシャッフル・エクスチェンジネットワークは、計算効率の高い代替手段を提供し、O(n log n)の時間で長距離依存関係をモデル化することが可能になりました。しかしながら、このモデルは非常に複雑であり、ゲーテッドリカレントユニットから派生した洗練されたゲーティング機構を含んでいます。本論文では、GELU（ガウシアン誤差線形単位）とレイヤー正規化を用いた残差ネットワークに基づくシンプルかつ軽量なシャッフル・エクスチェンジネットワークの変種を提案します。提案されたアーキテクチャは、より長いシーケンスへの対応だけでなく、収束速度も速く、精度も向上しています。LAMBADA言語モデリングタスクにおいてシャッフル・エクスチェンジネットワークを上回り、MusicNetデータセットでの音楽転写においても最先端の性能を達成しており、パラメータ数において効率的です。また、改良されたシャッフル・エクスチェンジネットワークと畳み込み層を組み合わせる方法について示し、長尺シーケンス処理アプリケーションにおける有用な構成要素として確立しています。