要約
最近、新たな再帰型ニューラルネットワーク（RNN）であるレジェンドル記憶ユニット（Legendre Memory Unit: LMU）が提案され、いくつかのベンチマークデータセットで最先端の性能を達成することが示されました。本研究では、LMUの線形時不変（Linear Time-Invariant: LTI）記憶部品を利用して、訓練時に並列化できる簡易な変種を構築しました（推論時にはRNNとして実行されます）。これにより、RNNのGPUでの訓練におけるよく知られた制約を克服しています。我々は、この並列化を支援する再定式化が、再帰部品が線形である任意の深層ネットワークに一般的に適用できることを示し、訓練速度を最大200倍向上させました。さらに、その有用性を検証するために、7つのベンチマーク（psMNISTから感情分析まで機械翻訳まで）において、元のLMUと様々な既存のLSTMおよびトランスフォーマー・ネットワークとの性能比較を行いました。結果として、我々のモデルはすべてのデータセットで優れた性能を示し、しばしば少ないパラメータを使用しています。例えば、我々のLMUはpsMNISTで新たな最先端結果を達成し、IMDB感情分析においてDistilBERTやLSTMモデルよりも少ないパラメータ数で優れた性能を発揮しています。