要約
直交パラメータ化は、再帰型ニューラルネットワーク（RNN）における勾配消失問題（VGP）に対する魅力的な解決策である。直交的なパラメータと非飽和活性化関数を用いることで、このようなモデルにおける勾配は単位ノルムに制約される。一方で、従来のヴァナILLA RNNは高い記憶容量を持つとされているものの、VGPに悩まされ、多くの応用において劣った性能を示す。本研究では、上述の2つのアプローチの間で飽和度を動的に調整する「適応型飽和RNN（asRNN）」を提案する。その結果、asRNNはヴァナILLA RNNの表現力と直交RNNの学習安定性の両方を兼ね備える。複数の強力な競合手法と比較して、困難な時系列学習ベンチマークにおいて、asRNNは有望な結果を示した。本研究の実装コードは、以下のURLから公開されている：https://github.com/ndminhkhoi46/asRNN/。