ゲーテッド直交再帰単位：忘却の学習について

私たちは、ユニタリRNNの記憶能力とゲート付きRNNが冗長または無関係な情報を効果的に忘却する能力を組み合わせた新しい再帰型ニューラルネットワーク（RNN）ベースのモデルを提案します。これは、ユニタリRNNにゲーティング機構を追加することで実現しました。当モデルは、長期依存性ベンチマークタスクにおいてLSTM、GRU、およびユニタリRNNを上回る性能を示しています。我々は経験的に、直交/ユニタリRNNが忘却能力に欠けていることを示し、同時に長期依存性を記憶しつつ無関係な情報を忘却するGORUの能力も示しています。これは再帰型ニューラルネットワークにおいて重要な役割を果たします。私たちは多くの自然言語処理タスク（bAbI質問応答、TIMIT音声スペクトル予測、Penn TreeBankなど）やアルゴリズム的タスク、括弧タスク、ノイズ除去タスク、コピー・タスクなどの長期依存性に関連する合成タスクにおけるモデルの分析とともに競争力のある結果を提供します。