再帰型ニューラルネットワークの建築的複雑さの測定

本論文では、再帰型ニューラルネットワーク（RNN）の接続アーキテクチャを系統的に分析します。我々の主な貢献は二つあります。第一に、RNNの接続アーキテクチャを一般的に記述する厳密なグラフ理論的枠組みを提示します。第二に、RNNのアーキテクチャ複雑さを測定する三つの指標を提案します。(a) 再帰深度（recurrent depth）、これは時間経過による非線形複雑さを捉えます。(b) フィードフォワード深度（feedforward depth）、これは局所的な入出力非線形性を捉えます（フィードフォワードニューラルネットワーク（FNN）における「深度」に類似）。(c) 再帰スキップ係数（recurrent skip coefficient）、これは情報が時間とともにどれだけ速く伝播するかを捉えます。各指標の存在と計算可能性について厳密に証明しています。実験結果は、RNNがより大きな再帰深度とフィードフォワード深度を持つことで恩恵を受け得ることを示しています。さらに、再帰スキップ係数を増加させることで長期依存問題において性能向上が見られることも示しました。