HyperAIHyperAI

Command Palette

Search for a command to run...

再帰型ニューラルネットワークの建築的複雑さの測定

Saizheng Zhang Yuhuai Wu Tong Che Zhouhan Lin Roland Memisevic Ruslan Salakhutdinov Yoshua Bengio

概要

本論文では、再帰型ニューラルネットワーク(RNN)の接続アーキテクチャを系統的に分析します。我々の主な貢献は二つあります。第一に、RNNの接続アーキテクチャを一般的に記述する厳密なグラフ理論的枠組みを提示します。第二に、RNNのアーキテクチャ複雑さを測定する三つの指標を提案します。(a) 再帰深度(recurrent depth)、これは時間経過による非線形複雑さを捉えます。(b) フィードフォワード深度(feedforward depth)、これは局所的な入出力非線形性を捉えます(フィードフォワードニューラルネットワーク(FNN)における「深度」に類似)。(c) 再帰スキップ係数(recurrent skip coefficient)、これは情報が時間とともにどれだけ速く伝播するかを捉えます。各指標の存在と計算可能性について厳密に証明しています。実験結果は、RNNがより大きな再帰深度とフィードフォワード深度を持つことで恩恵を受け得ることを示しています。さらに、再帰スキップ係数を増加させることで長期依存問題において性能向上が見られることも示しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています