HyperAIHyperAI

Command Palette

Search for a command to run...

準再帰ニューラルネットワーク

James Bradbury Stephen Merity Caiming Xiong Richard Socher

概要

再帰型ニューラルネットワーク(RNN)は、時系列データのモデリングに強力なツールですが、各時間ステップの計算が前の時間ステップの出力に依存するため、並列処理が制限され、非常に長いシーケンスに対して扱いづらくなることがあります。本稿では、準再帰型ニューラルネットワーク(Quasi-Recurrent Neural Networks: QRNNs)を導入します。QRNNは、時間ステップ間で並列的に適用される畳み込み層と、チャネル間で並列的に適用される最小限の再帰プーリング関数を交互に配置したアプローチです。学習可能な再帰層を持たないにもかかわらず、同じ隠れ層サイズを持つ積み重ねLSTMよりも予測精度が高いことが示されています。また、並列処理度が高いため、訓練時およびテスト時には最大16倍速くなることがあります。言語モデル化、感情分類、文字レベルの神経機械翻訳における実験結果はこれらの利点を示し、QRNNが様々なシーケンスタスクの基本的な構成要素として利用可能であることを強調しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています