要約
再帰型ニューラルネットワーク（RNN）は、深層学習の最近の多くの発展において中心的な位置を占めています。しかし、これらのモデルにおける主要な課題は過学習の傾向であり、ドロップアウトが再帰層に適用された場合に失敗することが示されています。深層学習とベイジアンモデリングの交差点での最近の研究結果は、ドロップアウトなどの一般的な深層学習技術に対するベイジアン解釈を提供しています。ドロップアウトを近似ベイジアン推論に基づいて定義することで、理論的な結果を拡張し、RNNモデルでのドロップアウト使用に関する洞察を得ることができます。私たちはこの新しい変分推論に基づくドロップアウト技術をLSTMおよびGRUモデルに適用し、言語モデルと感情分析タスクで評価しました。新しい手法は既存の技術を上回り、私たちの知識ではPenn Treebank（テストパープレキシティ73.4）での単一モデル最良記録を更新しています。これにより、深層学習における変分ツールのアーセナルが拡大されました。