要約
動的評価を用いてニューラルシーケンスモデルの性能を向上させる手法を提案します。この手法では、勾配降下法に基づくメカニズムによりモデルが最近の履歴に適応し、再現するシーケンシャルパターンに高い確率を割り当てます。我々の比較実験において、動的評価は既存の適応アプローチを上回る結果を示しました。動的評価により、Penn TreebankおよびWikiText-2データセットでの単語レベルのパープレキシティがそれぞれ51.1と44.3に改善され、text8およびHutter Prizeデータセットでの文字レベルのクロスエントロピーがそれぞれ1.19ビット/文字と1.08ビット/文字に改善されました。