HyperAIHyperAI

Command Palette

Search for a command to run...

ニューラルシーケンスモデルの動的評価

Ben Krause; Emmanuel Kahembwe; Iain Murray; Steve Renals

概要

動的評価を用いてニューラルシーケンスモデルの性能を向上させる手法を提案します。この手法では、勾配降下法に基づくメカニズムによりモデルが最近の履歴に適応し、再現するシーケンシャルパターンに高い確率を割り当てます。我々の比較実験において、動的評価は既存の適応アプローチを上回る結果を示しました。動的評価により、Penn TreebankおよびWikiText-2データセットでの単語レベルのパープレキシティがそれぞれ51.1と44.3に改善され、text8およびHutter Prizeデータセットでの文字レベルのクロスエントロピーがそれぞれ1.19ビット/文字と1.08ビット/文字に改善されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています