HyperAIHyperAI

Command Palette

Search for a command to run...

広い文脈における言語モデルの構築を読解として捉える

Zewei Chu; Hai Wang; Kevin Gimpel; David McAllester

概要

テキスト理解の進歩は、特定の能力をテストする大規模なデータセットによって推進されてきました。例えば、最近のリーディングコンプリ헨ション用のデータセット(Hermannら, 2015)です。本稿では、LAMBADAデータセット(Papernoら, 2016)に焦点を当てます。これは、即時文よりも広範な文脈を必要とする単語予測タスクです。私たちはLAMBADAをリーディングコンプリ헨ション問題として捉え、ニューラルネットワークに基づく理解モデルを適用します。これらのモデルは文脈から単語を選択するという制約がありますが、LAMBADAでの最先端の性能を7.3%から49%に向上させました。私たちは100インスタンスを分析し、ニューラルネットワーク読者モデルが対話やディスコースの手がかりに基づいて文脈から名前を選択する場合に優れた性能を示す一方で、共参照解消や外部知識が必要な場合に苦戦することがわかりました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
広い文脈における言語モデルの構築を読解として捉える | 記事 | HyperAI超神経