2ヶ月前

広い文脈における言語モデルの構築を読解として捉える

Zewei Chu; Hai Wang; Kevin Gimpel; David McAllester
広い文脈における言語モデルの構築を読解として捉える
要約

テキスト理解の進歩は、特定の能力をテストする大規模なデータセットによって推進されてきました。例えば、最近のリーディングコンプリ헨ション用のデータセット(Hermannら, 2015)です。本稿では、LAMBADAデータセット(Papernoら, 2016)に焦点を当てます。これは、即時文よりも広範な文脈を必要とする単語予測タスクです。私たちはLAMBADAをリーディングコンプリ헨ション問題として捉え、ニューラルネットワークに基づく理解モデルを適用します。これらのモデルは文脈から単語を選択するという制約がありますが、LAMBADAでの最先端の性能を7.3%から49%に向上させました。私たちは100インスタンスを分析し、ニューラルネットワーク読者モデルが対話やディスコースの手がかりに基づいて文脈から名前を選択する場合に優れた性能を示す一方で、共参照解消や外部知識が必要な場合に苦戦することがわかりました。

広い文脈における言語モデルの構築を読解として捉える | 最新論文 | HyperAI超神経