2ヶ月前

ニューラルQAを可能な限り単純化するが、それ以上は単純化しない

Dirk Weissenborn; Georg Wiese; Laura Seiffe
ニューラルQAを可能な限り単純化するが、それ以上は単純化しない
要約

大規模な質問応答(QA)データセットの最近の開発により、エンドツーエンドのニューラルアーキテクチャに関するQA研究が大幅に進展しました。しかし、これらのシステムは、その複雑さを正当化するためのより単純なニューラルベースラインシステムとの比較なしに設計されることが多くなっています。本研究では、抽出型QAタスク向けのニューラルベースラインシステムの開発を導く単純なヒューリスティックを提案します。我々は、高性能なニューラルQAシステムを構築するために必要な2つの要素を見出しました。第1に、コンテキスト処理中に疑問詞への意識を持つこと、第2に、単純な袋状モデルを超える組成関数(例:再帰型ニューラルネットワーク)を使用することです。実験結果から、これらの2つの要件を満たすFastQAシステムが既存のモデルと比べて非常に競争力のある性能を達成できることを示しています。この意外な結果は、以前のシステムの成果と最近のQAデータセットの複雑さを見直す必要があることを主張しています。

ニューラルQAを可能な限り単純化するが、それ以上は単純化しない | 最新論文 | HyperAI超神経