17日前
Natural Questions：質問応答研究のためのベンチマーク
{Jakob Uszkoreit, Andrew M. Dai, Ming-Wei Chang, Chris Alberti, Tom Kwiatkowski, Slav Petrov, Michael Collins, Matthew Kelcey, Llion Jones, Jennimaria Palomaki, Illia Polosukhin, Olivia Redfield, Kenton Lee, Quoc Le, Jacob Devlin, Ankur Parikh, Kristina Toutanova, Danielle Epstein}
要約
本稿では、質問応答（QA）を目的とした「Natural Questionsコーパス」を紹介する。このコーパスに含まれる質問は、Google検索エンジンに実際に投げられた匿名化・集約されたクエリから構成されている。アノテーターは、検索結果上位5件内の1つのWikipediaページとともに質問を提示され、そのページに存在する長文回答（通常は段落）と短文回答（1つ以上のエンティティ）をアノテートする。ただし、該当する長文・短文回答が存在しない場合は「null」とマークする。公開リリース版は、単一アノテーション付きの307,373件の訓練データ、5重アノテーション付きの7,830件の開発データ、およびさらに5重アノテーション付きの7,842件のテストデータ（隔離済み）から構成されている。本研究では、データの品質を検証する実験を報告する。また、302件のサンプルに対して25重アノテーションを実施した分析を通じて、アノテーションタスクにおける人間の変動性に関する洞察を提示する。さらに、質問応答システムの評価を目的とした堅牢な評価指標を導入し、これらの指標における人間の上限性能を示すとともに、関連分野の先行研究から得られた競争的アプローチを用いてベースライン結果を確立した。