要約

本稿では、質問応答（QA）を目的とした「Natural Questionsコーパス」を紹介する。このコーパスに含まれる質問は、Google検索エンジンに実際に投げられた匿名化・集約されたクエリから構成されている。アノテーターは、検索結果上位5件内の1つのWikipediaページとともに質問を提示され、そのページに存在する長文回答（通常は段落）と短文回答（1つ以上のエンティティ）をアノテートする。ただし、該当する長文・短文回答が存在しない場合は「null」とマークする。公開リリース版は、単一アノテーション付きの307,373件の訓練データ、5重アノテーション付きの7,830件の開発データ、およびさらに5重アノテーション付きの7,842件のテストデータ（隔離済み）から構成されている。本研究では、データの品質を検証する実験を報告する。また、302件のサンプルに対して25重アノテーションを実施した分析を通じて、アノテーションタスクにおける人間の変動性に関する洞察を提示する。さらに、質問応答システムの評価を目的とした堅牢な評価指標を導入し、これらの指標における人間の上限性能を示すとともに、関連分野の先行研究から得られた競争的アプローチを用いてベースライン結果を確立した。