研究論文に根ざした情報探求型質問と回答のデータセット

学術研究論文を読む読者は、特定の問いに答えることを目的としていることが多い。こうした問いに応じられる質問応答（QA）システムは、論文の内容をより効率的に活用するのに役立つ。しかし、このようなツールを構築するには、論文の複数の部分にわたる主張に関する複雑な推論に基づくタスクの難易度を反映したデータが必要となる。これに対し、既存の情報探索型QAデータセットは、一般的な事実型情報に関する質問が中心である。そこで本研究では、自然言語処理（NLP）論文1,585編を対象に、5,049の質問から構成されるQASPERという新規データセットを提示する。各質問は、対応する論文の題名と要旨のみを読んだNLP研究者が作成したものであり、質問の答えは論文の本文に含まれている。その後、別途のNLP研究者がこれらの質問に回答し、回答を裏付ける証拠も提供した。我々の分析から、他のQAタスクで優れた性能を発揮する既存モデルは、本データセットの質問に対しては十分な性能を発揮できず、論文全体から回答する際には人間の性能より少なくとも27 F1点低い結果となった。この結果は、本文に基づく情報探索型QAに関するさらなる研究の必要性を示しており、本データセットはその促進を目的として設計されている。