要約
人間は、一連の相互に関連する質問と回答を行う会話に参加することで情報を収集します。機械が情報収集を支援するためには、それらが会話的な質問に答える機能を持つことが不可欠です。本研究では、対話型質問応答システムの構築に向けた新しいデータセットであるCoQAを紹介します。当データセットには、7つの異なる分野から抽出されたテキストパッセージに関する8,000件の会話から得られた127,000件の質問とその回答が含まれています。これらの質問は対話的形式であり、回答は自由形式のテキストで、該当する証拠部分がパッセージ内で強調表示されています。私たちはCoQAを詳細に分析し、既存のリーディングコンプリ헨ションデータセットには見られないコアファレンス（coreference）や実用論理推論（pragmatic reasoning）などの難解な現象が存在することを示しています。また、強力な対話型およびリーディングコンプリ헨ションモデルをCoQA上で評価しました。最良のシステムはF1スコア65.4%を得ましたが、これは人間の性能（88.8%）に比べて23.4ポイント低い結果となっています。これにより、さらなる改善の余地があることが明らかになりました。私たちはCoQAをコミュニティへの挑戦として公開し、詳細はhttp://stanfordnlp.github.io/coqa/でご覧いただけます。