要約
私たちは、質問応答のための3つの新しいデータセットであるSQuAD 2.0、QuAC、およびCoQAを、それらが持つ新機能のいくつかについて比較します。これらの新機能は以下の通りです：(1) 回答不能な質問、(2) 複数ターンの対話、(3) 抽象的な回答。私たちは、これらのデータセットが最初の2つの側面において補完的なカバーを提供していることを示しましたが、第3の側面についてはカバーが弱いことがわかりました。データセット間で構造的な類似性があるため、単一の抽出型モデルを簡単にどのデータセットにも適応させることができます。その結果、SQuAD 2.0とCoQAにおけるベースライン結果の改善を示しています。しかし、あるデータセットで学習したモデルは別のデータセットでは効果的ではないものの、事前学習を通じて中程度の性能向上が見られました。クロス評価を促進するために、https://github.com/my89/co-squac にてデータセット間での変換コードを公開しています。