要約
私たちは医療分野の機械読解のために新しいデータセットを提供します。このデータセットは、約10万件の穴埋めクエリを含む臨床症例報告を使用しています。私たちはこのデータセットに対していくつかの基準モデルと最先端のニューラルリーダーを適用し、最高の人間のリーダーと機械のリーダーとの間に顕著な性能差（F1スコアで20%）が存在することを確認しました。成功した回答に必要なスキルを分析し、適用可能なスキルによってリーダーの性能がどのように変動するかを示しています。私たちは、ドメイン知識を使用した推論とオブジェクト追跡が最も頻繁に必要とされるスキルであり、省略された情報の認識と空間時間的推論が機械にとって最も困難であることを発見しました。