装甲服は電気を伝導できるか？オープンブック質問応答の新しいデータセット

私たちは、人間の特定主題に対する理解度を評価するためのオープンブック試験を模した新しい種類の質問応答データセット、OpenBookQAを提示します。このデータセットに付属するオープンブックは、1329個の中学校レベルの科学的事実から構成されています。約6000の質問がこれらの事実とその新規状況への適用に関する理解を測定しています。これには、オープンブックに記載されている事実（例：金属は電気を通す）と他の情報源から得られる一般的な常識（例：鎧は金属でできている）を組み合わせる必要があります。既存の文書や知識ベースに基づくQAデータセットは、一般的に自己完結型であるため、言語理解に焦点を当てていますが、OpenBookQAは主題自体とそれが表現される言語の両方についてより深い理解を探求します。特に、一般的な常識の文脈において主題の理解を探ります。人間のOpenBookQAでの成績は92%近くですが、多くの最先端の事前学習されたQA手法は意外にも低く、私達が開発したいくつかの単純なニューラルベースラインよりも劣っています。私達が設計したオラクル実験では、知識取得ボトルネックを回避するためにオープンブックと追加の事実の価値を示しています。多段階設定におけるこの取得問題を解決し、人間の成績との大きなギャップを埋めることが今後の課題となっています。