BoolQ: 自然なはい/いいえの質問の驚くべき難しさを探究する

本論文では、自然に発生する（すなわち、無誘導かつ制約のない状況で生成される）Yes/No質問を研究します。私たちはそのような質問からなる読解データセットBoolQを構築し、これらの質問が予想外に困難であることを示しました。これらの質問はしばしば複雑な非事実情報を探し求め、解決するために難易度の高い包含関係のような推論が必要となります。また、さまざまな転移学習ベースラインの有効性も探りました。結果として、パラフレーズや抽出型QAデータからの転移よりも包含関係データからの転移の方がより効果的であり、巨大な事前学習言語モデル（例：BERT）を使用しても依然として非常に有益であることがわかりました。私たちの最良の方法は、BERTをMultiNLIで学習させた後、当該訓練セットで再学習させるものです。この方法は80.4%の精度を達成しましたが、人間アノテーターによる90%の精度（および62%の多数基準精度）と比較するとまだ大きな差があります。これにより、今後の研究にはさらなる課題が残されています。注：「包含関係」は一般的には「entailment」を指しますが、「推論」や「帰結」といった表現も使用されます。ここでは「包含関係」と訳していますが、「推論」でも問題ありません。