2 个月前
BoolQ:探索自然是非问题的惊人难度
Christopher Clark; Kenton Lee; Ming-Wei Chang; Tom Kwiatkowski; Michael Collins; Kristina Toutanova

摘要
本文研究了自然产生的是非问题——即在不受提示和无约束的环境中生成的问题。我们构建了一个包含此类问题的阅读理解数据集BoolQ,并展示了这些问题出乎意料地具有挑战性。这些问题是经常查询复杂而非事实性的信息,并且需要进行困难的蕴含推理才能解决。我们还探讨了一系列迁移学习基线的有效性。研究发现,从蕴含数据中迁移比从释义或抽取式问答数据中迁移更为有效,而且令人惊讶的是,即使从大规模预训练语言模型(如BERT)开始,这种迁移仍然非常有益。我们的最佳方法是在MultiNLI上训练BERT,然后在我们的训练集上重新训练。该方法达到了80.4%的准确率,而人类标注者的准确率为90%,多数基线的准确率为62%,这为未来的研究留下了显著的空间。