本文研究了自然产生的是非问题——即在不受提示和无约束的环境中生成的问题。我们构建了一个包含此类问题的阅读理解数据集BoolQ，并展示了这些问题出乎意料地具有挑战性。这些问题是经常查询复杂而非事实性的信息，并且需要进行困难的蕴含推理才能解决。我们还探讨了一系列迁移学习基线的有效性。研究发现，从蕴含数据中迁移比从释义或抽取式问答数据中迁移更为有效，而且令人惊讶的是，即使从大规模预训练语言模型（如BERT）开始，这种迁移仍然非常有益。我们的最佳方法是在MultiNLI上训练BERT，然后在我们的训练集上重新训练。该方法达到了80.4%的准确率，而人类标注者的准确率为90%，多数基线的准确率为62%，这为未来的研究留下了显著的空间。