阅读文档并从中提取问题的答案最近引起了广泛关注。尽管大多数研究主要集中在问题与文档之间的交互上，但本研究评估了在独立处理问题和文档时上下文的重要性。我们采用了该任务的标准神经架构，并展示了通过提供来自大型预训练语言模型的丰富上下文化词表示，以及允许模型在依赖上下文和不依赖上下文的词表示之间进行选择，可以显著提高性能，并在竞争激烈的SQuAD数据集上达到与最先进方法相当的水平。