ドキュメントの読み取りとその内容に関する質問への回答抽出は、最近大きな注目を集めています。これまでの研究の大半は、質問とドキュメント間の相互作用に焦点を当ててきましたが、本研究では、質問とドキュメントが独立して処理される際のコンテキストの重要性を評価します。このタスクのために標準的なニューラルアーキテクチャを使用し、大規模な事前学習言語モデルから豊富な文脈化された単語表現を提供するとともに、モデルが文脈依存型と文脈非依存型の単語表現を選択できるようにすることで、劇的な改善が得られることを示します。競争力のあるSQuADデータセットにおいて、本手法は最先端の性能に匹敵する結果を達成しました。