قراءة وثيقة واستخراج إجابة على سؤال حول محتواها جذبت اهتماماً كبيراً مؤخراً. بينما ركز معظم العمل على التفاعل بين السؤال والوثيقة، في هذا البحث نقيم أهمية السياق عند معالجة السؤال والوثيقة بشكل مستقل. نأخذ بنية عصبية قياسية لهذه المهمة، ونظهر أن بتوفير تمثيلات كلمات سياقية غنية من نموذج لغوي كبير مُدرب مسبقاً، بالإضافة إلى السماح للنموذج باختيار بين تمثيلات الكلمات التي تعتمد على السياق وتلك التي لا تعتمد عليه، يمكننا الحصول على تحسينات دراماتيكية وبلوغ أداء يعادل الأحدث في مجموعة بيانات SQuAD (المستوى الرائد).