توفّر الشبكات العصبية إمكانات جديدة لتعلم أنماط اللغة المعقدة والعلاقات بين الاستعلامات والوثائق بشكل تلقائي. حققت نماذج الاسترجاع العصبي (Neural IR) نتائج واعدة في تعلم أنماط الصلة بين الاستعلامات والوثائق، ولكن لم يتم إجراء الكثير من الأبحاث لفهم محتوى النص في الاستعلام أو الوثيقة. يدرس هذا البحث استغلال نموذج اللغة العصبي السياقي الذي تم اقتراحه مؤخرًا، BERT، لتقديم فهم أعمق للنص في مجال الاسترجاع العصبي. تظهر النتائج التجريبية أن التمثيلات النصية السياقية التي يوفرها BERT أكثر فعالية من التضمينات الكلامية التقليدية. بالمقارنة مع نماذج الاسترجاع القائمة على حقيبة الكلمات (Bag-of-Words)، يمكن لنموذج اللغة السياقي استغلال بنية اللغة بشكل أفضل، مما يؤدي إلى تحسينات كبيرة في الاستعلامات المكتوبة بلغة طبيعية. الجمع بين قدرة فهم النص والمعرفة البحثية يؤدي إلى نموذج BERT مُدرب مسبقًا ومُعزز يمكن أن يستفيد منه المهام ذات الصلة بالبحث حيث تكون بيانات التدريب محدودة.