الإجابة على الأسئلة الآلية هي مهمة أساسية ولكنها صعبة في معالجة اللغة الطبيعية. في الآونة الأخيرة، لاقت نماذج التضمين السياقي المُدرّب مسبقًا (PCE)، مثل Bidirectional Encoder Representations from Transformers (BERT) و A Lite BERT (ALBERT)، اهتمامًا كبيرًا بفضل أدائها المتميز في مجموعة واسعة من مهام معالجة اللغة الطبيعية. في هذا البحث، استخدمنا نماذج ALBERT المُعدّلة بدقة، ونفذنا تراكيب من طبقات إضافية (مثل طبقة الانتباه، وطبقة الشبكة العصبية التكرارية RNN) فوقها لتحسين أداء النموذج على مجموعة بيانات الإجابة على الأسئلة ستانفورد (SQuAD 2.0). تم تنفيذ أربعة نماذج مختلفة مع طبقات مختلفة فوق نموذج ALBERT-base، بالإضافة إلى نموذجين آخرين مبنين على ALBERT-xlarge و ALBERT-xxlarge. قمنا بمقارنة أدائهم مع النموذج الأساسي (baseline) ALBERT-base-v2 + ALBERT-SQuAD-out بالتفصيل. وكان أفضل نموذج فردي أداءً هو ALBERT-xxlarge + ALBERT-SQuAD-out، والذي حقق مقياس F1 قدره 88.435 على مجموعة التحقق (dev set). علاوة على ذلك، قمنا بتنفيذ ثلاثة خوارزميات مختلفة للتكامل (ensemble) لتعزيز الأداء العام. من خلال إدخال نتائج عدة نماذج ذات أداء عالٍ إلى خوارزميتنا المُعتمدة على التصويت الموزون، تمكنّا من تحقيق النتيجة النهائية التي تحتل المرتبة الأولى في قائمة التصنيف الخاصة بـ Stanford CS224N Test PCE SQuAD، بتحقيق مقياس F1 قدره 90.123.