BERT متعدد المقاطع: نموذج BERT مُعَمَّم عالميًا للإجابة على الأسئلة في المجال المفتوح

تم تطبيق نموذج BERT بنجاح في مهام الأسئلة والأجوبة ذات المجال المفتوح. ومع ذلك، فإن الأعمال السابقة تقوم بتدريب BERT من خلال اعتبار المقاطع المرتبطة بالسؤال نفسه كحالات تدريب مستقلة، مما قد يؤدي إلى عدم قابلية مقارنة درجات الإجابات من مقاطع مختلفة. لحل هذه المشكلة، نقترح نموذج BERT متعدد المقاطع لتطبيع درجات الإجابات بشكل عام عبر جميع مقاطع السؤال نفسه، وهذا التغيير يمكّن نموذج الأسئلة والأجوبة لدينا من العثور على إجابات أفضل باستخدام المزيد من المقاطع. بالإضافة إلى ذلك، وجدنا أن تقسيم المقالات إلى مقاطع بطول 100 كلمة باستخدام النافذة المتزاحة يحسن الأداء بنسبة 4%. عن طريق الاستفادة من تصنيف المقاطع لاختيار المقاطع عالية الجودة، يكتسب BERT متعدد المقاطع نسبة إضافية تبلغ 2%. أظهرت التجارب على أربع معايير قياسية أن نموذج BERT متعدد المقاطع الخاص بنا يتفوق على جميع النماذج الرائدة في مجالها في جميع المعايير. وبشكل خاص، على مجموعة بيانات OpenSQuAD، اكتسب نموذجنا نسبة EM تبلغ 21.4% ونسبة $F_1$ تبلغ 21.5% مقارنة بكل النماذج غير المستندة إلى BERT، ونسبة EM تبلغ 5.8% ونسبة $F_1$ تبلغ 6.5% مقارنة بالنماذج المستندة إلى BERT.