أخذ البنية الشجرية المتشابكة بعين الاعتبار في تلخيص الجملة باستخراجية باستخدام محولات مُدرّبة مسبقًا

تُقلل التلخيص الاستخراجي للجمل من طول المستند من خلال اختيار جمل معينة لتكوين ملخص مع الحفاظ على محتواه المهم. ومع ذلك، فإن إنشاء ملخص متماسك وغني بالمعلومات يظل صعبًا عند استخدام مشغل مُدرّب مسبقًا بناءً على BERT، لأنه لم يُدرّس صراحةً لتمثيل معلومات الجمل داخل المستند. نقترح نموذجًا للاستخلاص القائم على بنية شجرية مُدمجة (NeRoBERTa) مبنيًا على RoBERTa، حيث تتكوّن البنية الشجرية المدمجة من أشجار تركيبية وشجرة ترابطية داخل المستند المعطى. أظهرت النتائج التجريبية على مجموعة بيانات CNN/DailyMail أن NeRoBERTa تتفوق على النماذج الأساسية من حيث قياس ROUGE. كما أظهرت نتائج التقييم البشري أن NeRoBERTa تحقق تقييمات أفضل بشكل ملحوظ من النماذج الأساسية من حيث التماسك، وتُقارن بنتائج النماذج الرائدة في مجالها.