HiStruct+: تحسين تلخيص النص الاستخراجي باستخدام معلومات البنية الهرمية

عادةً ما تتعامل نماذج اللغة المستندة إلى الشبكات العصبية من نوع Transformer مع النصوص كسلسلات خطية. ومع ذلك، فإن معظم النصوص لديها أيضًا بنية هرمية متأصلة، بمعنى أن أجزاء من النص يمكن تحديدها باستخدام موقعها في هذه الهرمية. بالإضافة إلى ذلك، عناوين الأقسام عادةً ما تشير إلى الموضوع المشترك لجملها الخاصة. نقترح نهجًا جديدًا لصياغة واستخراج وترميز وحقن المعلومات البنيوية الهرمية بشكل صريح في نموذج تلخيص استخراجي يعتمد على نموذج لغة Transformer مُدرب مسبقًا ومُحصور بالترميز (نموذج HiStruct+)، مما يحسن بشكل كبير مقاييس ROUGE لأفضل التقنيات الحالية (SOTA) في التلخيص الاستخراجي على قاعدة بيانات PubMed و arXiv. باستخدام إعدادات تجريبية مختلفة على ثلاثة مجموعات بيانات (أي، CNN/DailyMail، PubMed و arXiv)، يتفوق نموذج HiStruct+ الخاص بنا بشكل جماعي على خط أساس قوي، حيث يختلف هذا الخط الأساس عن نموذجنا فقط في عدم حقنه للمعلومات البنيوية الهرمية. كما تم ملاحظة أن كلما كانت البنية الهرمية للبيانات أكثر وضوحًا، كانت التحسينات التي حققتها طريقة عملنا أكبر. أثبتت دراسة الإزالة أن المعلومات الموضعية الهرمية هي المساهم الرئيسي في أداء النموذج الذي يعد أفضل التقنيات الحالية (SOTA).