دمج معلومات الرسم البياني في تحليل AMR القائم على نماذج Transformer

ملخص المعنى التمثيلي (AMR) هو نموذج تحليل دلالي يهدف إلى تقديم تمثيل بياني مجرد للمعنى يمثل نصًا معينًا. النهج الحالي يستند إلى نماذج اللغة الذاتية التكرارية مثل BART أو T5، والتي يتم تعديلها باستخدام تقنية Teacher Forcing للحصول على إصدار خطي من الرسم البياني AMR من جملة. في هذا البحث، نقدم LeakDistill، وهو نموذج وطريقة تستكشف تعديلًا في هندسة Transformer، باستخدام المتكيفات الهيكلية لدمج المعلومات البيانية بشكل صريح في التمثيلات المُتعلَّمة وتحسين أداء تحليل AMR. تظهر تجاربنا كيف يمكن الحصول على أفضل مستوى حالي لتحليل AMR من خلال التقطير الذاتي للمعرفة، حتى دون استخدام بيانات إضافية، وذلك عن طريق استخدام تناسق الكلمات مع العقد لدمج المعلومات الهيكلية للرسم البياني في المُشفِّر أثناء التدريب. قمنا بنشر الكود في \url{http://www.github.com/sapienzanlp/LeakDistill}.