المحولات الهيكلية في النماذج اللغوية المُدرّبة مسبقًا لتحويل AMR إلى نص

أظهرت نماذج اللغة المُدرَّبة مسبقًا (PLM) تقدمًا حديثًا في توليد النص من الرسوم البيانية، حيث يتم تحويل الرسم البياني المدخل إلى تسلسل ويدخل إلى نموذج اللغة المُدرَّب مسبقًا لاستخلاص تمثيله. ومع ذلك، فإن تشفير بنية الرسم البياني بكفاءة داخل نماذج PLM يُعد تحديًا، نظرًا لأن هذه النماذج تم تدريبها مسبقًا على اللغة الطبيعية، ونمذجة البيانات المُنظَّمة قد تؤدي إلى نسيان كارثي للمعرفة التوزيعية. في هذا البحث، نقترح منهجية تُسمى StructAdapt، وهي طريقة مُعدّلة (Adapter) لدمج بنية الرسم البياني داخل نماذج PLM. على عكس الدراسات السابقة، تقوم StructAdapt بتمثيل تفاعلات العقد بناءً على الاتصال بينها في الرسم البياني، مع تدريب معلمات مُعدّلة فقط تُراعي بنية الرسم البياني. وبهذه الطريقة، ندمج المعرفة المخصصة للمهمة مع الحفاظ على البنية الطوبولوجية للرسم البياني. ونُظهر تجريبيًا فوائد التشفير الصريح لبنية الرسم البياني داخل نماذج PLM باستخدام StructAdapt، حيث تتفوّق على أحدث الأداء في مجموعتي بيانات تحويل AMR إلى نص، مع تدريب 5.1% فقط من معلمات نموذج PLM.