HyperAIHyperAI

Command Palette

Search for a command to run...

المحولات الهيكلية في النماذج اللغوية المُدرّبة مسبقًا لتحويل AMR إلى نص

Leonardo F. R. Ribeiro Yue Zhang Iryna Gurevych

الملخص

أظهرت نماذج اللغة المُدرَّبة مسبقًا (PLM) تقدمًا حديثًا في توليد النص من الرسوم البيانية، حيث يتم تحويل الرسم البياني المدخل إلى تسلسل ويدخل إلى نموذج اللغة المُدرَّب مسبقًا لاستخلاص تمثيله. ومع ذلك، فإن تشفير بنية الرسم البياني بكفاءة داخل نماذج PLM يُعد تحديًا، نظرًا لأن هذه النماذج تم تدريبها مسبقًا على اللغة الطبيعية، ونمذجة البيانات المُنظَّمة قد تؤدي إلى نسيان كارثي للمعرفة التوزيعية. في هذا البحث، نقترح منهجية تُسمى StructAdapt، وهي طريقة مُعدّلة (Adapter) لدمج بنية الرسم البياني داخل نماذج PLM. على عكس الدراسات السابقة، تقوم StructAdapt بتمثيل تفاعلات العقد بناءً على الاتصال بينها في الرسم البياني، مع تدريب معلمات مُعدّلة فقط تُراعي بنية الرسم البياني. وبهذه الطريقة، ندمج المعرفة المخصصة للمهمة مع الحفاظ على البنية الطوبولوجية للرسم البياني. ونُظهر تجريبيًا فوائد التشفير الصريح لبنية الرسم البياني داخل نماذج PLM باستخدام StructAdapt، حيث تتفوّق على أحدث الأداء في مجموعتي بيانات تحويل AMR إلى نص، مع تدريب 5.1% فقط من معلمات نموذج PLM.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp