استكشاف نماذج اللغة المدربة مسبقًا لتحويل الرسومات إلى نص

تهدف إنشاء النصوص من الرسوم البيانية إلى توليد نصوص سلسة من البيانات المستندة إلى الرسم البياني. في هذا البحث، ندرس نموذجين لغويين مسبقاً تم اقتراحهما مؤخراً ونحلل تأثير استراتيجيات التدريب المسبق المتكيفة مع المهمة المختلفة للنموذج اللغوي المسبق (PLM) في إنشاء النصوص من الرسوم البيانية. نقدم دراسة عبر ثلاثة مجالات للرسوم البيانية: تمثيلات المعنى، رسوم بيانية معرفية لويكيبيديا (KGs)، والرسوم البيانية المعرفية العلمية. نظهر أن النماذج اللغوية المسبقة BART و T5 تحقق نتائج جديدة على مستوى الحالة الفنية، وأن استراتيجيات التدريب المسبق المتكيفة مع المهمة تحسن أدائهما بشكل أكبر. بصفة خاصة، نبلغ عن درجات BLEU جديدة على مستوى الحالة الفنية بلغت 49.72 على مجموعة بيانات LDC2017T10، 59.70 على مجموعة بيانات WebNLG، و25.66 على مجموعة بيانات AGENDA - وهي تحسينات نسبية بلغت 31.8%، 4.5%، و42.4% على التوالي. في تحليل شامل، نحدد أسباب محتملة لنجاح النماذج اللغوية المسبقة في مهمات إنشاء النصوص من الرسوم البيانية. نجد دليلاً على أن معرفتها بالحقائق الصحيحة تساعدها على الأداء بشكل جيد حتى عندما يتم تقليص تمثيل الرسم البياني الإدخالي إلى حقيبة بسيطة من علامات العقد والحواف (node and edge labels).