نمذجة السياقات العالمية والمحلية للعقد لتقديم النص من الرسوم المعرفية

النماذج الحديثة لتحويل الرسومات إلى النص تولد النص من البيانات القائمة على الرسم البياني باستخدام إما التجميع العالمي أو المحلي لتعلم تمثيلات العقد. يسمح الترميز العالمي للعقد بالاتصال الصريح بين عقدتين بعيديتن، مما يؤدي إلى تجاهل طوبولوجيا الرسم البياني حيث يتم ربط جميع العقد مباشرة. في المقابل، يأخذ الترميز المحلي للعقد بعين الاعتبار العلاقات بين العقد المجاورة، مما يلتقط بنية الرسم البياني، ولكنه قد يفشل في التقاط العلاقات طويلة المدى. في هذا العمل، نجمع بين كلا الاستراتيجيتين للترميز، ونقترح نماذج عصبية جديدة تقوم بترميز الرسم البياني المدخل من خلال دمج سياقات العقد العالمية والمحلية، وذلك بهدف تعلم تمثيلات عقد أفضل سياقًا. في تجاربنا، أظهرنا أن نهجينا يؤدي إلى تحسينات كبيرة على مجموعتي بيانات تحويل الرسومات إلى النص، حيث حققنا درجات BLEU قدرها 18.01 على مجموعة بيانات AGENDA (أجندة)، و63.69 على مجموعة بيانات WebNLG (ويب إن إل جي) للأصناف المعروفة، مما يتفوق على النماذج الأكثر حداثة بمقدار 3.7 و3.1 نقطة على التوالي.