الترانسفورمرز تلتقي بالرسوم البيانية الموجهة

تم اقتراح الشبكات العصبية التحويلية (Transformers) في الأصل كنموذج تتابعي للنصوص، لكنها أصبحت ضرورية لعدد كبير من الوسائط، بما في ذلك الصور والصوت والفيديو والرسوم البيانية غير الموجهة. ومع ذلك، فإن الشبكات العصبية التحويلية للرسوم البيانية الموجهة هي موضوع مفاجئ لم يتم استكشافه بشكل كافٍ، رغم قابليتها للتطبيق في مجالات شائعة مثل رموز البرامج ودوائر المنطق. في هذا البحث، نقترح نوعين من الترميزات الموضعية التي تأخذ الاتجاه والهيكل بعين الاعتبار للرسوم البيانية الموجهة: (1) متجهات الذرة الخاصة باللاپلاسيان المغناطيسي - وهو تعميم يراعي الاتجاه لللاپلاسيان التوافقي؛ (2) ترميزات المشي العشوائي الاتجاهي. من خلال التجارب العملية، أظهرنا أن المعلومات الإضافية المتعلقة بالاتجاه مفيدة في مجموعة متنوعة من المهام النهائية، بما في ذلك اختبار صحة شبكات الفرز وفهم رموز البرامج. بالاشتراك مع بناء الرسم البياني الذي يركز على تدفق البيانات، يتفوق نموذجنا على أفضل النماذج السابقة في تحدي الرسم البياني المفتوح (Open Graph Benchmark Code2) بنسبة 14.7٪.