هل حقًا يُؤدّي المحوّلات (Transformers) بشكل سيء في تمثيل الرسوم البيانية؟

قد أصبحت هندسة الـ Transformer الخيار المهيمن في العديد من المجالات، مثل معالجة اللغة الطبيعية ورؤية الحاسوب. ومع ذلك، لم تحقق أداءً تنافسيًا على لوحات الترتيب الشهيرة للتنبؤ على مستوى الرسم البياني مقارنة بنسخ GNN الرئيسية. ولذلك، ظل لغزًا كيف يمكن للـ Transformers أن تؤدي بشكل جيد في تعلم تمثيل الرسوم البيانية. في هذا البحث، نحل هذه الغموض من خلال تقديم Graphormer، وهو مبني على هندسة الـ Transformer القياسية ويمكنه تحقيق نتائج ممتازة في مجموعة واسعة من مهام تعلم تمثيل الرسوم البيانية، خاصة في تحدي OGB Large-Scale Challenge الحديث. الفكرة الأساسية لدينا لاستخدام الـ Transformer في الرسوم البيانية هي ضرورة ترميز المعلومات البنيوية للرسم البياني بشكل فعال داخل النموذج. لهذا الغرض، نقترح عدة طرق بسيطة ولكن فعالة للترميز البنيوي لمساعدة Graphormer على نمذجة البيانات ذات الهيكل الرسومي بشكل أفضل. بالإضافة إلى ذلك، نحدد قوة التعبير عن Graphormer رياضيًا ونوضح أنه مع طرقنا لترميز المعلومات البنيوية للرسوم البيانية، يمكن اعتبار العديد من النسخ GNN الشهيرة حالات خاصة من Graphormer.