Transformer مُوجَّهٌ بالهيكل لتعلم تمثيل الرسوم

لقد لاقت بنية Transformer اهتمامًا متزايدًا في مجال تعلم تمثيل الرسوم البيانية مؤخرًا، نظرًا لقدرتها الطبيعية على التغلب على عدة قيود تواجه شبكات التعلم العصبي للرسوم البيانية (GNNs) من خلال تجنب الانحيازات الاستنتاجية الهيكلية الصارمة، واعتمادها فقط على ترميز الموضع لتمثيل البنية الهيكلية للرسم البياني. في هذا العمل، نوضح أن تمثيلات العقد الناتجة عن استخدام Transformer مع ترميز الموضع لا تضمن بالضرورة التقاط التشابه الهيكلي بين العقد. ولحل هذه المشكلة، نقترح بنية "Transformer المُدرك للهيكل" (Structure-Aware Transformer)، وهي فئة من نماذج Transformers البسيطة والمُحكمة لتمثيل الرسوم البيانية، مبنية على آلية انتباه ذاتي جديدة. تُدمج هذه الآلية الجديدة معلومات هيكلية في الانتباه الذاتي الأصلي من خلال استخراج تمثيل لجزء فرعي من الرسم البياني (subgraph representation) مُحَوَّل حول كل عقدة قبل حساب الانتباه. ونُقدِّم عدة طرق لاستخلاص هذا التمثيل بشكل تلقائي، ونُظهر نظريًا أن التمثيلات الناتجة تكون على الأقل بنفس التعبيرية التي تمتلكها تمثيلات الأجزاء الفرعية للرسم البياني. من الناحية التجريبية، تحقق طريقةنا أداءً متقدمًا على مستوى الحالة الحالية (state-of-the-art) في خمسة معايير تنبؤية للرسوم البيانية. كما يمكن للإطار الهيكلي المُدرك الذي نقترحه الاستفادة من أي نموذج GNN موجود لاستخراج تمثيل الجزء الفرعي للرسم البياني، ونُظهر أن أداءه يتحسن بشكل منهجي مقارنةً بالنموذج الأساسي GNN، مما يُحقق مزجًا ناجحًا بين مزايا GNNs وTransformers. يمكن الاطلاع على الكود الخاص بنا عبر الرابط: https://github.com/BorgwardtLab/SAT.