SignGT: انتباه مبني على الرسم البياني لتحويل الرسم البياني لتعلم تمثيل الرسم البياني

لقد حققت نماذج الرسوم البيانية المُحَوَّلة (Graph Transformers) الناشئة أداءً مُبهرًا في تعلم تمثيل الرسوم البيانية مقارنةً بشبكات التعلم العصبي للرسوم البيانية (GNNs). في هذا العمل، ننظر إلى آلية الانتباه الذاتي، وهي الوحدة الأساسية في نماذج الرسوم البيانية المُحَوَّلة، على أنها عملية تجميع مزدوجة الخطوات على رسم بياني مُتصل تمامًا. وبسبب خاصية إنتاج قيم انتباه موجبة، فإن آلية الانتباه الذاتي تُعادل تنفيذ عملية تمهيدية على جميع العقد، مع الحفاظ على المعلومات ذات التردد المنخفض. ومع ذلك، فإن الاقتصار على التقاط المعلومات ذات التردد المنخفض يكون غير فعّال في تعلُّم العلاقات المعقدة بين العقد في الرسوم البيانية المتنوعة، مثل الرسوم البيانية ذات التمايز المعاكس (heterophily graphs)، حيث تكون المعلومات ذات التردد العالي حاسمة. ولذلك، نقترح نموذجًا جديدًا يُسمى "الرسوم البيانية المُحَوَّلة ذات الانتباه المُوقَّع" (Signed Attention-based Graph Transformer، أو SignGT)، والذي يتكيف بشكل تلقائي مع التقاط مختلف معلومات التردد من الرسوم البيانية. وبشكل خاص، يُطوّر SignGT آلية انتباه ذاتي مُوقَّع جديدة (SignSA) تُنتج قيم انتباه مُوقَّعة بناءً على الترابط الدلالي بين أزواج العقد. وبهذا، يمكن الحفاظ بدقة على معلومات التردد المتنوعة بين أزواج العقد المختلفة. علاوةً على ذلك، يقترح SignGT شبكة تغذية أمامية مُتَعَلِّقة بالبنية (SFFN) التي تُدخل "انحياز الجوار" للحفاظ على معلومات البنية المحلية. وبهذه الطريقة، يمكن لـ SignGT تعلُّم تمثيلات عقد مُفيدة من خلال التبعيات الطويلة المدى والمعلومات البنائية المحلية معًا. وتشير النتائج التجريبية الواسعة على مهام على مستوى العقد وعلى مستوى الرسوم البيانية إلى تفوق SignGT على النماذج الرائدة في مجال الرسوم البيانية المُحَوَّلة، وكذلك على الشبكات العصبية للرسوم البيانية المتقدمة.