نهج متكامل مستند إلى الانتباه لتعلم الرسوم البيانية

شهدت الأطر المبنية على المحولات (Transformers) ازديادًا حديثًا في مجال تعلم الرسوم البيانية (Graphs)، وذلك بشكل أساسي بفضل الاهتمام باعتباره آلية تعلم فعالة والرغبة في تجاوز العمليات التي يتم تصميمها يدويًا والمميزة لخطط نقل الرسائل (Message Passing Schemes). ومع ذلك، تم رفع مخاوف حول فعاليتها التجريبية، وقابليتها للتوسع، وتعقيد خطوات التجهيز السابقة، خاصة عند مقارنتها بالشبكات العصبية الرسمية البسيطة جدًا والتي غالبًا ما تؤدي بنفس المستوى تقريبًا عبر مجموعة واسعة من المقاييس. لمعالجة هذه النقصانات، نعتبر الرسوم البيانية كمجموعات من الحواف (Edges) ونقترح نهجًا يعتمد تمامًا على الاهتمام ويتألف من مشفّر (Encoder) وmekanism تجميع الاهتمام (Attention Pooling Mechanism). يقوم المشفّر بتداخل مasked وموديولات الانتباه الذاتي العادي (Vanilla Self-Attention Modules) بشكل عمودي لتعلم تمثيلات فعالة للحواف، مع السماح بمعالجة الإشكالات المحتملة في الرسوم البيانية المدخلة. وعلى الرغم من بساطته، فإن هذا النهج يتفوق على خطوط الأساس المعتمدة على نقل الرسائل التي تم ضبطها بدقة وعلى الأساليب القائمة على المحولات التي تم اقتراحها مؤخرًا في أكثر من 70 مهمة على مستوى العقد والرسوم البيانية، بما في ذلك مقاييس طويلة المدى صعبة. بالإضافة إلى ذلك، نثبت أداءً رائدًا عبر مختلف المهام، بدءًا من الرسوم البيانية الجزيئية وحتى الرسوم البيانية المرتبطة بالرؤية وأيضًا تصنيف العقد غير المتجانسة. كما أن هذا النهج يتفوق أيضًا على الشبكات العصبية الرسمية والمحولات في إعدادات التعلم النقلية (Transfer Learning Settings)، ويتوسع بشكل أفضل بكثير من البدائل ذات المستوى أو القوة التعبيرية المشابهة.