Command Palette
Search for a command to run...
الانتباه الذاتي العالمي كبديل للتحويلات الرسمية للبيانات البيانية
الانتباه الذاتي العالمي كبديل للتحويلات الرسمية للبيانات البيانية
Md Shamim Hussain Mohammed J. Zaki Dharmashankar Subramanian
الملخص
نقترح توسيعًا في هندسة الشبكة العصبية التحويلية لتعلم الرسوم البيانية ذات الأغراض العامة من خلال إضافة مسار مخصص للمعلومات الهيكلية الثنائية، والذي نسميه قنوات الحواف (Edge Channels). الإطار الناتج - الذي نطلق عليه التحويلة الرسومية المحسنة بالحواف (Edge-augmented Graph Transformer - EGT) - يمكنه قبول ومعالجة وإخراج المعلومات الهيكلية بأشكال عشوائية، وهو أمر مهم للتعلم الفعال على البيانات ذات الهيكل الرسومي. نموذجنا يستخدم بشكل حصري الانتباه الذاتي العالمي كآلية تجميع بدلاً من التجميع الثابت المحلي باستخدام التحويلات المتعددة. هذا يسمح بالتفاعلات الديناميكية غير المقيدة على المدى الطويل بين العقد. بالإضافة إلى ذلك، فإن قنوات الحواف تتيح تطور المعلومات الهيكلية من طبقة إلى أخرى، ويمكن تنفيذ مهام التنبؤ على الحواف/الروابط مباشرة من المجسمات المضمنة لهذه القنوات. نتحقق من أداء EGT في مجموعة واسعة من تجارب تعلم الرسوم البيانية على مجموعات بيانات معيارية، حيث يتفوق على شبكات الرسوم العصبية التحويلية/المارة بالرسالة (Convolutional/Message-Passing Graph Neural Networks). EGT تحدد مستوى جديدًا للتقنية الحديثة في مهمة الانحدار الكيميائي الكمي على مجموعة بيانات OGB-LSC PCQM4Mv2 التي تحتوي على 3.8 مليون رسم بياني جزيئي. تشير نتائجنا إلى أن التجميع المستند إلى الانتباه الذاتي العالمي يمكن أن يكون بديلاً مرناً ومتكيفاً وفعالاً للتحويلة الرسومية للأغراض العامة. وبالتالي، فإن التجميع المحلي للجوار باستخدام التحويلات ليس baisa استقرائيًا ضروريًا (inductive bias).