تحسين الانتباه العالمي يعزز تعميم الشبكات الرسومية

يدعو هذا البحث إلى دمج وحدة الانتباه العالمي من الدرجة المنخفضة (LRGA)، وهي نسخة فعّالة من حيث الحساب والذاكرة من انتباه الضرب النقطي (Vaswani et al., 2017)، ضمن الشبكات العصبية الرسومية (GNNs) لتحسين قدرتها على التعميم. ولقياس خصائص التعميم الناتجة عن إدخال وحدة LRGA إلى الشبكات العصبية الرسومية من الناحية النظرية، نركّز على عائلة محددة من الشبكات العصبية الرسومية عالية التعبير، ونُظهر أن تعزيز هذه العائلة بوحدة LRGA يُحقق تطابقًا خوارزميًا مع اختبار قوي لتمييز التماثل الرسومي، يُعرف بخوارزمية 2-FWL (2-Folklore Weisfeiler-Lehman). وعلى نحو أكثر تفصيلًا، نقوم بما يلي: (أ) ننظر في إطار الشبكة العصبية الرسومية العشوائية الحديثة (RGNN) (Sato et al., 2020)، ونُثبت أنها عالمية من حيث الاحتمال؛ (ب) نُظهر أن RGNN المُعززة بـ LRGA تتماشى مع خطوة التحديث في خوارزمية 2-FWL من خلال نوى متعددة الحدود؛ (ج) نُحدِّد حدود تعقيد العينة لخريطة الميزات الخاصة بالناة عند تعلّمها باستخدام شبكة عصبية متعددة الطبقات ذات طبقتين مُهيَّأة عشوائيًا. من الناحية العملية، فإن إدخال وحدة LRGA إلى طبقات GNN الحالية يؤدي إلى نتائج من الطراز الرائد في المعايير الحالية للشبكات العصبية الرسومية. وأخيرًا، نلاحظ أن إدخال LRGA إلى معمارية GNN المختلفة غالبًا ما يُقلّص الفجوة في الأداء بين النماذج المختلفة.