كيف تجد حيّك الصديق: تصميم الانتباه الرسومي مع التعلم الذاتي

تم تصميم آلية الانتباه في الشبكات العصبية الرسومية لتعيين أوزان أكبر للعقد المجاورة المهمة بهدف تحسين التمثيل. ومع ذلك، لا يزال فهم ما تتعلمه آلية الانتباه في الشبكات الرسومية غير واضح، خاصة عندما تكون الشبكات ملوثة بالضوضاء. في هذه الورقة، نقترح نموذجًا مُحسَّنًا لآلية الانتباه في الشبكات الرسومية يُسمى SuperGAT، وهو نموذج مُعتمد على التعلم الذاتي (self-supervised) مُصمم خصيصًا للشبكات الرسومية الملوثة. وبشكل خاص، نستفيد من شكلين مختلفين لآلية الانتباه يتناسبان مع مهمة تعلم ذاتي تهدف إلى التنبؤ بالحواف، حيث تحتوي وجود أو عدم وجود الحواف على معلومات ذاتية حول أهمية العلاقات بين العقد. من خلال ترميز الحواف، يتعلم SuperGAT انتباهًا أكثر تعبيرًا يُمكّن من التمييز بين العقد المجاورة التي تم ربطها خطأ. وجدنا أن خاصيتين رئيسيتين في الشبكة تؤثران على فعالية أشكال الانتباه والتعلم الذاتي: التماثل (homophily) والمتوسط الحegree (average degree). وبالتالي، يوفر وصفنا وصفة عملية توجيهية حول أي تصميم لآلية الانتباه يجب استخدامه عندما تكون هاتان الخصائص معروفة. وقد أظهرت تجاربنا على 17 مجموعة بيانات واقعية أن وصفتنا تُعمّم على 15 من هذه المجموعات، كما أظهر النماذج التي صُممت وفقًا لهذه الوصفة أداءً أفضل من النماذج الأساسية (baselines).