التعلم البياني القابل للتفسير والعام عبر آلية الانتباه العشوائي

تُعدّ التعلّم القابل للتفسير على الرسوم البيانية ضرورةً في ظل الاعتماد الكبير لتطبيقات علمية عديدة على نماذج التعلّم لاستخلاص رؤى من البيانات ذات البنية الرسومية. ركّزت الدراسات السابقة في المقام الأول على استخدام مناهج ما بعد التدريب (post-hoc) لتفسير النماذج المُدرّبة مسبقًا (وخاصة الشبكات العصبية الرسومية). وغالبًا ما تعارض هذه الدراسات النماذج القابلة للتفسير بشكل جوهري، بحجة أن التفسير الجيد في هذه النماذج غالبًا ما يأتي على حساب دقة التنبؤ. ومع ذلك، فإن هذه المناهج ما بعد التدريب غالبًا ما تفشل في تقديم تفسيرات مستقرة، وقد تُستخلص خصائص مرتبطة بشكل وهمي (spuriously correlated) بالمهام المطلوبة. في هذا العمل، نعالج هذه المشكلات من خلال اقتراح نموذج يُسمّى "الانتباه العشوائي للرسم البياني" (Graph Stochastic Attention - GSAT). اشتقّ GSAT من مبدأ الحد الأدنى للمعلومات (information bottleneck principle)، حيث يُدخل عشوائية في أوزان الانتباه لحجب المعلومات القادمة من المكونات غير ذات الصلة بالمهام في الرسم البياني، في حين يُتعلم انتباهًا مُقلّلًا من العشوائية لاختيار مجموعات فرعية ذات صلة بالمهام لغرض التفسير. وتبين النتائج رياضيًا أن المجموعات الفرعية المختارة لا تحتوي، تحت بعض الافتراضات، على أنماط مرتبطة بشكل وهمي بالمهام. أظهرت التجارب الواسعة على ثمانية مجموعات بيانات أن GSAT يتفوّق على أفضل الطرق الحالية بنسبة تصل إلى 20%↑ في مقياس AUC للتفسير، وبنسبة 5%↑ في دقة التنبؤ. يمكن الاطلاع على الكود الخاص بنا عبر الرابط: https://github.com/Graph-COM/GSAT.