تحسين آلية الانتباه في شبكات الرسوم العصبية عبر الحفاظ على الكاردينالية

الشبكات العصبية الرسومية (GNNs) قادرة على تعلم تمثيل البيانات ذات الهيكل الرسومي. تعتمد معظم الشبكات العصبية الرسومية على مخطط نقل الرسائل، حيث يتم تحديث تمثيل العقدة بشكل متكرر من خلال تجميع المعلومات من جيرانها. لتحقيق قدرة تعبيرية أفضل عن تأثيرات العقد، أصبحت آلية الانتباه شائعة لتعيين أوزان قابلة للتدريب للعقد في عملية التجميع. رغم أن الشبكات العصبية الرسومية القائمة على الانتباه حققت نتائج ملحوظة في مجموعة متنوعة من المهام، إلا أن فهمًا واضحًا لقدراتها التمييزية ما زال ناقصًا. في هذا العمل، نقدم تحليلًا نظريًا لخصائص التمثيل للشبكة العصبية الرسومية التي تستعمل آلية الانتباه كمجمع. يحدد تحليلنا جميع الحالات التي قد تفشل فيها تلك الشبكات العصبية الرسومية القائمة على الانتباه دائمًا في تمييز بعض الهياكل المتميزة. تظهر هذه الحالات بسبب إغفال معلومات الكاردينالية في عملية التجميع القائمة على الانتباه. لتحسين أداء الشبكات العصبية الرسومية القائمة على الانتباه، نقترح نماذج انتباه تحافظ على الكاردينالية (CPA) والتي يمكن تطبيقها على أي نوع من آليات الانتباه. تؤكد التجارب التي أجريناها على تصنيف العقد والرسوميات صحة تحليلنا النظري وتظهر الأداء التنافسي لنماذج CPA المقترحة لدينا.