تعلم تمثيل الرسوم البيانية من خلال شبكات الانتباه الصارم والقناة الحكيمة

تم تطبيق آليات الانتباه (Attention operators) على نطاق واسع في مجالات متنوعة، بما في ذلك الرؤية الحاسوبية ومعالجة اللغة الطبيعية وتعلم التضمين الشبكي (network embedding learning). تتيح آليات الانتباه على البيانات الرسمية (graph data) إمكانية حساب أوزان قابلة للتعلم عند جمع المعلومات من العقد المجاورة. ومع ذلك، تستهلك آليات الانتباه الرسمية (Graph Attention Operators - GAOs) موارد حوسبة مفرطة، مما يمنع استخدامها في الرسوم البيانية الكبيرة. بالإضافة إلى ذلك، تنتمي GAOs إلى عائلة الانتباه الناعم (soft attention)، بدلاً من الانتباه القاسي (hard attention)، الذي أثبتت دراسات أنه يؤدي إلى نتائج أفضل.في هذا البحث، نقترح آلية انتباه رسمية جديدة قاسية (Hard Graph Attention Operator - hGAO) وآلية انتباه رسمية جديدة حسب القنوات (Channel-wise Graph Attention Operator - cGAO). يستخدم hGAO آلية الانتباه القاسي من خلال التركيز فقط على العقد المهمة. بالمقارنة مع GAO، يحسن hGAO الأداء ويوفر التكلفة الحوسبة عن طريق التركيز فقط على العقد المهمة. لخفض متطلبات الموارد الحوسبة بشكل أكبر، نقترح cGAO التي تقوم بعمليات الانتباه عبر القنوات. تتجنب cGAO الاعتماد على مصفوفة الجوار (adjacency matrix)، مما يؤدي إلى خفض كبير في متطلبات الموارد الحوسبة.تظهر النتائج التجريبية أن النماذج العميقة المقترحة لدينا باستخدام الآليات الجديدة تحقق أداءً أفضل بشكل مستمر. كما تشير نتائج المقارنة إلى أن hGAO تحقق أداءً أفضل بكثير من GAO في مهمتي تضمين العقد وتضمين الرسم البياني. أما بالنسبة للمقارنة بين الكفاءة，则表明我们的cGAO在计算资源方面实现了显著的节省，使其适用于大型图。请注意，最后一句中的“则表明我们的cGAO在计算资源方面实现了显著的节省，使其适用于大型图”是中文，我将其翻译为阿拉伯语如下：كما تظهر مقارنة الكفاءة أن cGAO تقود إلى توفير كبير في الموارد الحوسبة، مما يجعلها قابلة للتطبيق على الرسوم البيانية الكبيرة.