الشبكات التبادلية الرسومية التكيفية

حصلت الشبكات العصبية الرسومية (GNNs) على اهتمام كبير في مجال التعلم العميق للرسوم البيانية. ومع ذلك، تُظهر الأبحاث الحديثة بشكل تجريبي ونظري أن الشبكات العصبية الرسومية العميقة تعاني من مشكلتي التقليل الزائد (over-fitting) والانزلاق الزائد (over-smoothing). وتُعد الحلول الشائعة إما غير قادرة على التغلب على زمن التشغيل الطويل للشبكات العميقة، أو تُقيّد الت convolution الرسومي في نفس الفضاء المميزات. نقترح شبكة التمدد الرسومي المُعدّلة (AGDNs)، التي تُنفّذ عملية تمدد رسومي عامّة متعددة الطبقات في فضاءات مميزة مختلفة، بتعقيد ووقت تشغيل معتدل. تجمع الطرق القياسية للتمدد الرسومي بين قوى كبيرة وكثيفة لمصفوفة الانتقال باستخدام معاملات وزن محددة مسبقًا. بدلًا من ذلك، تقوم AGDNs بجمع تمثيلات عقد متعددة الخطوات (multi-hop) الأصغر باستخدام معاملات وزن قابلة للتعلم وعامة. نقترح آلتين قابلتين للتوسع لمعاملات الوزن لالتقاط المعلومات متعددة الخطوات: الانتباه حسب الخطوة (Hop-wise Attention - HA) وال convo-lution حسب الخطوة (Hop-wise Convolution - HC). تم تقييم AGDNs على مجموعة متنوعة من مجموعات بيانات Open Graph Benchmark (OGB) الصعبة، وذلك في مهام تصنيف العقد شبه المراقبة وتنبؤ الروابط. حتى تاريخ التقديم (26 أغسطس 2022)، حققت AGDNs التصنيف الأول على مجموعات البيانات ogbn-arxiv وogbn-proteins وogbl-ddi، والتصنيف الثالث على مجموعة ogbl-citation2. وباستخدام بطاقات وحدة معالجة رسومية مماثلة (Tesla V100)، تفوقت AGDNs على شبكات GNN القابلة للعكس (RevGNNs) بنسبة 13% في التعقيد و1% في وقت التدريب على مجموعة ogbn-proteins. كما حققت AGDNs أداءً مماثلًا لشبكة SEAL، مع تقليل وقت التدريب بنسبة 36% ووقت الاستنتاج بنسبة 0.2% على مجموعة ogbl-citation2.