HyperAIHyperAI
منذ 15 أيام

GRAND+: شبكات عصبية عشوائية رسمية قابلة للتوسع

Wenzheng Feng, Yuxiao Dong, Tinglin Huang, Ziqi Yin, Xu Cheng, Evgeny Kharlamov, Jie Tang
GRAND+: شبكات عصبية عشوائية رسمية قابلة للتوسع
الملخص

تم اعتماد الشبكات العصبية الرسومية (GNNs) على نطاق واسع في التعلم شبه المراقب على الرسوم البيانية. أظهرت دراسة حديثة أن نموذج الشبكة العصبية الرسومية العشوائية (GRAND) قادر على تحقيق أداءً من الدرجة الأولى في هذا المجال. ومع ذلك، يُعد من الصعب على GRAND التعامل مع الرسوم البيانية ذات الحجم الكبير، نظرًا لاعتماد فعاليته على إجراءات تكبير البيانات المكلفة حسابيًا. في هذا العمل، نقدم إطار عمل GNN قابل للتوسع وأداء عالٍ يُسمى GRAND+ لتعلم الرسوم البيانية شبه المراقب. ولحل هذه المشكلة، طوّرنا خوارزمية الدفع الأمامي العامة (GFPush) في GRAND+ لحساب مصفوفة الانتشار العامة مسبقًا، واستخدمناها في إجراء تكبير بيانات الرسوم البيانية بطريقة مُحَمّلة صغيرة (mini-batch). ونُظهر أن كلًا من التعقيد المنخفض في الوقت والفضاء الخاص بـ GFPush يمكّن GRAND+ من التوسع بكفاءة في الرسوم البيانية الكبيرة. علاوةً على ذلك، أدخلنا خسارة اتساق مُراعية للثقة في عملية تحسين النموذج في GRAND+، مما يعزز من ميزة التعميم الفائقة للنموذج. أجرينا تجارب واسعة على سبعة مجموعات بيانات عامة بمقاييس مختلفة. وأظهرت النتائج أن GRAND+ 1) قادر على التوسع في الرسوم البيانية الكبيرة ويستهلك وقت تشغيل أقل مقارنةً بالشبكات العصبية الرسومية القابلة للتوسع الحالية، و2) يمكنه تقديم تحسينات مستمرة في الدقة مقارنةً بكل من الشبكات القائمة على الحزمة الكاملة (full-batch) والشبكات القابلة للتوسع عبر جميع مجموعات البيانات.

GRAND+: شبكات عصبية عشوائية رسمية قابلة للتوسع | أحدث الأوراق البحثية | HyperAI