Command Palette
Search for a command to run...
ديبر-جكس: تعميق الشبكات العصبية الرسومية العشوائية
ديبر-جكس: تعميق الشبكات العصبية الرسومية العشوائية
Lecheng Zheng Dongqi Fu Ross Maciejewski Jingrui He
الملخص
في الآونة الأخيرة، وتحفيزًا من التطبيقات الواقعية، أصبح اكتشاف الهياكل الأعمق اتجاهًا بحثيًا رئيسيًا في الشبكات العصبية الرسومية (GNNs). على سبيل المثال، لا تكون الاتصالات في الرسم البياني دائمًا متسقة مع توزيع التصنيفات (مثل أن أقرب جيران بعض العقد قد لا تنتمي إلى نفس الفئة). في هذه الحالة، تحتاج الشبكات العصبية الرسومية إلى تجميع طبقات أكثر، بهدف العثور على جيران من نفس الفئة عبر مسارات أطول، وذلك لالتقاط المعلومات التمييزية حسب الفئة. ومع ذلك، تعيق مشكلتان رئيسيتان تقدم الشبكات العصبية الرسومية الأعمق لتحقيق أداء مرضٍ، وهما: تلاشي التدرج (vanishing gradient) وتعرض التماسك الزائد (over-smoothing). من ناحية، يؤدي تجميع الطبقات إلى صعوبة تدريب الشبكة العصبية، حيث يختفي تدرجات الطبقات الأولى. علاوة على ذلك، عند معالجة مشكلة تلاشي التدرج بشكل بسيط في الشبكات العصبية الرسومية، اكتشفنا ظاهرة "تأثير الجيران المظللين" (shading neighbors effect)، أي أن تجميع الطبقات بشكل غير مناسب يُشوِّه المعلومات غير الموزعة بشكل متماثل (non-IID) في الرسوم البيانية، مما يؤدي إلى تراجع أداء الشبكات العصبية الرسومية. من ناحية أخرى، تجمع الشبكات العصبية الرسومية الأعمق معلومات أكثر من الجيران المشتركين، ما يجعل تمثيلات العقد الفردية تتقاسم ميزات متداخلة بشكل كبير، مما يجعل التمثيلات النهائية غير مميزة (أي تصبح مفرطة التماسك). في هذا البحث، نعالج هاتين المشكلتين لأول مرة لتمكين الشبكات العصبية الرسومية الأعمق، ونُقدّم نموذج Deeper-GXX، الذي يتكون من وحدة الاتصال الرسومي المقاوم للتشويش بالوزن (WDG-ResNet) ووظيفة فقدان التقابل الرسومي الموجه بالبنية (TGCL). أظهرت تجارب واسعة على مجموعات بيانات واقعية أن Deeper-GXX يتفوق على أحدث النماذج الأساسية الأعمق.