HyperAIHyperAI

Command Palette

Search for a command to run...

ديبر-جكس: تعميق الشبكات العصبية الرسومية العشوائية

Lecheng Zheng Dongqi Fu Ross Maciejewski Jingrui He

الملخص

في الآونة الأخيرة، وتحفيزًا من التطبيقات الواقعية، أصبح اكتشاف الهياكل الأعمق اتجاهًا بحثيًا رئيسيًا في الشبكات العصبية الرسومية (GNNs). على سبيل المثال، لا تكون الاتصالات في الرسم البياني دائمًا متسقة مع توزيع التصنيفات (مثل أن أقرب جيران بعض العقد قد لا تنتمي إلى نفس الفئة). في هذه الحالة، تحتاج الشبكات العصبية الرسومية إلى تجميع طبقات أكثر، بهدف العثور على جيران من نفس الفئة عبر مسارات أطول، وذلك لالتقاط المعلومات التمييزية حسب الفئة. ومع ذلك، تعيق مشكلتان رئيسيتان تقدم الشبكات العصبية الرسومية الأعمق لتحقيق أداء مرضٍ، وهما: تلاشي التدرج (vanishing gradient) وتعرض التماسك الزائد (over-smoothing). من ناحية، يؤدي تجميع الطبقات إلى صعوبة تدريب الشبكة العصبية، حيث يختفي تدرجات الطبقات الأولى. علاوة على ذلك، عند معالجة مشكلة تلاشي التدرج بشكل بسيط في الشبكات العصبية الرسومية، اكتشفنا ظاهرة "تأثير الجيران المظللين" (shading neighbors effect)، أي أن تجميع الطبقات بشكل غير مناسب يُشوِّه المعلومات غير الموزعة بشكل متماثل (non-IID) في الرسوم البيانية، مما يؤدي إلى تراجع أداء الشبكات العصبية الرسومية. من ناحية أخرى، تجمع الشبكات العصبية الرسومية الأعمق معلومات أكثر من الجيران المشتركين، ما يجعل تمثيلات العقد الفردية تتقاسم ميزات متداخلة بشكل كبير، مما يجعل التمثيلات النهائية غير مميزة (أي تصبح مفرطة التماسك). في هذا البحث، نعالج هاتين المشكلتين لأول مرة لتمكين الشبكات العصبية الرسومية الأعمق، ونُقدّم نموذج Deeper-GXX، الذي يتكون من وحدة الاتصال الرسومي المقاوم للتشويش بالوزن (WDG-ResNet) ووظيفة فقدان التقابل الرسومي الموجه بالبنية (TGCL). أظهرت تجارب واسعة على مجموعات بيانات واقعية أن Deeper-GXX يتفوق على أحدث النماذج الأساسية الأعمق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp