HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين الانتباه العالمي يعزز تعميم الشبكات الرسومية

Omri Puny Heli Ben-Hamu Yaron Lipman

الملخص

يدعو هذا البحث إلى دمج وحدة الانتباه العالمي من الدرجة المنخفضة (LRGA)، وهي نسخة فعّالة من حيث الحساب والذاكرة من انتباه الضرب النقطي (Vaswani et al., 2017)، ضمن الشبكات العصبية الرسومية (GNNs) لتحسين قدرتها على التعميم. ولقياس خصائص التعميم الناتجة عن إدخال وحدة LRGA إلى الشبكات العصبية الرسومية من الناحية النظرية، نركّز على عائلة محددة من الشبكات العصبية الرسومية عالية التعبير، ونُظهر أن تعزيز هذه العائلة بوحدة LRGA يُحقق تطابقًا خوارزميًا مع اختبار قوي لتمييز التماثل الرسومي، يُعرف بخوارزمية 2-FWL (2-Folklore Weisfeiler-Lehman). وعلى نحو أكثر تفصيلًا، نقوم بما يلي: (أ) ننظر في إطار الشبكة العصبية الرسومية العشوائية الحديثة (RGNN) (Sato et al., 2020)، ونُثبت أنها عالمية من حيث الاحتمال؛ (ب) نُظهر أن RGNN المُعززة بـ LRGA تتماشى مع خطوة التحديث في خوارزمية 2-FWL من خلال نوى متعددة الحدود؛ (ج) نُحدِّد حدود تعقيد العينة لخريطة الميزات الخاصة بالناة عند تعلّمها باستخدام شبكة عصبية متعددة الطبقات ذات طبقتين مُهيَّأة عشوائيًا. من الناحية العملية، فإن إدخال وحدة LRGA إلى طبقات GNN الحالية يؤدي إلى نتائج من الطراز الرائد في المعايير الحالية للشبكات العصبية الرسومية. وأخيرًا، نلاحظ أن إدخال LRGA إلى معمارية GNN المختلفة غالبًا ما يُقلّص الفجوة في الأداء بين النماذج المختلفة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
تحسين الانتباه العالمي يعزز تعميم الشبكات الرسومية | مستندات | HyperAI