HyperAIHyperAI

Command Palette

Search for a command to run...

درِو: تمرير الرسائل المُعاد توصيلها ديناميكيًا مع التأخير

Benjamin Gutteridge Xiaowen Dong Michael Bronstein Francesco Di Giovanni

الملخص

أظهرت الشبكات العصبية التي تعتمد على تمرير الرسائل (MPNNs) معاناتها من ظاهرة "الضغط الزائد" (over-squashing)، التي تؤدي إلى أداء ضعيف في المهام التي تعتمد على التفاعلات على مدى بعيد. ويمكن تفسير هذا الظاهرة إلى حد كبير بكون تمرير الرسائل يقتصر فقط على الجيران المباشرين للعقدة، أي على نطاق محلي. أما الطرق المُعدَّلة للرسم البياني (rewiring) التي تحاول جعل الرسوم البيانية "أكثر اتصالاً"، وتعتبر أكثر ملاءمة للمهام طويلة المدى، فإنها غالبًا ما تفقد التحيز الاستنتاجي الناتج عن المسافة في الرسم البياني، لأنها تسمح للتواصل الفوري بين العقد البعيدة في كل طبقة. في هذا البحث، نقترح إطارًا يمكن تطبيقه على أي بنية MPNN، يقوم بإعادة توصيل الرسوم البيانية بشكل يعتمد على الطبقة، بهدف ضمان تكثيف تدريجي للرسم البياني. كما نقترح آلية تأخير تتيح وجود اتصالات مُتعددة الطبقات (skip connections) بين العقد بناءً على الطبقة والمسافة المتبادلة بينها. ونُثبت فعالية نهجنا من خلال تقييمه على عدة مهام طويلة المدى، ونُظهر أنه يتفوق على نماذج الرسوم البيانية ذات التحولات (graph Transformers) والـ MPNNs متعددة الخطوات (multi-hop MPNNs).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp