HyperAIHyperAI

Command Palette

Search for a command to run...

كيف تجد حيّك الصديق: تصميم الانتباه الرسومي مع التعلم الذاتي

Dongkwan Kim Alice Oh

الملخص

تم تصميم آلية الانتباه في الشبكات العصبية الرسومية لتعيين أوزان أكبر للعقد المجاورة المهمة بهدف تحسين التمثيل. ومع ذلك، لا يزال فهم ما تتعلمه آلية الانتباه في الشبكات الرسومية غير واضح، خاصة عندما تكون الشبكات ملوثة بالضوضاء. في هذه الورقة، نقترح نموذجًا مُحسَّنًا لآلية الانتباه في الشبكات الرسومية يُسمى SuperGAT، وهو نموذج مُعتمد على التعلم الذاتي (self-supervised) مُصمم خصيصًا للشبكات الرسومية الملوثة. وبشكل خاص، نستفيد من شكلين مختلفين لآلية الانتباه يتناسبان مع مهمة تعلم ذاتي تهدف إلى التنبؤ بالحواف، حيث تحتوي وجود أو عدم وجود الحواف على معلومات ذاتية حول أهمية العلاقات بين العقد. من خلال ترميز الحواف، يتعلم SuperGAT انتباهًا أكثر تعبيرًا يُمكّن من التمييز بين العقد المجاورة التي تم ربطها خطأ. وجدنا أن خاصيتين رئيسيتين في الشبكة تؤثران على فعالية أشكال الانتباه والتعلم الذاتي: التماثل (homophily) والمتوسط الحegree (average degree). وبالتالي، يوفر وصفنا وصفة عملية توجيهية حول أي تصميم لآلية الانتباه يجب استخدامه عندما تكون هاتان الخصائص معروفة. وقد أظهرت تجاربنا على 17 مجموعة بيانات واقعية أن وصفتنا تُعمّم على 15 من هذه المجموعات، كما أظهر النماذج التي صُممت وفقًا لهذه الوصفة أداءً أفضل من النماذج الأساسية (baselines).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كيف تجد حيّك الصديق: تصميم الانتباه الرسومي مع التعلم الذاتي | مستندات | HyperAI