HyperAIHyperAI

Command Palette

Search for a command to run...

GraphMAE: مُشَكِّلات تلقائية للرسم البياني المُقنَّعة ذات التعلم الذاتي

Zhenyu Hou Xiao Liu Yukuo Cen Yuxiao Dong Hongxia Yang Chunjie Wang Jie Tang

الملخص

لقد تم استكشاف التعلم ذاتي الاتباع (SSL) بشكل واسع في السنوات الأخيرة. وبشكل خاص، شهد التعلم ذاتي الاتباع التوليدية نجاحًا متنامٍ في معالجة اللغة الطبيعية وحقول الذكاء الاصطناعي الأخرى، مثل الاعتماد الواسع على نماذج BERT وGPT. ومع ذلك، لا يزال التعلم المقارن – الذي يعتمد بشدة على تحسين البنية الهيكلية للبيانات واستراتيجيات تدريب معقدة – هو النهج السائد في التعلم ذاتي الاتباع على الرسوم البيانية (Graph SSL)، بينما لم تصل تطورات التعلم ذاتي الاتباع التوليدية على الرسوم البيانية، وبخاصة نماذج مُعادلات الرسوم البيانية (GAEs)، إلى المستوى المُتوقع الذي يُبشر به في الحقول الأخرى. في هذه الورقة، نحدد ونُحلل المشكلات التي تؤثر سلبًا على تطور GAEs، بما في ذلك هدف إعادة البناء، ومتانة التدريب، ودقة قياس الخطأ. نقدم نموذجًا جديدًا يُسمى GraphMAE، وهو مُعادل رسم بياني ذاتي اتّباع توليدية، يُخفف من هذه المشكلات من أجل التدريب المسبق ذاتي الاتباع التوليدية على الرسوم البيانية. بدلًا من إعادة بناء الهيكل البياني، نقترح التركيز على إعادة بناء السمات باستخدام استراتيجية تغطية (masking) وخطأ جيب تمام مُعدّل (scaled cosine error)، اللذين يُحسّنان من متانة عملية التدريب في GraphMAE. أجرينا تجارب واسعة النطاق على 21 مجموعة بيانات عامة تغطي ثلاث مهام مختلفة للتعلم على الرسوم البيانية. تُظهر النتائج أن GraphMAE – وهو مُعادل رسم بياني بسيط تم تصميمه بعناية – يُحقق أداءً متفوقًا باستمرار على كل من النماذج المُتقدمة المُقارنة والنموذج التوليدية المُتقدمة. تُقدّم هذه الدراسة فهمًا أعمق لنموذج مُعادلات الرسوم البيانية، وتكشف عن الإمكانات الكامنة للتدريب المسبق ذاتي الاتباع التوليدية على الرسوم البيانية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp