GraphMAE: مُشَكِّلات تلقائية للرسم البياني المُقنَّعة ذات التعلم الذاتي

لقد تم استكشاف التعلم ذاتي الاتباع (SSL) بشكل واسع في السنوات الأخيرة. وبشكل خاص، شهد التعلم ذاتي الاتباع التوليدية نجاحًا متنامٍ في معالجة اللغة الطبيعية وحقول الذكاء الاصطناعي الأخرى، مثل الاعتماد الواسع على نماذج BERT وGPT. ومع ذلك، لا يزال التعلم المقارن – الذي يعتمد بشدة على تحسين البنية الهيكلية للبيانات واستراتيجيات تدريب معقدة – هو النهج السائد في التعلم ذاتي الاتباع على الرسوم البيانية (Graph SSL)، بينما لم تصل تطورات التعلم ذاتي الاتباع التوليدية على الرسوم البيانية، وبخاصة نماذج مُعادلات الرسوم البيانية (GAEs)، إلى المستوى المُتوقع الذي يُبشر به في الحقول الأخرى. في هذه الورقة، نحدد ونُحلل المشكلات التي تؤثر سلبًا على تطور GAEs، بما في ذلك هدف إعادة البناء، ومتانة التدريب، ودقة قياس الخطأ. نقدم نموذجًا جديدًا يُسمى GraphMAE، وهو مُعادل رسم بياني ذاتي اتّباع توليدية، يُخفف من هذه المشكلات من أجل التدريب المسبق ذاتي الاتباع التوليدية على الرسوم البيانية. بدلًا من إعادة بناء الهيكل البياني، نقترح التركيز على إعادة بناء السمات باستخدام استراتيجية تغطية (masking) وخطأ جيب تمام مُعدّل (scaled cosine error)، اللذين يُحسّنان من متانة عملية التدريب في GraphMAE. أجرينا تجارب واسعة النطاق على 21 مجموعة بيانات عامة تغطي ثلاث مهام مختلفة للتعلم على الرسوم البيانية. تُظهر النتائج أن GraphMAE – وهو مُعادل رسم بياني بسيط تم تصميمه بعناية – يُحقق أداءً متفوقًا باستمرار على كل من النماذج المُتقدمة المُقارنة والنموذج التوليدية المُتقدمة. تُقدّم هذه الدراسة فهمًا أعمق لنموذج مُعادلات الرسوم البيانية، وتكشف عن الإمكانات الكامنة للتدريب المسبق ذاتي الاتباع التوليدية على الرسوم البيانية.